13  PISAとTIMSSの概要

intsvyを使って本格的に分析を行う前に， 分析結果を解釈する上で必要になる PISAとTIMSSの概要を簡単にまとめておきましょう。 より詳細な説明は，PISAやTIMSSのホームページや それぞれのTechnical Reportを参照してください。

13.1 PISA

PISAはOECD（経済協力開発機構）が実施する国際的な学力調査です。 その目的は， 「各国の子供たちが将来生活していく上で必要とされる知識や技能が， 義務教育終了段階でどの程度身に付いているかを測定すること」[1]とされています。 この目的のもと，PISAは 多くの国で義務教育終了段階にあたる15歳児（ただし学校に通う者に限る）を対象に行われています。 日本では高校1年生が調査対象に該当し，だいたい6月〜8月頃に調査を受けています。 なお日本では15歳≒高校1年生なので受検者は100%が高校1年生ですが， 他の国・地域では飛び級・留年などがあるため， （日本で言う）中学2年生や高校2年生が調査に参加していることもあります。

PISAの標本抽出は，学校・生徒という層化二段抽出法が採用されています。 日本では普通科や商業科といった「学科」を抽出単位とし， 抽出された各学科の1年生からさらに35人を抽出する形を取っています。 標準誤差の算出は，Replication Methodの章で扱ったように FayによるBRR法（Balanced Repeated Replication Method）が採用されています。

PISA調査の主たる調査対象は， 読解リテラシー（Reading Literacy）1・ 数学リテラシー（Mathematics Literacy）・ 科学リテラシー（Scientific Literacy）の3分野です。 個々のリテラシーの概要については，公開された項目が教育政策研究所のウェブサイトに掲載されているので， それを参照するとよいでしょう。 各回の調査では，3つのリテラシー以外にも追加調査（金融リテラシーなど）が行われることもあります。

PISAの得点算出にはIRTが利用されています。 PISA2012まではRasch Modelと部分採点モデルが採用されていましたが， 2015年は1PLモデルと2PLモデル・部分採点モデルのハイブリッドモデルになりました。 その後は2PLモデルと部分採点モデルを中心としつつ，独自の工夫をこらしたモデルが採用されているようです。 もっとも分析者がこれらのモデルを意識する必要はほとんどなく， データセット内に含まれたPVsを使えば分析が可能です2。 PVの数は2012年調査までは5でしたが，2015年調査から10に変更されました。

PISAは2000年から開始され，3年おきに実施されています。 ただし2021年はコロナのために延期され，2022年に実施されています。 3年ごとに主たる調査領域（main domain）が変更され， 2000年は読解，2003年は数学，2006年は科学，2009年は読解・・・となっています。 最新のPISA2022の主たる領域は，数学リテラシーです。 PISAの得点はIRTによって共通の尺度上に構成されており， 最初に主たる調査領域になった年度のOECD加盟国の平均を500・標準偏差を100とした数値に変換されています3。

PISAは，2015年からテストのCBT（Computer-based Testing）化が進められています。 これによって重複テスト分冊法よりもさらに複雑な出題4が可能になっています。 さらに2018年以降はMultistage Adaptive Testingと呼ばれる，受検者の能力に応じて 出題される項目の難易度が変わるテスト設計が採用されました。

PISAでは，学力テストに加え，生徒や学校に対する質問調査も実施されています。 これ以外に保護者調査や教員調査が実施される国・地域もありますが，日本は参加していません。 質問項目の内容は， OECDのウェブサイト（PISA data and methodology） から確認できます。 このサイトからは，PISAの個票データやTechnical Reportなどもダウンロード可能です。 ただ基本的に英語なので，日本語でどのような設問が出題されたか知りたい場合は， 明石書店から発刊されている『生きるための知識と技能』という書籍の付録を見る必要があります。

PISAの参加国は，回を重ねるごとに増加する傾向があります。 初回のPISA2000は32カ国でしたが，最新のPISA2022では81の国と地域が参加しています。 日本はPISA2000以降，すべての調査に参加しています。 ただし初期のPISA2000やPISA2003では，日本の生徒・学校が回答していない質問が多数見られます5。 日本のデータを使った分析をする場合は，PISA2006以降が望ましいかもしれません。

13.2 TIMSS

TIMSSは，IEA（国際教育到達度評価学会）が実施する数学と理科の国際的な学力調査です。 第4学年・第8学年に在籍する子どもの学力を国際的な尺度によって測定し， 学力と学習環境等との関係を明らかにすることを目的としています。 学校に通う15歳児を対象にするPISAに対し，TIMSSは学年を調査対象にしていることになります。 ちなみに日本では第4学年は9歳か10歳，第8学年は13歳か14歳ですが， 他の国・地域では留年や飛び級があるので，必ずしもこの年齢に該当しない子どもも受検しています。

TIMSSの標本抽出は，最初に学校を抽出し， 続いて学校から1（ないしそれ以上）の学級を抽出するという 層化二段クラスターサンプリングが採用されています。 標本ウェイトの生成など，基本的な考え方はPISAと大きく変わりません。

ただし標準誤差を算出する際のReplication MethodはPISAと違い， JackKnife法（JK法）の一種であるJRR（Jackknife Repeated Replication）法が採用されています。 JRRは抽出された学校を75のペア6にグループ化（Zoneと呼ばれます）し， 「一つのZoneだけ，片方の学校のウェイトを0倍・もう片方の学校のウェイトを2倍にする」 という手順で新たな標本を作成します。 個々のZoneには2つの学校がありますので，いずれを0にするかによって， 1つのZoneからは2つの標本が生成できます。 75のZoneがありますから，全部で150の標本が生成されることになります。

JRRのZoneとウェイトの関係を，表 13.1をもとに説明しましょう。 まず各学校（s1〜s150）は，2つずつ75のZoneに分かれています。 JRRで標本を生成する際は，まずZone 1でs1のウェイトを2倍，s2のウェイトを0倍にします（r1）。 次にZone 1でs1のウェイトを0倍，s2のウェイトを2倍にします（r2）。 その後も，Zone 2でs3のウェイトを2倍，s4のウェイトを0倍（r3）， Zone 2でs4のウェイトを0倍，s4のウェイトを2倍（r4）・・・という作業を続け， r1からr150まで150の標本を生成することになります。

表 13.1: Sampling Zoneとウェイトの関係
標本 Zone 1 Zone 2 Zone 3 … Zone 75
s1 s2 s3 s4 s5 s6 … s149 s150
r1 2 0 1 1 1 1 … 1 1
r2 0 2 1 1 1 1 … 1 1
r3 1 1 2 0 1 1 … 1 1
r4 1 1 0 2 1 1 … 1 1
r5 1 1 1 1 2 0 … 1 1
r6 1 1 1 1 0 2 … 1 1
⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮ ⋮
r149 1 1 1 1 1 1 … 2 0
r150 1 1 1 1 1 1 … 0 2

このとき推定値の分散\(Var_{jrr}\)は， 最終的な推定値を\(t_0\)， \(t_{hi}\)をZone \(h\)において学校\(i\)のウェイトを2倍（ペアになる学校のウェイトは0）にしたときの推定値 としたとき，以下の式で与えられます。

\[Var_{jrr}(t_0) = \frac{1}{2}\sum_{h=1}^{75}\sum_{i=1}^2(t_{hi}-t_0)^2\]

もっともこの式を覚える必要はありません。 PISAの分析でも利用したintsvyを使えば自動的に分散が出力されるからです。

TIMSSの調査領域は，数学と科学です。PISAと違い，こちらは 日本でもおなじみの数学（あるいは算数）と理科のテストと思っても，それほど間違いではありません。 PISAと同じく 国立教育政策研究所のウェブサイト に公開項目が掲載されていますので，確認してみてください。

得点の算出には，PISAと同じくIRTが利用されており， 異なるTIMSS間であっても得点を比較することが可能です。 IRTのモデルには3PLが採用され，PVは5つの値が生成されています。 なおTIMSS1995の得点は，それ以降のTIMSSと比較可能にするために再推定が行われています。 TIMSS1995のデータセットには，TIMSS1995用の得点と，後のTIMSSと比較可能にした得点の2つが 存在するので，利用する際は注意が必要です。

現在のTIMSSは，1995年から開始され，4年おきに実施されています。 ただし1995年・1999年のTIMSSは現在の形とはかなり違います。 TIMSS1995はもともとThe Third International Mathematics and Science Studyの略でした。 IEAは1995年以前にも国際的な学力調査を実施しており， TIMSS1995は「3回目の国際学力調査」という意味だったのです。 その後，1999年にTIMSSを再実施するということでTIMSS-Repeatという名前で TIMSS1999が実施されました。 そしてTIMSS1999の後も，4年おきに数学と理科の国際調査を継続していくことになり， あらためてTIMSS（Trends in International Mathematics and Science Study）として TIMSS1995・TIMSS1999も含めて整備されたのが現在のTIMSSです。 こうした事情があるため，TIMSS1995・TIMSS1999はそれ以降のTIMSSとは設計がかなり違います。 たとえばTIMSS1995は第3学年・第7学年でも調査を行っていましたし， TIMSS1999は第8学年しか調査していません。 現在のように，第4学年・第8学年を調査するようなったのは，TIMSS2003からです。

TIMSSでは学力テストに加え， 児童生徒・学校・教科を担当する教員・保護者に対する質問調査が行われています。 PISAとは違って，日本はこちらの調査には参加しています。 そのためTIMSSの日本のデータでは，教員票・保護者票を使った分析が可能です。 日本は初回から参加していますが， 初期のTIMSSでは日本は児童生徒質問の一部に回答しておらず， やや分析に利用しづらいものになっています。 TIMSS2007以降は国際調査とほぼ同じ設問に回答しています。

TIMSSのデータセットは，IEAのウェブサイトからダウンロード可能です。 ダウンロードしたデータには出題された生徒質問・学校質問などのデータも含まれています。 ただ基本的に英語なので，日本語で設問の内容を知りたいときは， 明石書店から発刊されている書籍『算数・数学教育／理科教育の国際比較』を見る必要があります。 ちなみにTIMSS2019については，先の国立教育政策研究所のウェブサイトで質問項目を見ることができます。

  1. 読解リテラシーは，日本では「読解力」と訳されています。ただ， 他の2つが〇〇リテラシーなのに，読解だけ読解力なのは統一感を欠きますので，本書では〇〇リテラシーで統一しています。↩︎

  2. もちろん得点算出のプロセスを検討したい場合は，IRTを学ぶ必要があります。↩︎

  3. 読解リテラシーは2000年以降のすべてのPISAと得点を比べられますが， 数学リテラシーは2003年以降，科学リテラシーは2006年以降のPISAとしか得点を比べられないということです。↩︎

  4. 詳しくはPISA2015 Technical ReportのChapter 2をご覧ください。↩︎

  5. たとえばPISA2000では，日本は家庭環境に関する設問にはほとんど回答していません。↩︎

  6. 国や地域によって75ではないこともあります。↩︎