1 なぜLSAを学ぶのか
1.1 LSA（Large-Scale Assessment）とは？
大規模学力調査（Large-scale Assessment: LSA）とは， 集団レベルの学力を調査することを目的に設計された調査のことを指します1。 LSAでは，いわゆるComplex Survey2と呼ばれる複雑な標本抽出を行い， 標本ウェイトやレプリケーション法を利用します。 また，学力の推定には項目反応理論（Item Response Theory: IRT）3を利用する点も特徴です。
LSAの例として，もっとも有名なのはOECDが実施する PISA （Programme for International Student Assessment）でしょう。 PISAに知名度は劣りますが， TIMSS （Trend in International Mathematics and Science Study）も 国際的なLSAの代表格です。 また，現在もアメリカで行われている全米学力調査 （NAEP） はLSAの「古典」です。 これらの調査は，いずれも複雑な標本抽出とそれに伴う標本ウェイト・レプリケーション法を使った推定， そして項目反応理論による学力推定が行われています。
大規模な学力調査というと，日本にも毎年度行われている 全国学力・学習状況調査 （いわゆる悉皆調査）が存在します。 しかし悉皆調査はLSAの定義に該当しません。 少なくとも毎年度行われている悉皆調査は， 2024年時点ではIRTを採用していませんし，標本抽出も行っていないからです。 今後の悉皆調査はCBT化に伴いIRTを採用すると言われています4が， そこでもComplex Surveyへの言及はありません。
むしろLSAに近いのは，3年に1度行われる 経年変化分析調査 や 保護者に対する調査 の方でしょう。 前者はIRTを採用していますし，後者はComplex Surveyの方法論に則っています。 その意味では，「経年変化分析調査＋保護者に対する調査が日本のLSAである」とは言えるかもしれません。
だから何だ？という声が聞こえてきそうです。 悉皆調査がLSAでないとして，何が問題なのか。 LSAとは何で，どんな利点があるのか。 そもそもComplex SurveyやIRTといった難しそうな考え方が， 教育を考える上で本当に必要なのか。
本書の目的は，こうした疑問に答えることです。 具体的には，以下の問いに答えることを目指します。
- LSAとは何なのか。そこにどのような技術が採用されているのか。
- LSAで何が明らかになるのか。逆にLSAでない調査は何が明らかにできないのか。
- LSAについて知ることで，私たちにどのような利点があるのか（逆に言えば， 知らないことでどのような問題があるのか）
1.2 なぜLSAを学ぶのか？
さっそくですが，なぜLSAについて学ぶべきなのか考えてみましょう。 大きく言うと，次の2点があります。 1点目は，LSAが日本の教育政策に大きな影響を与えているためです。 2点目は，LSAに関する知識が知られていないことが，日本の教育政策・教育実践に 悪影響を与えているからです。
前者については，PISAの影響力を考えれば容易に理解できるでしょう。 PISA調査は，教育関係者はもちろん， そうでない人も知っているというくらい有名な調査です。 2003年に日本の順位が低下したときは，「PISAショック」と呼ばれるインパクトがありました5し， 「PISA型学力」を育てると主張する書籍も多数存在しています。 これだけインパクトのある調査なのですから，その調査設計について学ぶことには価値があります。
あわせて注意しておきたいことは， 「PISA調査について言及する人は多いが，PISA調査の設計について知っている人は少ない」 という点です。 これは考えてみると不思議な現象です。 自分がよく知らない調査の結果を宣伝したり，ましてやその結果を根拠に 教育政策を変えたりするのは，かなり危険な行為です。 医療にたとえると，健康診断の数値がよくわからない人が， 「あなたに必要な改善は＊＊＊です！」と言っているようなものです。 ここらで少し時間を使い，果たして世間で言われていることが正しいのかどうか， 真面目に考えてみる価値があると思います。
後者については，全国学力・学習状況調査がその典型例でしょう。 とくに悉皆調査については，その問題点がたびたび指摘されてきました。 にもかかわらず，2024年になっても問題は改善していません6。 こうした混乱が生じる理由は，悉皆調査がLSAではないというところに根本的な原因があります7。
残念ながら，日本ではLSAを学ぶ機会がほとんどありません。 そのためLSAを知らない人たちが，全国学力・学習状況調査について議論しているというのが実情です。 これで教育政策が良くなったらほとんど奇跡でしょう。 少なくとも，教育政策について議論する人（ここには，一般の人も含まれます）は LSAについて知るべきだと言うのが本書の主張です。
1.3 本書の想定する読者
ここまでの説明でわかったと思いますが， 本書は，学校教育に関わっている人・関心を持つ人であれば， ほとんど統計に関する知識のない人であっても読者として想定しています。 具体的には，教育学部の学部や修士の学生，現職の教員，教育行政関係者，あるいは保護者といった人々です。 もっともパソコンは使いますので， ある程度パソコンの操作ができる（≒ブラウザで本書を読める）技術は必要です。 また2乗や平方根といった概念も出てきますので，高校で習う数学の知識（数Iや数II）も必要です。
読者の皆さんに準備してほしいものは二つあり，一つはインターネットに接続されたパソコンです。 そこまでの性能は求められませんが， ブラウザ（EdgeとかSafariとかChromeとか）が動く程度のスペックは必要です。 多くの方は，この文章をブラウザで見ているはずなので， その時点で前提はクリアしています。
もう一つはGoogleアカウントです。 本書では，Rという統計ソフト（あるいはプログラミング言語）を使い， 大規模学力調査について学びます。 その際，Rを手元のパソコンにインストールするのは大変なので， ウェブ上でGoogleのColabというシステムを使ってRを動かします。 Colabについては後で説明しますが，これを使うためには Googleアカウントが必要です。 何らかの理由でGoogleアカウントが取得できない方はColabが利用できませんので， 手元のパソコンにRをインストールする必要があります。 Rのインストールは本書の守備範囲外ですので，各自で調べて作業を行ってください。
1.4 本書の構成
はじめにでも触れましたが， 本書は，ほとんど統計を知らない読者がLSAについて学ぶという（無茶な） 目的を掲げている関係上，やや特殊な構成を取っています。 具体的には，統計学の知識やRの操作を「必要になったら学ぶ」というスタンスで記述しています。 まともに必要な知識を学ぶと，それだけで数冊の本が書けてしまうからです8。 そのため一般的な入門書と比べると，個々の知識がバラバラに詰め込まれていますし， 普通は触れるべき内容をばっさり省略していたりします。 本書で統計や調査をわかったつもりになるのではなく，あくまで学びの入口として利用してください。
導入では，Rの基本操作や社会調査の基礎知識について学びます。 初学者に厳密な定義や数式は辛いと思いますので， できるだけ数式や厳密な定義を避けたざっくりとした解説にしています。 ただ，数式や厳密な定義を避けているため，逆に分かりづらいという方もいると思います。 そのような方はまとめに挙げた文献を参照してください。
理論編では，LSAを理解するために重要な要素について解説します。 社会調査に馴染みのある人は，ここから読んだほうがよいかもしれません。 ただ，導入と同じく厳密な説明よりは，ざっくりと概要を伝えることに主眼を置いていますので， 数式や厳密な定義が必要という方はまとめの文献を参照してください。
実践編では，intsvyというパッケージを使ったPISAやTIMSSの分析法を説明します。 基本的に，コードをそのまま入力すれば動くというレベルで解説しています。 ただ，理屈がわからないと間違った解釈を行う危険が高いので， できるだけ導入や理論編を踏まえたうえで実践編に進むようにしてください。
補足では，追加トピックとしてPISAやTIMSSのデータを入手する方法を解説しています。 日本以外の国や地域のデータが必要な場合は，この章を参考にしてください。 ただしこれらの調査のデータはファイルサイズが大きく， Colabで作業することができません。 この章だけは，自身のパソコンにRやPythonをインストールして利用できることが前提になります。