分類と正解率の落とし穴
正解率 95% のモデルは、簡単に作れてしまう。その 95% が、何も当てていないことがある
10〜50分教師用メモ
準備（授業前） 教室コードを決める（例: ds02）。「教師」を押す。体験 01 の 100 件はこの枚の中にある。体験 02 は Python を動かす部品を読み込むので、ネットにつながる必要がある（つながらない場合は、画面の 4 つの数から 3 つの割合を電卓で出させれば同じ授業になる）。
通常の学習と予測は、ブラウザの中で完結する。読み込んだ表を分析用のサーバへ送らない。生成 AI による解釈支援を押したときだけ、外部へ送られる。押す前に何が送られるかを画面で確かめる。
投影 「投影」で 1 枚ずつ送る。体験 01 は予想を選ばせてから「全部いいえ」を押させる。教師が先に押して見せない。押した瞬間の「え、95%？」が、この回でいちばん残る 3 秒。
時間配分（50分版） 枚は全部使う。前回のまとめ・目標 6分 ／ 節1 正解率 95% のモデル 15分 ／ 節2 3 つの数で測る 14分 ／ 道具で探す 8分 ／ まとめ・自己評価・ふりかえり 7分
20分版 使う枚は 1・2・3・5・6・9・13（表紙／前回のまとめ／目標／体験01／まとめ01／道具の枚／ふりかえり）。体験 02 は飛ばし、「正解率だけを見ない」の一点に絞る。
10分版 使う枚は 1・5・6（表紙／体験01／まとめ01）。「全部いいえ」を押して 95% を見せ、見つけた割合を口で出して終わる。道具は授業の外で触らせる。
この回の評価（重点は思考・判断・表現。評価場面は体験 01 の予想と体験 02 の判断）
- 知識・技能 目的変数が種類のときに分類を選び、正解率・見つけた割合・当たっていた割合を読めている（体験01・02） ｜ A: 3 つの数を値と読み方の組で言っている
- 思考・判断・表現 正解率が高くても役に立たない場合を、件数の偏りで説明している（体験01） ｜ A: 場面に応じてどの数を見るべきかを述べている
- 態度 正解率が高く出たときに、それをそのまま受け取らずに確かめようとしている（体験02の投票・ふりかえり） ｜ A: 見逃しの数を自分から確かめている
指導要領 ［解説 情報編］情報Ⅱ (3) ア(ウ)・イ(ウ)「モデルの評価」。［設計指針 第2版］Ｘ１Ｌ３「AI 技術でできること、データの量/匿名性/偏りなどの問題、社会的影響」(高必)。Ｘ３Ｌ２（信頼性/公平性/透明性/個人情報保護/責任）のうち公平性の具体がここ。件数の少ない側を見落とすモデルは、少数の側にだけ不利に働く。単元の目標と評価規準は 単元設計のページ。分類の使いどころは 情報学探究マニュアル 第7節。
前にやった回 ここで思い出させる。もう一度教えない
- 情報Ⅱ (3) 第13回 似たものを、グループに分ける ｜ 「機械は分けるだけ ｜ 意味をつけるのは人」
- 情報Ⅱ (3) 第15回 機械に任せる判断、任せない判断 ｜ 「任せてよい条件は、5 つの言葉で書ける」
数を予測して、当たり方をずれで測った
前回は貸出台数という数を予測した。では、目的変数が「あり／なし」「A／B／C」のような種類だったらどうなるか。ずれを何台と言うことはできない
種類を当てるとき、当たり方は何で測るのか
教師用メモ
問いに挙手（正解率／当たった件数／決められない）。ほとんどが「正解率」と言う。ここでは否定しない。今日はその正解率を自分の手で 95% にしてみる回だと伝える。前回「まだ」が多かった目標を 2 分拾う。
授業の終わりにできるようになること
100 件のうち 5 件
4 つの箱から出す
正解率 95% のモデルを、自分で作る
何も当てなくても、95% になることがある
100 台のうち 5 台を、当てにいく
学校で貸し出している端末 100 台。来週こわれるのは 5 台（枠が濃います）。これを前もって当てたい。まず下の予想を 1 つ選ぶ。次に上のボタンでモデルを切り替える
教師用メモ
進め方（14分） ①ますを見せ、濃い枠が 5 つしかないことを確かめる（2分） ②ここで予想を選ばせる（2分） ③「全部こわれないと答える」を押す（3分。ここが山場） ④残り 2 つを押して比べる（3分） ⑤書いて送る（4分）。
数の答え A 全部「こわれない」: 正解率 95.0%／見つけた 0%（0/5）／見逃し 5 台。B ゆるめ: 正解率 93.0%／見つけた 80%（4/5）／当たっていた割合 40%（10 台のうち 4 台）／見逃し 1 台。C 厳しめ: 正解率 96.0%／見つけた 40%（2/5）／当たっていた割合 66.7%／見逃し 3 台。
山場 A は何ひとつ当てていないのに 95%。ここで「95% はすごい」が崩れる。そのうえで C を見せる。正解率がいちばん高い C（96%）でも、5 台のうち 3 台を見逃している。正解率がいちばん高いモデルが、目的にいちばん合っているとは限らない。
なぜこうなるか 100 件のうち 95 件が片側に寄っているから。件数が偏っているほど、多い側に全部寄せるだけで正解率は高く出る。B と C を比べさせると、見つけにいくほど「まちがってこわれると言う数」が増えることも見える。
つなぐ これは第9回の「指標が上がることと、よくなることは別」と同じ形。数は 1 つでは足りない。目標 01・02。
偏ったデータでは、正解率は勝手に高くなる
| 分類 | 目的変数が種類のときの予測。「こわれる／こわれない」「あり／なし」「A／B／C」 |
| 正解率 | 全体のうち、判定が合っていた割合。100 件中 95 件が「いいえ」なら、全部「いいえ」と答えるだけで 95% |
| だから | 正解率は、データの偏り方で決まってしまう部分を持っている。モデルの手柄ではない |
| 見つけた割合 | 本当に「はい」の件数のうち、いくつ当てたか。見逃しが困る場面で見る数 |
| 当たっていた割合 | 「はい」と答えた中で、合っていた割合。空振りが困る場面で見る数 |
※ 見つけにいくほど空振りが増え、空振りを減らすほど見逃しが増える。両方を同時に良くすることはできないので、どちらが困るかを先に決める
教師用メモ
板書に 2 行残す。「正解率だけを見ない」「見逃しと空振りの、どちらが困るかを先に決める」。件数の偏りは、探究で生徒が自分のデータを扱うときにほぼ必ず起こる（「困っている人」「壊れたもの」「事故」は、どれも少数側）。ここで一度言っておくと、第5回の写真の集め方の偏りにそのままつながる。
4 つの箱から、3 つの数を出す
当てた・見逃した・空振り・正しく見送った
3 つのモデルを、同じ 3 つの数で並べる
models に、見つけた割合が 100% になるモデル D を 1 行足して実行する（当てた 5、空振り 30、見逃し 0、正しく見送り 65）※ 4 つの数は、体験 01 の色分けをそのまま数えたもの。書いたものはこの端末に残り、どこにも送られない
こわれる前に点検に回したい。4 つのうち、どのモデルを使うか
分かれ方を読み上げる。点検の手間がどれだけあるかで答えが変わることを、選んだ生徒の言葉から引き出す。1 つに決めない
教師用メモ
進め方（13分） 実行と読み取り 4 分。③のモデル D を足す 4 分。投票 5 分。
結果 A 正解率 95.0／見つけた 0.0／当たっていた 0.0／見逃し 5。B 93.0／80.0／40.0／見逃し 1。C 96.0／40.0／66.7／見逃し 3。D（足すと）70.0／100.0／14.3／見逃し 0。
③ の足し方 models のリストに ("D 少しでもあやしければ", 5, 30, 0, 65), を 1 行足すだけ。行末のカンマを忘れるとエラーになる。
山場 D は見逃しゼロだが、正解率は 70% まで落ち、35 台を点検に回すことになる。A は点検ゼロだが 5 台が必ずこわれる。どれが正しいかは、点検 1 台にかかる手間と、こわれたときの困り方で決まる。数だけでは決まらない。
投票の押さえ 「点検が 5 分で終わるなら D」「点検に半日かかるなら C」という形で理由が出れば、思考・判断・表現の A。場面で選んでいるかを見る。目標 03。
正解率が高いのに、当てていないモデルを作ってみる
件数が大きく偏った列を目的変数にして分類を作り、正解率と、件数の少ない側の当たり方を見くらべる
- 「この枚で開く」を押す
- 分類を選び、「はい」と「いいえ」の件数が大きく違う列を目的変数にする
- 正解率だけでなく、件数の少ない側がどれだけ当てられているかを確かめる
※ この枚は提出しない。自分の手で確かめて、分かったことをノートに書く
教師用メモ
進め方 提出させない枚。手を動かして確かめるところまで。机間指導で、止まっている生徒だけを見る。
8分。提出させない枚。正解率と、種類ごとの当たり方が別々に出ることを画面で見つけさせる。件数が偏った列を目的変数に選ばせるのがこつ。通常の学習と予測はブラウザの中で完結し、生成 AI の解釈支援を押したときだけ外部へ送られる。
道具は外で公開されている Web アプリ。この授業のページの中で開くので、別のページへは移らない。閉じれば、そのままこの枚に戻る。ブラウザの中で動き、入力はこの授業のサーバーには送られない。
どの数を見るかは、場面が決める
| 4 つの箱 | 当てた ／ 空振り ／ 見逃した ／ 正しく見送った。当たり方の数は、すべてこの 4 つから作られる |
| 見逃しが困る場面 | こわれる前の点検、病気の見落とし、事故の予兆。見つけた割合を見る。空振りは増えてよい |
| 空振りが困る場面 | 呼び出し、警告、自動で止める仕組み。当たっていた割合を見る。見逃しは増えてもよい |
| 正解率が使えるとき | 「はい」と「いいえ」の件数がだいたい同じとき。偏っているときは、まず件数を確かめる |
| 先に決めること | モデルを作る前に、どちらが困るかを決めておく。あとから決めると、都合のよい数を選んでしまう |
※ ここまでの数は、どれも手元の 100 台で測ったもの。まだ見ていない端末で同じ数が出るかは、これでは分からない。次回は、その測り方を扱う
教師用メモ
最後の注で次回へつなぐ。「先に決める」は態度の評価につながる。結果を見てから見る数を選ぶのは、数をよく見せる操作だと一言。探究の発表でこれをやってしまう生徒が多い。
3つの目標に、自分の操作で答える
今日の目標、自分はどこまで
3 つの目標それぞれに、できた／だいたい／まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る
教師用メモ
1 分。「まだ」が多い目標は、次回の冒頭で拾い直す。
見逃しと空振り、どちらが困る場面か
一文でよい。身のまわりで機械が何かを見分けている場面を 1 つ挙げ、そこでは見逃しと空振りのどちらが困るかを書く
教師用メモ
3 分。「迷惑メール」「体温の検知」「自動ドア」「顔で開く鍵」が出る。同じ場面でも、立場によって困る側が入れかわることを 1 例で示す（顔で開く鍵は、使う人にとっては見逃しが不便、持ち主にとっては空振りが危険）。
次回は「予測の精度の測り方」。今日出した数は、どれも手元のデータで測ったもの。次回は、見たことのないデータで測るために、データをどう分けるかを扱う。この単元でいちばん大事な回になる。