効いた列は原因ではなく、関係のない列でも足せば効いたように見える
10〜50分準備(授業前) 教室コードを決める(例: ds04)。「教師」を押す。体験 01・02 の数は、どちらも第3回と同じ 24 日(学習 16 日・見ていない 8 日)で前もって作ったもので、この枚の中にある。道具の枚だけネットにつながる必要がある。
通常の学習と予測は、ブラウザの中で完結する。読み込んだ表を分析用のサーバへ送らない。生成 AI による解釈支援を押したときだけ、外部へ送られる。押す前に何が送られるかを画面で確かめる。
投影 「投影」で 1 枚ずつ送る。体験 02 は予想を選ばせてから「3 本足す」を押させる。教師が先に押して見せない。
時間配分(50分版) 枚は全部使う。前回のまとめ・目標 6分 / 節1 どの列が効いたか 14分 / 節2 関係のない列を足す 16分 / 道具で探す 8分 / まとめ・自己評価・ふりかえり 6分
20分版 使う枚は 1・2・3・7・8・10・13(表紙/前回のまとめ/目標/節扉2/体験02/まとめ02/ふりかえり)。体験 01 を飛ばし、「関係のない列を足すと当たったように見える」の一点に絞る。
10分版 使う枚は 1・8・10(表紙/体験02/まとめ02)。「0 本」と「3 本」だけを押して見せ、2 つの数が逆に動くことを残す。道具は授業の外で触らせる。
この回の評価(重点は思考・判断・表現。評価場面は体験 01 の提出と体験 02 の予想)
指導要領 [解説 情報編]情報Ⅱ (3) ア(ウ)・イ(ウ)「モデルの評価」、ア(イ)の「目的に応じたモデル化」。[設計指針 第2版]X1L3「AI 技術でできること、データの量/匿名性/偏りなどの問題、社会的影響」(高必)。X3L2(信頼性/公平性/透明性/個人情報保護/責任)のうち透明性の具体がここ。どの列が効いたかを示すことは説明の入口だが、それを原因と読み替えると誤りになる。D5L2「実データに対する重回帰などの分析」(高選)。単元の目標と評価規準は 単元設計のページ。特徴量重要度の位置づけは 情報学探究マニュアル 第7節「最初の 3 手」の 3 番目。
前にやった回 ここで思い出させる。もう一度教えない
前回、丸暗記モデルは学習に使った行で完璧だったのに、見ていない行では何もしないのと変わらなかった。分けて測れば、それが見える。ではどの列が、当たり方を支えていたのか
効いた列が分かれば、原因も分かるのか
問いに挙手(分かる/分からない/場合による)。ここでは答えない。今日は「効いた」と「原因」が別であることを、2 つの体験で見る回だと伝える。前回「まだ」が多かった目標を 2 分拾う。
1 列ずつ外して測る
2 つの数が逆に動く
外して悪くなるほど、その列は効いていた

第3回と同じ 24 日(学習 16 日・見ていない 8 日)。棒の長さは、その列を外して作り直したとき、見ていない 8 日での平均のずれがどれだけ増えたか。長いほど効いていた。押すと、外したときの数が右に出る
※ 5 つとも使ったときの平均のずれは 4.37 台(見ていない 8 日で)。ここからどれだけ悪くなるかを並べている
進め方(13分) ①棒の長さを読み、順位を口で言わせる(3分) ②上から順に押して、外したときの数を見る(4分) ③書いて送る(6分)。
数の答え 5 つとも使う: 4.37 台。外すと | 雨か 10.29(+5.92)/休日か 8.42(+4.05)/気温 6.83(+2.46)/くもりか 5.31(+0.94)/イベント 5.20(+0.83)。
意外なところ いちばん効いているのは、気温ではなく雨かだった。雨の日は台数が大きく落ちるので、この列がないと当たらない。「たぶん気温だろう」という見込みが外れるところが、この体験の値打ち。
いちばん大事な押さえ 効いた列は、原因ではない。雨の日は気温も低く、休日と重なる日もある。一緒に動いているだけかもしれない。これは情報Ⅰ (4) 第10回の「一緒に動いていても、動かしているとは限らない」と同じ話。重要度は、モデルが何に寄りかかっているかを見せる表で、原因を教える表ではない。
道具が出す重要度との関係 easyDataScience が出す特徴量重要度は、計算のしかたは違うが、読み方は同じ。「この列を取り上げたら、どれだけ困るか」を並べたもの。目標 01・02。
| 特徴量重要度 | モデルがどの列に寄りかかっているかを並べた数。取り上げたときに困る順 |
| 読み方 | 上位の列は、その予測を支えている。下位の列は、無くてもあまり変わらない |
| 原因ではない | 雨の日は気温も低い。一緒に動いているだけの列も、上位に来る |
| 確かめるには | 原因かどうかは、その列だけを変えて試すしかない。表を見ているだけでは決まらない |
| 言い方 | 「気温が原因だ」ではなく「このモデルは気温に寄りかかっている」と言う |
※ 上位に来た列が、予測する時点ではまだ分からない列だったら、そのモデルは使えない。重要度は、使えるかどうかの点検にも使う
板書に 2 行残す。「重要度は、寄りかかっている順」「効いた ≠ 原因」。最後の注は実務で最もよく起きる事故(予測したいことの結果にあたる列が、うっかり説明変数に入っている)。探究で「当たりすぎている」ときは、まずここを疑わせる。
出席番号やサイコロの目でも、当たったように見える

同じ 24 日に、台数と何の関係もない列を足して作り直す。足すのは ①日直の出席番号 ②サイコロの目 ③通し番号。まず下の予想を 1 つ選ぶ。次に上のボタンで本数を切り替える
進め方(15分) ①「足さない」を押して 2 つの数を確かめる(2分) ②ここで予想を選ばせる(2分) ③1 本ずつ増やす(5分。ここが山場) ④書いて送る(6分)。
数の答え 足さない: 学習 3.41/見ていない 4.37。1 本: 3.04/4.79。2 本: 2.48/5.81。3 本: 1.79/13.58。
山場 学習の数は足すたびに必ず下がる(3.41 → 1.79)。見ていない 8 日の数は上がっていく(4.37 → 13.58)。この 2 つが逆に動いているのが過学習。これは情報Ⅱ (3) 第8回で「日直の出席番号」を足したときと同じこと。あのときは学習側しか見ていなかったので、下がったことしか分からなかった。
なぜ下がるのか 16 行しかないのに、手がかりの列を増やせば、式はその 16 行に合わせる自由度を持つ。サイコロの目のでこぼこにまで合わせにいく。そのでこぼこは次の 8 日にはないので、当たらなくなる。
いちばん大事な一言 学習側だけを見ていたら、これに気づけない。第3回の分け方は、このために要る。逆に言えば、分けずに出した「当たり方」は、列を増やすだけでいくらでも良く見せられる。
重要度はどうなるか 3 本足すと、でたらめな列も重要度の表に名前が出る。名前が出ることと、効いていることは別。目標 03。
目的変数と関係のない列を 1 つ足して学習させ、それが重要度のどこに出てきたかを見つけて出す
進め方 見つけた人から出す。全員に同じ答えを求めない。出てきたものを 2〜3 個読み上げ、共通点を言葉にする。
8分。足す列は、通し番号・出席番号・サイコロの目など、目的変数と何の関係もないものにする。重要度に名前が出ることと、効いていることは別だと確かめさせる。学習用と検証用の数を両方見せるのを忘れない。通常の学習と予測はブラウザの中で完結し、生成 AI の解釈支援を押したときだけ外部へ送られる。
道具は外で公開されている Web アプリ。この授業のページの中で開くので、別のページへは移らない。閉じれば、そのままこの枚に戻る。ブラウザの中で動き、入力はこの授業のサーバーには送られない。
| 起きたこと | でたらめな列を 3 本足すと、学習側は 3.41 → 1.79。見ていない側は 4.37 → 13.58 |
| 過学習 | 手元のデータのでこぼこにまで合わせてしまい、次のデータでは外れること |
| 気づき方 | 学習側と見ていない側を並べる。学習側だけが良くなっていくときは、必ず疑う |
| 起きやすいとき | 行が少なく、列が多いとき。探究のデータはたいていこの形になる |
| 止め方 | 列を減らす。行を増やす。使う理由を言える列だけを入れる |
※ 重要度の表に名前が出ても、それだけでは「効いている」ことにならない。でたらめな列でも名前は出る
板書に 2 行残す。「学習側だけ良くなったら疑う」「使う理由を言える列だけ入れる」。次回は写真と音を扱うが、そこでも同じことが「集め方の偏り」という形で起きると一言つないでおくと、第5回の入口が短くなる。
3 つの目標それぞれに、できた/だいたい/まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る
1 分。「まだ」が多い目標は、次回の冒頭で拾い直す。
一文でよい。「この列がいちばん効いています」と見せられたとき、自分が次に確かめることを 1 つ書く
3 分。「一緒に動いている列はないか」「何行あるか」「列は何本か」「見ていないデータで測ったか」が出る。4 つとも板書に残し、第5回の課題の点検表として使う。
次回は「画像と音の分類」。表ではなく、写真や音を機械に分けさせる。そこでも集め方の偏りという形で、今日と同じことが起きる。人が写ったもの・人の声をどう扱うかも決める。単元の最後の回になる。