一覧へ easyDataScience で予測する 第4回 | 特徴量の重要度
高校の情報学探究 | easyDataScience で予測する | 第4回

特徴量の重要度

効いた列は原因ではなく、関係のない列でも足せば効いたように見える

10〜50分
教師用メモ

準備(授業前) 教室コードを決める(例: ds04)。「教師」を押す。体験 01・02 の数は、どちらも第3回と同じ 24 日(学習 16 日・見ていない 8 日)で前もって作ったもので、この枚の中にある。道具の枚だけネットにつながる必要がある。

通常の学習と予測は、ブラウザの中で完結する。読み込んだ表を分析用のサーバへ送らない。生成 AI による解釈支援を押したときだけ、外部へ送られる。押す前に何が送られるかを画面で確かめる。

投影 「投影」で 1 枚ずつ送る。体験 02 は予想を選ばせてから「3 本足す」を押させる。教師が先に押して見せない。

時間配分(50分版) 枚は全部使う。前回のまとめ・目標 6分 / 節1 どの列が効いたか 14分 / 節2 関係のない列を足す 16分 / 道具で探す 8分 / まとめ・自己評価・ふりかえり 6分

20分版 使う枚は 1・2・3・7・8・10・13(表紙/前回のまとめ/目標/節扉2/体験02/まとめ02/ふりかえり)。体験 01 を飛ばし、「関係のない列を足すと当たったように見える」の一点に絞る。

10分版 使う枚は 1・8・10(表紙/体験02/まとめ02)。「0 本」と「3 本」だけを押して見せ、2 つの数が逆に動くことを残す。道具は授業の外で触らせる。

この回の評価(重点は思考・判断・表現。評価場面は体験 01 の提出と体験 02 の予想)

  • 知識・技能 重要度が何を並べた数かを言い、上位の列を読み取っている(体験01) | A: 重要度の順と、外したときの当たり方の変化を対応づけている
  • 思考・判断・表現 関係のない列を足すと 2 つの当たり方が逆に動く理由を説明している(体験02) | A: 気づくには第3回の分け方が要ることまで述べている
  • 態度 効いた列を原因として言い切らずに確かめようとしている(体験01・ふりかえり) | A: 一緒に動いているだけの可能性を自分から挙げている

指導要領 [解説 情報編]情報Ⅱ (3) ア(ウ)・イ(ウ)「モデルの評価」、ア(イ)の「目的に応じたモデル化」。[設計指針 第2版]X1L3「AI 技術でできること、データの量/匿名性/偏りなどの問題、社会的影響」(高必)。X3L2(信頼性/公平性/透明性/個人情報保護/責任)のうち透明性の具体がここ。どの列が効いたかを示すことは説明の入口だが、それを原因と読み替えると誤りになる。D5L2「実データに対する重回帰などの分析」(高選)。単元の目標と評価規準は 単元設計のページ。特徴量重要度の位置づけは 情報学探究マニュアル 第7節「最初の 3 手」の 3 番目。

前にやった回 ここで思い出させる。もう一度教えない

前回のまとめ

作るデータと、測るデータを分けた

学習 16 日 0.00 台見ていない 8 日 14.84 台→2 つの数を並べて見る

前回、丸暗記モデルは学習に使った行で完璧だったのに、見ていない行では何もしないのと変わらなかった。分けて測れば、それが見える。ではどの列が、当たり方を支えていたのか

効いた列が分かれば、原因も分かるのか

教師用メモ

問いに挙手(分かる/分からない/場合による)。ここでは答えない。今日は「効いた」と「原因」が別であることを、2 つの体験で見る回だと伝える。前回「まだ」が多かった目標を 2 分拾う。

今日の目標

授業の終わりにできるようになること

01
特徴量重要度が、何を並べた数かを言える
02
効いた列は原因とは限らないことを、例で言える
03
関係のない列を足すと、学習用では良くなり、見ていない行では悪くなることを言える
01 | 14分
どの列が効いたか

1 列ずつ外して測る

02 | 16分
関係のない列を足す

2 つの数が逆に動く

SECTION 01

効いた列を、1 列ずつ外して確かめる

外して悪くなるほど、その列は効いていた

画面に並んだ横棒のグラフを見ながら、いちばん長い棒の列名をノートに書き写している高校生2人
体験 01

5 つの列を、効いた順に並べる

第3回と同じ 24 日(学習 16 日・見ていない 8 日)。棒の長さは、その列を外して作り直したとき、見ていない 8 日での平均のずれがどれだけ増えたか。長いほど効いていた。押すと、外したときの数が右に出る

重要度 | 外すと、ずれが何台ふえるか

※ 5 つとも使ったときの平均のずれは 4.37 台(見ていない 8 日で)。ここからどれだけ悪くなるかを並べている

4.37
見ていない 8 日での平均のずれ(台)
—
外したことで増えたずれ(台)
左の棒を 1 つ押すと、その列を外して作り直した結果が出る
いちばん効いていた列を 1 つ挙げ、それが原因かどうかを一文で
みんなが挙げた列と、その読み
教師用メモ

進め方(13分) ①棒の長さを読み、順位を口で言わせる(3分) ②上から順に押して、外したときの数を見る(4分) ③書いて送る(6分)。

数の答え 5 つとも使う: 4.37 台。外すと | 雨か 10.29(+5.92)/休日か 8.42(+4.05)/気温 6.83(+2.46)/くもりか 5.31(+0.94)/イベント 5.20(+0.83)。

意外なところ いちばん効いているのは、気温ではなく雨かだった。雨の日は台数が大きく落ちるので、この列がないと当たらない。「たぶん気温だろう」という見込みが外れるところが、この体験の値打ち。

いちばん大事な押さえ 効いた列は、原因ではない。雨の日は気温も低く、休日と重なる日もある。一緒に動いているだけかもしれない。これは情報Ⅰ (4) 第10回の「一緒に動いていても、動かしているとは限らない」と同じ話。重要度は、モデルが何に寄りかかっているかを見せる表で、原因を教える表ではない。

道具が出す重要度との関係 easyDataScience が出す特徴量重要度は、計算のしかたは違うが、読み方は同じ。「この列を取り上げたら、どれだけ困るか」を並べたもの。目標 01・02。

まとめ 01

重要度は、原因の表ではない

特徴量重要度モデルがどの列に寄りかかっているかを並べた数。取り上げたときに困る順
読み方上位の列は、その予測を支えている。下位の列は、無くてもあまり変わらない
原因ではない雨の日は気温も低い。一緒に動いているだけの列も、上位に来る
確かめるには原因かどうかは、その列だけを変えて試すしかない。表を見ているだけでは決まらない
言い方「気温が原因だ」ではなく「このモデルは気温に寄りかかっている」と言う

※ 上位に来た列が、予測する時点ではまだ分からない列だったら、そのモデルは使えない。重要度は、使えるかどうかの点検にも使う

教師用メモ

板書に 2 行残す。「重要度は、寄りかかっている順」「効いた ≠ 原因」。最後の注は実務で最もよく起きる事故(予測したいことの結果にあたる列が、うっかり説明変数に入っている)。探究で「当たりすぎている」ときは、まずここを疑わせる。

SECTION 02

関係のない列を、足してみる

出席番号やサイコロの目でも、当たったように見える

表の右端にサイコロの目を書き足しながら、それでも当たるのかと顔を見合わせている高校生2人
体験 02

でたらめな列を足して、2 つの数を見る

同じ 24 日に、台数と何の関係もない列を足して作り直す。足すのは ①日直の出席番号 ②サイコロの目 ③通し番号。まず下の予想を 1 つ選ぶ。次に上のボタンで本数を切り替える

でたらめな列を、何本足すか
—
学習に使った 16 日での平均のずれ(台)
—
見ていない 8 日での平均のずれ(台)
上のボタンを 1 つ押す
予想 | でたらめな列を 3 本足すと、2 つの数はどうなるか
クラスの予想
2 つの数の動き方
教師用メモ

進め方(15分) ①「足さない」を押して 2 つの数を確かめる(2分) ②ここで予想を選ばせる(2分) ③1 本ずつ増やす(5分。ここが山場) ④書いて送る(6分)。

数の答え 足さない: 学習 3.41/見ていない 4.37。1 本: 3.04/4.79。2 本: 2.48/5.81。3 本: 1.79/13.58。

山場 学習の数は足すたびに必ず下がる(3.41 → 1.79)。見ていない 8 日の数は上がっていく(4.37 → 13.58)。この 2 つが逆に動いているのが過学習。これは情報Ⅱ (3) 第8回で「日直の出席番号」を足したときと同じこと。あのときは学習側しか見ていなかったので、下がったことしか分からなかった。

なぜ下がるのか 16 行しかないのに、手がかりの列を増やせば、式はその 16 行に合わせる自由度を持つ。サイコロの目のでこぼこにまで合わせにいく。そのでこぼこは次の 8 日にはないので、当たらなくなる。

いちばん大事な一言 学習側だけを見ていたら、これに気づけない。第3回の分け方は、このために要る。逆に言えば、分けずに出した「当たり方」は、列を増やすだけでいくらでも良く見せられる。

重要度はどうなるか 3 本足すと、でたらめな列も重要度の表に名前が出る。名前が出ることと、効いていることは別。目標 03。

道具で探す

関係のない列が、重要度に出てくるところを見つける

目的変数と関係のない列を 1 つ足して学習させ、それが重要度のどこに出てきたかを見つけて出す

easyDataScience(予測・分類の道具)モデルを作ると、どの列が効いたかを特徴量重要度として並べて見せる。部分依存図や学習曲線も出せる
  1. 「この枚で開く」を押す
  2. 表に、目的変数と何の関係もない列を 1 つ足して学習させる
  3. 特徴量重要度の何番目にその列が出てきたかと、当たり方の数の動きを書き写す
この授業のページの中で開く。終わったら「閉じてこの枚に戻る」で戻る
見つけたものを、一文で
みんなの見つけたもの
教師用メモ

進め方 見つけた人から出す。全員に同じ答えを求めない。出てきたものを 2〜3 個読み上げ、共通点を言葉にする。

8分。足す列は、通し番号・出席番号・サイコロの目など、目的変数と何の関係もないものにする。重要度に名前が出ることと、効いていることは別だと確かめさせる。学習用と検証用の数を両方見せるのを忘れない。通常の学習と予測はブラウザの中で完結し、生成 AI の解釈支援を押したときだけ外部へ送られる。

道具は外で公開されている Web アプリ。この授業のページの中で開くので、別のページへは移らない。閉じれば、そのままこの枚に戻る。ブラウザの中で動き、入力はこの授業のサーバーには送られない。

まとめ 02

2 つの数が逆に動いたら、それが過学習

起きたことでたらめな列を 3 本足すと、学習側は 3.41 → 1.79。見ていない側は 4.37 → 13.58
過学習手元のデータのでこぼこにまで合わせてしまい、次のデータでは外れること
気づき方学習側と見ていない側を並べる。学習側だけが良くなっていくときは、必ず疑う
起きやすいとき行が少なく、列が多いとき。探究のデータはたいていこの形になる
止め方列を減らす。行を増やす。使う理由を言える列だけを入れる

※ 重要度の表に名前が出ても、それだけでは「効いている」ことにならない。でたらめな列でも名前は出る

教師用メモ

板書に 2 行残す。「学習側だけ良くなったら疑う」「使う理由を言える列だけ入れる」。次回は写真と音を扱うが、そこでも同じことが「集め方の偏り」という形で起きると一言つないでおくと、第5回の入口が短くなる。

今日のまとめ

3つの目標に、自分の操作で答える

01
並べた 外すと困る順。いちばん効いていたのは気温ではなく「雨か」で、外すと 4.37 が 10.29 になった
02
原因ではない 雨の日は気温も低い。一緒に動いているだけの列も、上位に来る
03
逆に動いた でたらめな列 3 本で、学習側 3.41 → 1.79、見ていない側 4.37 → 13.58
自己評価

今日の目標、自分はどこまで

3 つの目標それぞれに、できた/だいたい/まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る

今日の目標、自分はどこまで | 1 つずつ選ぶ
01特徴量重要度が、何を並べた数かを言える
02効いた列は原因とは限らないことを、例で言える
03関係のない列を足すと 2 つの数が逆に動くことを言える
できただいたいまだ
教師用メモ

1 分。「まだ」が多い目標は、次回の冒頭で拾い直す。

ふりかえり

「この列が効いています」と言われたとき

一文でよい。「この列がいちばん効いています」と見せられたとき、自分が次に確かめることを 1 つ書く

みんなが次に聞くこと
教師用メモ

3 分。「一緒に動いている列はないか」「何行あるか」「列は何本か」「見ていないデータで測ったか」が出る。4 つとも板書に残し、第5回の課題の点検表として使う。

次回は「画像と音の分類」。表ではなく、写真や音を機械に分けさせる。そこでも集め方の偏りという形で、今日と同じことが起きる。人が写ったもの・人の声をどう扱うかも決める。単元の最後の回になる。