一覧へ easyDataScience で予測する 第3回 | 予測の精度の測り方
高校の情報学探究 | easyDataScience で予測する | 第3回

予測の精度の測り方

学習に使ったデータで測った当たり方は、本当の当たり方ではない。この単元でいちばん大事な回として、まるごと 1 回を使う

10〜50分
教師用メモ

準備(授業前) 教室コードを決める(例: ds03)。「教師」を押す。体験 01 の表と体験 02 の 9 つの場面は、どちらもこの枚の中にある。道具の枚だけネットにつながる必要がある。この回は単元の山場。第1回・第2回の当たり方の数を、すべてここで測り直す。

通常の学習と予測は、ブラウザの中で完結する。読み込んだ表を分析用のサーバへ送らない。生成 AI による解釈支援を押したときだけ、外部へ送られる。押す前に何が送られるかを画面で確かめる。

投影 「投影」で 1 枚ずつ送る。体験 01 は予想を選ばせてから「見ていない 8 日で測る」を押させる。教師が先に押して見せない。

時間配分(50分版) 枚は全部使う。前回のまとめ・目標 6分 / 節1 どのデータで測るか 17分 / 節2 分け方を選ぶ 13分 / 道具で比べて選ぶ 8分 / まとめ・自己評価・ふりかえり 6分

20分版 使う枚は 1・2・3・5・6・9・13(表紙/前回のまとめ/目標/体験01/まとめ01/道具の枚/ふりかえり)。体験 02 の仕分けは宿題にし、「学習に使った行では測らない」の一点に絞る。

10分版 使う枚は 1・5・6(表紙/体験01/まとめ01)。丸暗記モデルを 2 回押して見せ、「0.00 台が 14.84 台になる」だけを残す。道具は授業の外で触らせる。

この回の評価(重点は思考・判断・表現。評価場面は体験 01 の予想と体験 02 の仕分け)

  • 知識・技能 学習用・検証用・テスト用の役割を分けて言い、3 つの分け方の名前と場面を対応づけている(体験02) | A: 自分のデータに要る分け方を理由つきで選んでいる
  • 思考・判断・表現 学習に使った行で測ると当たり方が高く出る理由を説明している(体験01) | A: 丸暗記モデルが、いつも平均と答えるのと変わらなくなる理由まで述べている
  • 態度 自分の出した当たり方の数を、どのデータで測ったかを言おうとしている(体験01・ふりかえり) | A: 前回までに出した数を測り直そうとしている

指導要領 [解説 情報編]情報Ⅱ (3) ア(ウ)・イ(ウ)「モデルの評価」。内容の取扱い (3)「アの(ウ)及びイの(ウ)については、アの(イ)及びイの(イ)で行ったモデル化や処理、解釈・表現の結果を受けて行う」。[設計指針 第2版]X1L3「AI 技術でできること、データの量/匿名性/偏りなどの問題、社会的影響」(高必)。X3L2(信頼性/公平性/透明性/個人情報保護/責任)のうち信頼性と透明性の具体がここ。「当たったように見える」数を外に出すことは、透明性の問題になる。単元の目標と評価規準は 単元設計のページ。分割の決まりは 情報学探究マニュアル 第7節「当たり方を正しく測るために」。

前にやった回 ここで思い出させる。もう一度教えない

前回のまとめ

数はどれも、手元のデータで測ったものだった

正解率 95%見つけた割合 0%→どのデータで測ったのか

第1回では 1 日あたりのずれを、第2回では正解率と見つけた割合を出した。どれもモデルを作るのに使ったデータで測った数だった。モデルは、そのデータに合わせて作られている

その数は、まだ見ていないデータでも出るのか

教師用メモ

問いに挙手(同じ数が出る/少し下がる/分からない)。ここでは答えない。今日はその差を、自分の目で数にして見る回だと伝える。前回「まだ」が多かった目標を 2 分拾う。

今日の目標

授業の終わりにできるようになること

01
学習に使った行で測った当たり方が、当たり方にならない理由を言える
02
テスト用は、決めるまで見ないという約束の意味を言える
03
無作為分割・グループ分割・時系列分割を、データの形で選び分けられる
01 | 17分
どのデータで測るか

丸暗記モデルを測る

02 | 13分
分け方を選ぶ

9 つの場面を仕分ける

SECTION 01

学習に使った行で測ると、必ず良く見える

丸暗記したモデルは、覚えた行では 100% 当たる

表を印刷した紙の下の数行を折って隠し、残りだけを見ながら答えを書いている高校生2人
体験 01

同じモデルを、2 つのデータで測り分ける

第1回と同じ貸し自転車の記録に、そのあとの 8 日を足した 24 日ぶん。丸暗記モデルは 16 日ぶんの行をそのまま覚え、表にない日には同じ気温の日の台数を、それも無ければ平均の 53.8 台と答える。まず下の予想を 1 つ選ぶ。次に上の 2 列のボタンを切り替える

どのモデルを測るか
どのデータで測るか
—
1 日あたりの平均のずれ(台)
—
いちばん外した日のずれ(台)

※ くらべる相手 | 何も手がかりを使わずいつも平均の 53.8 台と答えると、見ていない 8 日での平均のずれは 15.00 台

上の 2 列を、それぞれ 1 つずつ押す
予想 | 学習に使った 16 日で平均のずれ 0.00 台だった丸暗記モデルは、見ていない 8 日では
クラスの予想
数がどう動いたか
教師用メモ

進め方(16分) ①「丸暗記モデル」+「学習に使った 16 日」を押す。0.00 台が出る(3分) ②ここで予想を選ばせる(2分) ③「見ていない 8 日」に切り替える(3分。ここが山場) ④「手がかりから作ったモデル」で同じ 2 つを見る(3分) ⑤書いて送る(5分)。

数の答え 丸暗記モデル: 学習 16 日 0.00 台/見ていない 8 日 14.84 台(いちばん外したのは 4/24 の 31.0 台)。手がかりから作ったモデル: 学習 16 日 3.42 台/見ていない 8 日 4.36 台。いつも平均の 53.8 台: 見ていない 8 日で 15.00 台。

山場 丸暗記モデルは、学習に使った行では完璧(0.00 台)。ところが見ていない 8 日では 14.84 台で、何も考えずにいつも平均と答える 15.00 台とほとんど変わらない。完璧に見えたモデルが、何もしないのと同じだった。「学習に使った行での当たり方」は、当たり方をまったく表していない。

なぜか 丸暗記モデルは、手がかりと台数の関係を何ひとつ見つけていない。ただ答えを写しただけ。写した答えは、次の 1 行では使えない。一方、手がかりから作ったモデルは 2 つの数が近い(3.42 と 4.36)。この 2 つが近いことが、信用してよい合図。

言い方をそろえる ここから先、当たり方の数を言うときは必ず「どのデータで測ったか」を一緒に言わせる。「平均のずれ 4.36 台(見ていない 8 日で)」。これを板書して、第5回の課題まで使う。目標 01。

まとめ 01

測るためのデータは、作る前に取り分けておく

学習用モデルを作るのに使うデータ。ここで測った当たり方は、当たり方として使えない
検証用作り方を選ぶのに使うデータ。どのモデルにするか、どの列を使うかを、ここの数を見て決める
テスト用最後に1 回だけ測るためのデータ。決めるまで見ない。見てから直すと、また「当たったように見える」だけになる
合図学習用の数と検証用の数が大きく離れているなら、覚えているだけの疑いがある
数の言い方当たり方の数を言うときは、どのデータで測ったかを必ず一緒に言う。それが無い数は読めない

※ 「テスト用を見てから直す」は、答えを見てから答案を書き直すのと同じ。悪気がなくても起きるので、先に封をしておく

教師用メモ

板書に 3 行残す。「作るデータと測るデータを分ける」「テスト用は決めるまで見ない」「数には、どこで測ったかを添える」。ここが単元でいちばん大事な 3 行。第5回の単元末の課題は、この 3 行を守れているかで見る。件数が少ない探究のデータでは分けられないこともある。そのときは「分けられなかった」と書かせる。書いてあれば読む側が判断できる。

SECTION 02

分け方は、データの形が決める

同じ人が両側に入ると、また当たったように見える

机の上のカードを3つの山に分けながら、どの山に入れるかを言い合っている高校生3人
体験 02

9 つの場面を、3 つの分け方に仕分ける

下の 9 つを分ける。まず上で付ける印を選び、次にその印を付けるものを押す。全部に印を付けたら「答え合わせ」。迷ったものは、隣と理由を言い合う

無作為分割 = ばらばらに取り分けるグループ分割 = 同じ人・同じ場所を両側に入れない時系列分割 = 古いほうで学習し、新しいほうで測る
迷った 1 つを選び、なぜその分け方かを一文で
みんなが迷ったところ
教師用メモ

進め方(12分) 仕分け 5 分。答え合わせと解説 4 分。書いて送る 3 分。

答え 無作為分割: 1・5・8(1 件が 1 つずつ独立していて、時間の順にも意味がない)。グループ分割: 2・4・6(同じ人・同じ学校から複数の行が出ている)。時系列分割: 3・7・9(過去から未来を当てる)。

間違いやすいのは 2 と 6。ばらばらに取り分けると、同じ人の 30 日のうち 25 日が学習側、5 日が検証側に入る。その人のくせを覚えただけで当たってしまう。使うときは初めて会う人なので、測り方が場面と合っていない。

間違いやすいのは 9。ばらばらに取り分けると、2 学期の日が学習側に混ざる。未来を見てから過去を当てていることになる。実際には未来は分からない。

見分け方を 1 行で 「使うときの相手は何か」を先に言う。初めて会う人に使うなら人で分ける。あしたに使うなら時間で分ける。それ以外なら無作為でよい。目標 03。

道具で比べて、選ぶ

自分のデータには、どの分け方が要るか

道具で 3 つの分け方を切り替えたうえで、自分のデータに要る分け方を 1 つ選び、理由を書く

easyDataScience(予測・分類の道具)学習用と検証用の分け方を選べる。交差検証のほか、グループ分割と時系列分割も選べる
  1. 「この枚で開く」を押す
  2. モデルを 1 つ作り、分け方を無作為・グループ・時系列で切り替える
  3. 切り替えるたびに、当たり方の数がどれだけ動くかを書き写す
この授業のページの中で開く。終わったら「閉じてこの枚に戻る」で戻る
選んだもの
クラスの選び方
選んだ理由
教師用メモ

進め方 道具で比べさせてから選ばせる。同じものを選んでも理由が違うことを見せる。少数派の理由を必ず 1 つ読み上げる。

8分。分け方を変えると当たり方の数が変わることを、その場で見せる。どれが正しいかではなく、使うときの相手に合っているかで選ばせる。同じ人・同じ場所から複数の行が出ている班は、必ずグループ分割を選ばせる。通常の学習と予測はブラウザの中で完結し、生成 AI の解釈支援を押したときだけ外部へ送られる。

道具は外で公開されている Web アプリ。この授業のページの中で開くので、別のページへは移らない。閉じれば、そのままこの枚に戻る。ブラウザの中で動き、入力はこの授業のサーバーには送られない。

まとめ 02

使うときの相手に、測り方をそろえる

無作為分割1 件ずつが独立していて、時間の順にも意味がないとき。ばらばらに取り分ける
グループ分割同じ人・同じ学校・同じ場所から複数の行が出ているとき。そのまとまりごと、どちらか一方に入れる
時系列分割過去から未来を当てるとき。古いほうで学習し、新しいほうで測る。順番を混ぜない
選び方「このモデルを使うときの相手は何か」を先に言う。初めて会う人なら人で、あしたなら時間で分ける
件数が足りないとき分けられないこともある。そのときは「分けられなかった」と書く。書いてあれば、読む側が判断できる

※ 分け方を間違えると、当たり方の数は実際より高く出る。低く出る間違いは、ほとんど起きない。だから高い数ほど、測り方を確かめる

教師用メモ

最後の注が、態度の評価につながる。数が思ったより高いときこそ疑う。探究の発表で「95% 当たりました」と言う班が出たら、この一行で聞き返す。次回は、その「当たったように見える」がどう起きるかを、列を足して自分で作ってみる。

今日のまとめ

3つの目標に、自分の操作で答える

01
測り分けた 丸暗記モデルは学習の 16 日で 0.00 台、見ていない 8 日で 14.84 台。答えを写しただけだった
02
封をする テスト用は決めるまで見ない。見てから直すと、また当たったように見えるだけになる
03
形で選ぶ 独立なら無作為、同じ人が並ぶならグループ、過去から未来なら時系列
自己評価

今日の目標、自分はどこまで

3 つの目標それぞれに、できた/だいたい/まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る

今日の目標、自分はどこまで | 1 つずつ選ぶ
01学習に使った行で測った当たり方が、当たり方にならない理由を言える
02テスト用は決めるまで見ない、という約束の意味を言える
03無作為分割・グループ分割・時系列分割を、データの形で選び分けられる
できただいたいまだ
教師用メモ

1 分。「まだ」が多い目標は、次回の冒頭で拾い直す。目標 01 が「まだ」なら、第4回の入口でもう一度 0.00 台と 14.84 台を出して見せる。

ふりかえり

自分のデータなら、どこで分けるか

一文でよい。自分の探究か、身のまわりのデータを 1 つ思い浮かべ、どこで分けるかと、その理由を書く

みんなの分け方
教師用メモ

3 分。「人ごと」「学級ごと」「日付で」が出る。理由まで書けているものを 2 つ読み上げる。理由が無いものは「使うときの相手は誰か」と聞き返すだけでよい。

次回は「特徴量の重要度」。今日は測り方を整えた。次回は、関係のない列を足すと当たったように見えることを、実際に自分の手で作ってみる。今日の分け方が無ければ、それに気づけない。