一覧へ 情報Ⅱ (3) 第9回 | モデルの評価指標
情報Ⅱ (3) 情報とデータサイエンス | 第9回

モデルの評価指標

「ずれの合計 2.89」は、大きいのか小さいのか

50分 | キーボードがあるとよい
教師用メモ

準備(授業前) 教室コードを新しく決める(例: 7a09)。「教師」を押す。この回は第7回で引いた直線と、第8回で作った重回帰のモデルをそのまま測る回。第7回・第8回のまとめの数(2.89/2.61)を板書に書いておくと早い。体験 01 は端末の中だけで動く。体験 02 は Python を動かす部品を読み込むので、ネットにつながる必要がある(つながらない場合は、画面の数を電卓で確かめても同じ授業になる)。

投影 「投影」で 1 枚ずつ送る。体験 01 は予想を選ばせてから「30 人」を押させる。教師が先に押して見せない。

時間配分 前回まとめ・目標 5分 / 節1 ずれを、比べられる数に直す 20分 / 節2 重回帰のモデルを測る 15分 / まとめ・自己評価・ふりかえり 10分

数学科との重なり 数学Ⅰ「データの分析」の平均・分散・相関、数学B の統計と重なる。決定係数の式の導出はここではしない。ここでは「何と何を比べた割合なのか」を言葉で言えるところまでにする。

この回の評価(指導要領 情報Ⅱ (3) ア(ウ)。[解説]「モデルの評価」。内容の取扱い (3)「アの(ウ)及びイの(ウ)については、アの(イ)及びイの(イ)で行ったモデル化や処理、解釈・表現の結果を受けて行う」。[設計指針 第2版]D5L2「実データに対する重回帰・時系列・移動平均・クラスタなどの分析ができる」(高選)、K2L2「結果を評価し、必要なら反復改善を行える」。単元設計は 単元設計のページ)

  • 知識・技能 平均のずれ・二乗平均平方根・決定係数の 3 つを、値と読み方の組で言っている(体験01・02)
  • 思考・判断・表現 データの件数が違うモデルを比べるとき、どの数なら比べられるかを述べている(体験01)
  • 態度 決定係数が上がったことだけで「よくなった」と決めずに、確かめようとしている(体験02の投票・ふりかえり)
前回のまとめ

列を増やせば、ずれは必ず下がった

気温だけ 14.28+降水量 8.86+大会 2.61→+日直の番号 2.52

売上と何の関係もない「日直の出席番号」を足しても、ずれは下がった。下がったことだけでは、よくなったとは言えない。第7回の直線も同じで、「ずれの合計 2.89」という数だけを見せられても、大きいのか小さいのか分からない

モデルのよさは、何で測るのか

教師用メモ

問いに挙手(ずれの合計/当たった回数/決められない)。ここでは答えない。今日は第7回・第8回で自分たちが作ったモデルを、そのまま測る回だと伝える。前回「まだ」が多かった目標を 2 分拾う。

今日の目標

授業の終わりにできるようになること

01
ずれの合計を、件数が違っても比べられる数に直せる
02
決定係数が「何と何を比べた割合」かを、自分の言葉で言える
03
指標の値が上がっても、よくなったとは限らない場合を挙げられる
01 | 20分
比べられる数に直す

第7回の直線を測る

02 | 15分
重回帰のモデルを測る

第8回の 2 つの式で

SECTION 01

ずれを、比べられる数に直す

合計のままでは、件数の多いほうが必ず負ける

散布図の点から直線までの縦の線を1本ずつ指でたどり、長さを表に書き写している高校生2人
体験 01

同じ直線を、4 つの数で測る

第7回と同じ 15 人。直線は 睡眠時間 = 7.65 − 0.035 × 通学時間(前回みんなで探して行き着いた直線)。まず下の予想を 1 つ選ぶ。次に上のボタンで、予測のしかたと人数を切り替える

—
ずれの合計(二乗して全部足した数)
—
1 人あたりの平均のずれ(時間)
—
二乗平均平方根(大きなずれが強く効く)
—
決定係数(0 〜 1。大きいほど説明できている)

※ 1 人あたりの平均のずれ=ずれの絶対値を足して人数で割った数。二乗平均平方根=ずれの合計を人数で割ってから平方根をとった数。どちらも「1 人あたり何時間ずれるか」を表すが、二乗平均平方根のほうが大きく外した点に強く反応する

予想 | 同じ 15 人をもう一度足して 30 人にすると、ずれの合計は
クラスの予想
変わった数と、変わらなかった数
教師用メモ

進め方(18分) ①「直線で予測」のまま表を読ませ、いちばん大きくずれた人を探させる(3分) ②「いつも平均で予測」に切り替え、4 つの数を比べる(4分) ③ここで予想を選ばせる(2分) ④「30 人にする」を押す(3分) ⑤書いて送る(6分)。

数の答え 直線・15 人: 合計 2.89/平均のずれ 0.41/二乗平均平方根 0.44/決定係数 0.676。いつも平均(6.45 時間)で予測: 合計 8.92/平均のずれ 0.64/二乗平均平方根 0.77/決定係数 0.000。直線・30 人: 合計 5.78(2 倍)/平均のずれ 0.41(同じ)/二乗平均平方根 0.44(同じ)/決定係数 0.676(同じ)。

山場 人数が変われば合計は変わる。だから第7回の 2.89 と、人数の違う別のデータの合計は比べられない。件数で割った数なら比べられる。これが「指標」を使う理由。

決定係数の読み方 「何も知らないときは、全員に平均の 6.45 時間と答えるしかない。そのときのずれの合計が 8.92。直線を使うとそれが 2.89 まで減った。減った割合 0.68 が決定係数」。1 に近いほど、平均で答えるより説明できている。いつも平均で予測すると必ず 0 になることを画面で見せる。

いちばん大きなずれ 通学 22 分の人(ずれ −0.68 時間)。平均のずれ 0.41 に対して、この 1 人だけで倍近い。指標は 1 つの数にまとめるので、こういう人は数の中に隠れる(第6回のまとめ 01 と同じこと)。目標 01・02。

まとめ 01

件数で割れば、違うデータどうしでも並べられる

残差実際の値 − モデルが言う値。1 つひとつのずれ。表にすると、どこで外したかが見える
ずれの合計残差を二乗して全部足した数。件数が増えれば必ず増えるので、件数の違うものとは比べられない
平均のずれ件数で割った数。「1 件あたり何だけ外すか」。単位がもとのデータと同じなので、いちばん説明しやすい
二乗平均平方根二乗してから平均し、平方根をとった数。大きく外した点に強く反応する。大外れを嫌う場面で使う
決定係数「いつも平均で答えたときのずれ」を 1 として、モデルでどれだけ減らせたかの割合。0 〜 1。平均で答えると 0

※ どれが正しいという話ではなく、目的で選ぶ。大外れが困る場面では二乗平均平方根、人に説明する場面では平均のずれ

教師用メモ

板書に 3 行だけ残す。「合計は比べられない」「件数で割ると比べられる」「決定係数は平均で答えたときと比べた割合」。式は書かせない。単位に注目させると、平均のずれ(時間)と決定係数(単位なし)の違いがはっきりする。

SECTION 02

重回帰のモデルを、指標で測る

前回作った 2 つの式に、同じ物差しを当てる

2つの式の予測値と実際の売上を並べた表を画面に出し、指標の数を読み上げている高校生
体験 02

前回の 2 つの式に、同じ物差しを当てる

やること ①「実行」を押して、2 つの式の指標を見る ② 3 列の式(気温・降水量・大会)と 4 列の式(それに日直の出席番号を足したもの)で、どの数がどう動いたかを読む ③ yosoku3 を heikin(いつも平均の 176 本と答える)に書き換えて実行し、決定係数が 0 になることを確かめる
実行結果

※ jissai が前回の 14 日の売れた本数、yosoku3 と yosoku4 が前回作った 2 つの式が言う本数。書いたものはこの端末に残り、どこにも送られない

日直の出席番号を足したら、決定係数は 0.9929 から 0.9934 に上がった。これは「モデルがよくなった」と言えるか

分かれ方を読み上げ、「よくなっていない」と「決められない」の両方を発言させる。ここは次回の入口なので、答えを閉じない

クラスの判断
教師用メモ

進め方(13分) 実行と読み取り 5 分。③ の書き換え 4 分。投票 4 分。

結果 3 列の式: 平均のずれ 2.61/二乗平均平方根 2.86/決定係数 0.9929。4 列の式: 2.51/2.75/0.9934。いつも平均(176 本): 平均のずれ 30.43/二乗平均平方根 33.86/決定係数 0.0。

③ の書き換え 最後の 2 行のどちらかを hakaru("平均で答える", heikin) に変えるだけでよい。決定係数がぴったり 0 になる。「決定係数 0 は、モデルが平均と同じということ」。

山場 関係のない列を足しても決定係数は上がる。3 つの指標のどれも、手元のデータで測っている限り、列を増やせば必ずよく見える。だから「指標が上がった」は「よくなった」と同じではない。この物差しの外側から確かめる方法が要ることを言って、次回につなぐ。

つまずき 実行しても何も出ない場合は、ネットにつながっているかを確かめる。つながらない環境では、画面の 14 個の数を電卓で 3 つだけ計算させれば同じ授業になる。目標 02・03。

まとめ 02

指標が上がることと、よくなることは別

測った第7回の直線は決定係数 0.68、第8回の 3 列の式は 0.9929。同じ物差しで並べられる
上がった日直の出席番号を足すと 0.9934 に上がる。売上と関係がないのに上がる
なぜモデルを作ったときと同じデータで測っているから。式は、そのデータに合わせて作られている
足りないこと指標は「手元のデータにどれだけ合っているか」しか言わない。まだ見ていないデータで当たるかは、これでは分からない

※ 次回、手で作ったモデルと、道具が作ったモデルを並べて比べる。差がどこから来るのかを見て、直す所を決める

教師用メモ

「手元のデータで測っている」の一行が、この単元の後半の骨。第12回で、データを分けて測ると何が起きるかを実際の数で見る。今日の指標の名前と読み方は、第16回の課題でそのまま使うので、板書を写させる。

今日のまとめ

3つの目標に、自分の操作で答える

01
件数で割る 合計は 15 人で 2.89、30 人で 5.78。平均のずれは両方 0.41 で変わらない
02
決定係数 いつも平均で答えたときのずれ 8.92 が、直線で 2.89 に減った。減った割合 0.68
03
上がっても 日直の出席番号で 0.9929 → 0.9934。作ったときと同じデータで測っているから上がる
自己評価

今日の目標、自分はどこまで

3 つの目標それぞれに、できた/だいたい/まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る

今日の目標、自分はどこまで | 1 つずつ選ぶ
01ずれの合計を、件数が違っても比べられる数に直せる
02決定係数が何と何を比べた割合かを、自分の言葉で言える
03指標が上がっても、よくなったとは限らない場合を挙げられる
できただいたいまだ
教師用メモ

1 分。「まだ」が多い目標は、次回の冒頭で拾い直す。

ふりかえり

数を 1 つ見せられたとき、次に何を聞くか

一文でよい。「決定係数 0.99 のモデルです」と言われたとき、自分が次に確かめることを 1 つ書く

みんなが次に聞くこと
教師用メモ

3 分。「件数」「どのデータで測ったか」「いちばん外した点は」「何を予測しているのか」が出る。4 つとも板書に残し、第16回の相互評価の観点として使う。

次回は「道具のモデルとの比較と改善」。第7回で手で探した直線と、道具が式で解いた直線を並べて、差がどこから来るのかを見る。