分類と正解率の落とし穴
授業の後に 15 分。要点を読み、5 問で確かめ、一つ書く。最後に自分の探究へつなぐ
15分 ｜ ひとりで、端末で授業で確かめた答えと比べる
- 分類は、目的変数が種類のときの予測。「こわれる／こわれない」「あり／なし」「A／B／C」を当てる
- 正解率は、データの偏り方で決まってしまう部分を持っている。100 台のうち 95 台が「こわれない」なら、全部「こわれない」と答えるだけで 95.0%。こわれる 5 台は 1 台も当てていない
- いちばん正解率が高かったのは、確かなものだけを「こわれる」と答える C の 96.0%。それでも 5 台のうち 3 台を見逃している。正解率がいちばん高いモデルが、目的に合っているとは限らない
- 当たり方の数は、当てた・空振り・見逃した・正しく見送ったという 4 つの箱から作られる
- 見つけた割合は、本当に「はい」の件数のうちいくつ当てたか。見逃しが困る場面で見る数。B は 5 台のうち 4 台で 80%
- 当たっていた割合は、「はい」と答えた中で合っていた割合。空振りが困る場面で見る数。B は 10 台のうち 4 台で 40%
- 見つけにいくほど空振りが増え、空振りを減らすほど見逃しが増える。両方を同時に良くすることはできない
- 見逃しをゼロにする D を作ると、見つけた割合は 100% になるが、正解率は 70.0% に落ち、35 台を点検に回すことになる
- どれを選ぶかは数だけでは決まらない。点検 1 台にかかる手間と、こわれたときの困り方で決まる
- モデルを作る前に、見逃しと空振りのどちらが困るかを決めておく。あとから決めると、都合のよい数を選んでしまう
「正解率 95% のモデルができました」と発表を聞いた。この発表に対して自分が確かめたいことを 2 つ挙げ、それぞれなぜ確かめたいのかを 3 文程度で書く。
答えの例を見る
例: 一つめは「はい」と「いいえ」がそれぞれ何件あったか。片方が 95 件なら、全部そちらと答えるだけで 95% になるので、モデルの手柄とは言えないから。二つめは、本当に「はい」の件数のうちいくつ当てられたか。見逃しの数が分からないと、そのモデルを何に使えるのかが決まらないから。正解率は 1 つの数にまとめてしまうので、この 2 つはそこには表れない。
探究で「困っている人」「壊れたもの」「事故」「まちがい」を数えると、その多くは少数側になる。件数が偏ったデータを、そのまま正解率で語ると、少数側を無視したモデルほど高い数が出る。この回の考え方は、自分の結果が少数側を取りこぼしていないかを点検する道具になる。数を 1 つ出したら、必ず「はい」と「いいえ」の件数も一緒に書く。
- 自分の探究で当てたいことは、「はい」と「いいえ」のどちらが少ないか。100 件集めたら何件くらいになりそうか
- 自分の場面では、見逃しと空振りのどちらが困るか。困るほうを先に決めて書いておく
ここに書いたメモは 探究ノート に集まる。総合的な探究の時間のテーマ決めや、調べ方を考えるときに開く。まだテーマが決まっていなくても書ける。いま気になっていることを一つ思い浮かべて、そこに当てはめてみる
次回は「予測の精度の測り方」。この単元でいちばん大事な回になる。今日出した正解率も見つけた割合も、どれも手元の 100 台で測った数だった。モデルは、そのデータに合わせて作られている。だから、まだ見ていない端末で同じ数が出るとは限らない。次回は、表をそのまま覚えただけのモデルを 2 つのデータで測り分けて、その差を自分の目で見る。
このページに書いたものは、いま使っているこの端末の、このブラウザの中にだけ残ります。サーバには送られません。次に同じ端末で開けば、書いたものはそのまま出ます。
別の端末で開くと見えません。学校の端末と家の端末は別ものとして扱われます。ブラウザの履歴やサイトデータを消したときも、一緒に消えます。残しておきたいものは、下の「書いたものをコピー」で自分のノートや提出先に貼ってください。