一覧へ easyDataScience で予測する 第5回 | 画像と音の分類
高校の情報学探究 | easyDataScience で予測する | 第5回

画像と音の分類

機械が覚えたのが、ものの形なのか机の模様なのかを確かめる。集め方を変えると、当たり方も変わる

10〜50分
教師用メモ

準備(授業前) 教室コードを決める(例: ds05)。「教師」を押す。道具の枚で、実際に写真を撮るか音を録るので、端末のカメラとマイクが使える状態にしておく。分ける対象は人以外のものを用意する(空きペットボトル・かん・紙パック、葉、文房具など)。背景がばらつくように、机の上だけで撮らせない。体験 01・02 の数と場面はこの枚の中にある。

先に生徒に言う 2 つ ①人が写ったもの・人の声は、避けるか本人に断る。②通常の学習と予測は、ブラウザの中で完結する。撮った写真や録った音は分析用のサーバへ送らない。生成 AI による解釈支援を押したときだけ、外部へ送られる。押す前に何が送られるかを画面で確かめる。

投影 「投影」で 1 枚ずつ送る。体験 01 は予想を選ばせてから「背景を全部そろえた」を押させる。教師が先に押して見せない。

時間配分(50分版) 枚は全部使う。前回のまとめ・目標 5分 / 節1 集め方で変わる 12分 / 節2 集めてよいもの 10分 / 道具で作る 12分 / 単元のまとめの課題 8分 / 自己評価・ふりかえり 3分

20分版 使う枚は 1・2・3・5・6・9・11・14(表紙/前回のまとめ/目標/体験01/まとめ01/道具の枚/単元のまとめ/ふりかえり)。体験 02 の仕分けは宿題にする。単元のまとめの課題は落とさない。

10分版 使う枚は 1・5・11(表紙/体験01/単元のまとめ)。集め方の偏りを 1 回見せ、課題を書かせる。写真は授業の外で集めさせる。

この回の評価(重点は態度。評価場面は道具の枚と、単元のまとめの課題)

  • 知識・技能 学習ずみの部品を使って、少ない枚数で写真か音を分けている(道具の枚) | A: 3 つの種類を決め、集め方をそろえたうえで動かしている
  • 思考・判断・表現 集め方の偏りが、見ていないデータでの当たり方をどう変えるかを述べている(体験01・単元のまとめ) | A: 外した例を挙げ、データの集め方か手法かに切り分けている
  • 態度 人が写ったもの・人の声を避けるか、断ってから使っている(体験02・道具の枚) | A: 当たり方が思ったより低かった理由を、自分から探している

指導要領 [解説 情報編]情報Ⅱ (3) イ(イ)の学習活動、および (3) の学習活動について「個人情報が含まれる場合などは、その取扱いに十分に留意することが必要」。[設計指針 第2版]X1L4「機械学習やニューラルネットワーク等を実際に手元の問題に活用することができる」(高選) = この回。X1L3のうち「データの量/匿名性/偏り」が、集め方の話そのもの。X3L2(信頼性/公平性/透明性/個人情報保護/責任)。単元の目標と評価規準、単元末の評価課題の B/A は 単元設計のページ。写真と音の扱いは 情報学探究マニュアル 第7節「写真と音も分けられる」と第12節「個人の情報と、断り方」。

前にやった回 ここで思い出させる。もう一度教えない

前回のまとめ

関係のない列でも、足せば当たったように見えた

学習側 3.41 → 1.79見ていない側 4.37 → 13.58→2 つを並べて見る

ここまでは、はじめから数が並んだ表を扱ってきた。今日扱うのは写真と音で、列を自分で決めることはできない。それでも、同じことが「集め方」という形で起きる

機械は、写真の何を手がかりにしているのか

教師用メモ

問いに挙手(形/色/背景/分からない)。ここでは答えない。今日は自分たちで写真を集めて動かす回であり、単元の最後の回だと伝える。前回「まだ」が多かった目標を 2 分拾う。

今日の目標

授業の終わりにできるようになること

01
学習ずみの部品を使うと、少ない枚数でも写真を分けられることを言える
02
集め方の偏りが、見ていない写真での当たり方をどう変えるかを言える
03
人が写ったもの・人の声を扱うときの約束を言い、自分の集め方を決められる
01 | 12分
集め方で、当たり方が変わる

3 通りの集め方を比べる

02 | 10分
集めてよいもの

9 つの場面を仕分ける

SECTION 01

集め方で、当たり方は変わる

同じ机の上ばかりで撮ると、机を覚える

空きペットボトルと缶と紙パックを廊下や窓辺など別々の場所に置いて端末で撮っている高校生2人
体験 01

同じ 3 種類を、3 通りの集め方で学習させる

ペットボトル・かん・紙パックの 3 種類を分ける。下の数は、3 通りの集め方で前もって同じ手順を走らせた結果。測っているのは別の日に別の場所で撮った 60 枚(学習には使っていない)。まず下の予想を 1 つ選ぶ。次に上のボタンを切り替える

どう集めたか
種類ごとに、見つけられた割合
—
学習に使った写真での正解率
—
見ていない 60 枚での正解率
上のボタンを 1 つ押す
予想 | 同じ机の上だけで集めると、見ていない 60 枚での正解率は
クラスの予想
見て分かったこと
教師用メモ

進め方(11分) ①「ばらばらの場所で」を押して基準を見る(2分) ②ここで予想を選ばせる(2分) ③「同じ机の上だけで」に切り替える(3分。ここが山場) ④「ペットボトルだけ 50 枚」を見る(2分) ⑤書いて送る(2分)。

数の答え ばらばら: 学習 100%/見ていない 88%(種類ごと 90・85・89)。同じ机の上だけ: 学習 100%/見ていない 51%(55・45・53)。ペットボトルだけ 50 枚: 学習 100%/見ていない 67%(ペットボトル 96・かん 20・紙パック 24)。

山場①(机) 学習に使った写真ではどれも 100%。同じ机の上だけで集めると、機械は机の模様も一緒に覚える。3 種類とも同じ机なので、それは手がかりにならないはずだが、写っているものの一部でしかない「形」より、画面の広い面積を占める背景のほうが強く効いてしまう。別の場所で撮った写真では崩れる。第4回の「でたらめな列」と同じことが、背景という形で起きている。

山場②(偏り) ペットボトルだけ 50 枚にすると、ペットボトルは 96% 当てるが、かんは 20% しか当てない。迷ったらペットボトルと答えるほうが得だから。第2回の「100 件中 95 件がいいえ」と同じ形。種類ごとの割合を見なければ気づけない。

押さえ 集め方は、表でいう「どの列を入れるか」にあたる。集めたあとで直すことはできない。だから集める前に決める。目標 02。

まとめ 01

学習ずみの部品を借りて、集め方で勝負する

転移学習すでに大量の写真で学習ずみの部品を借りて、最後の見分けるところだけを自分の写真で学習させるやり方。だから 1 種類 20 枚でも動く
音も同じマイクから録った音を、同じやり方で分ける。チャイム、机を打つ音、水の音など
背景の偏り同じ机の上だけで集めると、機械は机も一緒に覚える。別の場所では崩れる
枚数の偏り1 種類だけ多いと、迷ったらその種類と答えるほうが得になる。全体の正解率は高く出る
見つけ方全体の正解率だけでなく、種類ごとの割合を見る。低い種類がどこかに必ずある

※ 集め方は、あとから直せない。集める前に、場所・明るさ・向き・枚数をそろえると決めておく

教師用メモ

板書に 2 行残す。「機械は、背景も一緒に覚える」「種類ごとの割合を見る」。転移学習の中身(どの層を固定するか)はここでは扱わない。「借りてくる」という言い方で十分。道具の枚の前にこの 2 行を確かめてから撮らせると、集め方が変わる。

SECTION 02

集めてよいもの、いけないもの

人が写ったもの・人の声は、避けるか本人に断る

録音を始める前に相手に紙を見せて説明し、うなずいてもらっている高校生2人
体験 02

9 つの集め方を、3 つに仕分ける

下の 9 つを分ける。まず上で付ける印を選び、次にその印を付けるものを押す。全部に印を付けたら「答え合わせ」。迷ったものは、隣と理由を言い合う

そのまま使える = 人が写らず、断る相手がいない本人に断れば使える = 何に使うかを伝え、了解をもらう使わない = 断れない相手が写っている
自分が今日集めるものを 1 つ書き、断りが要るかどうかを一文で
みんなが今日集めるもの
教師用メモ

進め方(9分) 仕分け 4 分。答え合わせと解説 3 分。書いて送る 2 分。

答え そのまま使える: 1・4・5・8。本人に断れば使える: 3・7。使わない: 2・6・9。

分かれ目は 1 つ 断る相手がいるか、いないか。2 と 6 は、相手が誰か分からないので断れない。9 は写っている人数が多く、全員には断れない。断れないものは使わない。

3 と 7 の断り方 ①何に使うか(写真を分ける練習)②どこに残るか(自分の端末の中だけ)③やめたくなったら消せること、の 3 つを伝える。これはマニュアル第12節と同じ形。

8 に注意 「公開されている」だけでは足りない。使ってよいと書かれているかを確かめる。書かれていなければ使わない。

ここで決めさせる 次の道具の枚で実際に撮る。撮る前に、自分が何を集めるかを書かせる。書いてから撮ると、人が写り込んだときに気づける。目標 03。

道具で作る

写真か音を、その場で分けさせてみる

分ける種類を 3 つ決めて写真か音を集め、その場で学習させて 1 つ動かす。外したものを 1 つ持ち寄る

easyDataScience(予測・分類の道具)学習ずみの部品を借りて、少ない枚数の写真をその場で分けられるようにする。マイクから録った音も同じように分けられる
  1. 「この枚で開く」を押す
  2. 画像か音声の分類を選び、種類を 3 つ作って名前を付ける
  3. 1 種類 15〜20 枚ずつ集めて学習させ、集めたときと違う場所で撮ったもので試す
この授業のページの中で開く。終わったら「閉じてこの枚に戻る」で戻る
作ったものを、一文で
みんなの作ったもの
教師用メモ

進め方 作れた人から出す。うまくいかない形も価値がある。詰まっている生徒には、手順の何番で止まっているかを聞く。

12分。人が写ったもの・人の声は避けるか本人に断る、を先に確かめる。机の上だけで撮らせない。1 種類だけ多くならないよう、枚数をそろえさせる。作ったら、集めたときと違う場所で撮ったもので試させる。学習と予測はブラウザの中で完結し、撮った写真や録った音は分析用のサーバへ送られない。生成 AI の解釈支援を押したときだけ外部へ送られる。

道具は外で公開されている Web アプリ。この授業のページの中で開くので、別のページへは移らない。閉じれば、そのままこの枚に戻る。ブラウザの中で動き、入力はこの授業のサーバーには送られない。

まとめ 02

この単元で、手に残った 5 つ

第1回1 行が 1 件。予測したい列(目的変数)は人が決める。数なら回帰、種類なら分類
第2回正解率だけを見ない。100 件中 95 件が「いいえ」なら、全部「いいえ」で 95%
第3回学習に使ったデータで測った当たり方は、当たり方ではない。テスト用は決めるまで見ない
第4回関係のない列でも、足せば当たったように見える。効いた列は、原因ではない
第5回集め方の偏りは、あとから直せない。人が写ったもの・人の声は、避けるか本人に断る

※ この単元の問いは「その予測は、見たことのないデータでも当たるのか」だった。5 つとも、その問いに答えるための道具になる

教師用メモ

この 5 行を読み上げてから、次の課題に入る。課題の 4 つの欄は、この 5 行に対応している(予測したこと=第1回、当たり方の数=第2回・第3回、効いた列=第4回、外した例=第5回とその前)。読み上げるだけで、書けない生徒が減る。

単元のまとめ

予測か分類を一つ作り、当たり方と外した例を示す

この単元でいちばん大事なのは、「当たった」と言ってよい条件を守ることだ。4 つの欄を埋めて出すと、右に並ぶ。ほかの人のものに、いちばんできている観点を 1 つ押す

予測したこと | 何を、どの列(または何の写真・音)から当てたか
当たり方の数 | 数と、どのデータで測ったかを両方書く
効いた列(または手がかり)| 1 つ挙げる
いちばん外した例 | 何を外したか。データか手法か

全員のカードが右に並ぶ。各カードの下に相互評価の集計が出る。「当たり方の数がある」が押されていないカードを 1 つ取り上げ、何を足せばよいかをクラスで言葉にする

みんなの提出と評価
教師用メモ

進め方(8分) 5 分で提出。3 分で 3 つ以上に評価。4 欄すべて必要。

見るところ(単元設計の評価課題と同じ)| 知識・技能 B: 目的変数を決めてモデルを作り、当たり方の数を示している / A: 学習用と検証用を分け、分け方を選んだ理由を言える。思考・判断・表現 B: 効いた列を一つ挙げている / A: 外した例を示し、データか手法かに切り分けている。態度 B: 結果をそのまま示している / A: 当たり方が思ったより低かった理由を探している。

C の生徒への手立て 表の 1 行が何を表すかを口で言わせる。外した行を 1 つだけ選ばせる。「当たりすぎていないか」を先に問う。

いちばん多いつまずき 当たり方の数に「どのデータで測ったか」が書かれていない。その場で聞き返す。答えられない生徒は、学習に使ったデータで測っていることが多い。

今日のまとめ

3つの目標に、自分の操作で答える

01
借りて作った 学習ずみの部品を借りるので、1 種類 20 枚でも分けられた
02
集め方で変わった 同じ机の上だけだと、見ていない 60 枚で 88% が 51% に落ちた
03
約束を決めた 人が写ったもの・人の声は避けるか、何に使い・どこに残るかを伝えて断る
自己評価

今日の目標、自分はどこまで

3 つの目標それぞれに、できた/だいたい/まだ、を 1 つ選ぶ。右の帯にクラス全体の分布が出る

今日の目標、自分はどこまで | 1 つずつ選ぶ
01学習ずみの部品を使うと、少ない枚数でも写真を分けられることを言える
02集め方の偏りが、見ていない写真での当たり方をどう変えるかを言える
03人が写ったもの・人の声を扱うときの約束を言い、自分の集め方を決められる
できただいたいまだ
教師用メモ

1 分。この単元はここで終わるので、「まだ」が多い目標は探究の第10回(整理して、分析する)で拾い直す。

ふりかえり

自分の探究で、予測を使うとしたらどこか

一文でよい。自分の探究で予測か分類を使えそうな場面を 1 つ挙げ、そこで気をつけることを書く

みんなが挙げた場面
教師用メモ

3 分。「分別」「混み具合」「置き忘れ」「植物の種類」が出る。気をつけることまで書けているものを 2 つ読み上げる。

この単元はここで終わり。手に残るのは 5 つ(第1回〜第5回のまとめ 02)。次に使うのは、探究の第10回「整理と分析」で自分のデータにかけるときだ。人に使ってもらう形にしたくなったら、「Streamlit で Web アプリを作る」へ進む。