はじめに
- 筑波大学オープンコースウェアの機械学習を視聴させていただいたときのメモです。
視聴メモ
（前回の復習）正則化
- ノルム = 原点からの距離
- 普通想像するのはL2ノルム（単位円）
- 2乗の総和の平方根
- ラッソ: 1, リッジ: 2
- 最適解が、どこに引き寄せられていくか
識別
- 今回の講義から予測対象が離散
- 予測対象が連続で教師あり: 回帰
- 予測対象が離散で教師あり: 分類（識別）
- 予測対象が連続で教師なし: PCA
- 予測対象が離散で教師なし: クラスタリング
- 分類t = f(wx)
- 回帰のときはwxだけだった。カテゴリに変換する。
- 決定的識別モデルと確率的識別モデルがある
- 決定的識別モデル: -1, 1 (上か下か。今回の講義はこちら)
- f(x) > 0 ならxのラベルはc1
- 確率的識別モデル: 0, 1 (Trueである確率)
- p(c1 | x) > 0.5 ならxのラベルはc1
- 決定的識別モデル: -1, 1 (上か下か。今回の講義はこちら)
- 超平面: R（D次元）を二つの半空間に分割する平面。超平面自体はR(D-1次元)の平らな集合
線形分類モデル
- 回帰の場合、二乗誤差を最小化するようなwが最適なモデルであった
- 分類の場合、分類誤差を最小化するようなwが最適なモデルであるはず
- 正解ラベルtと、線形モデルの予測wxの積が正ならば、予測と正解が一致している
- 負の値がなくなるようなwを探す
- find w s.t. t(wx) > 0
- ただ、これでは最適化問題になっていない。色々ある。
- -> 適切な決定境界とは？ -> マージンを考える。テスト誤差を考慮するために。
- 最小のマージンを最大化したい。 + どのデータも正しく分類して欲しい。
- 正解ラベルtと、線形モデルの予測wxの積が正ならば、予測と正解が一致している
サポートベクターマシン
- DLが出てくるまでは、分類問題のファーストチョイスだった。学習も早い。
- 最小のマージンを最大化したい。 + どのデータも正しく分類して欲しい。を解く。
- ハードマージンとソフトマージン。
- ハードマージンはシンプルに分類できたかどうか。ソフトマージンはペナルティも考慮する。
- 損失関数
混同行列
- 混同行列
| 予測/正解 | 正解0 | 不正解1 |
|---|---|---|
| 予測0真P | TP | FP |
| 予測1偽N | FN | TN |
- 分類器の性能評価
- 1 正解率 accuracy
- (TP + TN) / (TP + FP + FN + TN)
- 予測がどの程度当たったか
- 2 精度 precision
- TP / (TP + FP)
- 真と予測したデータのうち、実際に0である割合
- 取りこぼしてもいいが、間違いが許されない場合に使う
- Aさんは犯人かどうか？
- 3 偽陽性率 false positive rate
- FP / (TN + FN)
- 精度の裏返し
- アラートを出してはいけない事例のうち、アラートを出してしまった事例の割合
- 4 再現率 recall
- TP / (TP + FN)
- 実際に0であるもののうち、真と予測した割合
- 間違っててもいいが、取りこぼしがゆるされない場合に使う
- Aさんは癌かどうか
- 1 正解率 accuracy
