nokoのブログ

こちらは暫定のメモ置き場ですので悪しからず

TSUKUBA-OCW_機械学習_5_決定的識別モデルを視聴したときのメモ

オンライン講座

はじめに

視聴メモ

（前回の復習）正則化

  • ノルム = 原点からの距離
  • 普通想像するのはL2ノルム（単位円）
  • ラッソ: 1, リッジ: 2
  • 最適解が、どこに引き寄せられていくか

識別

  • 今回の講義から予測対象が離散
  • 予測対象が連続で教師あり: 回帰
  • 予測対象が離散で教師あり: 分類（識別）
  • 予測対象が連続で教師なし: PCA
  • 予測対象が離散で教師なし: クラスタリング
  • 分類t = f(wx)
    • 回帰のときはwxだけだった。カテゴリに変換する。
  • 決定的識別モデルと確率的識別モデルがある
    • 決定的識別モデル: -1, 1 (上か下か。今回の講義はこちら)
      • f(x) > 0 ならxのラベルはc1
    • 確率的識別モデル: 0, 1 (Trueである確率)
      • p(c1 | x) > 0.5 ならxのラベルはc1
  • 超平面: R（D次元）を二つの半空間に分割する平面。超平面自体はR(D-1次元)の平らな集合

線形分類モデル

  • 回帰の場合、二乗誤差を最小化するようなwが最適なモデルであった
  • 分類の場合、分類誤差を最小化するようなwが最適なモデルであるはず
    • 正解ラベルtと、線形モデルの予測wxの積が正ならば、予測と正解が一致している
      • 負の値がなくなるようなwを探す
      • find w s.t. t(wx) > 0
      • ただ、これでは最適化問題になっていない。色々ある。
      • -> 適切な決定境界とは？ -> マージンを考える。テスト誤差を考慮するために。
        • 最小のマージンを最大化したい。 + どのデータも正しく分類して欲しい。

サポートベクターマシン

  • DLが出てくるまでは、分類問題のファーストチョイスだった。学習も早い。
  • 最小のマージンを最大化したい。 + どのデータも正しく分類して欲しい。を解く。
  • ハードマージンとソフトマージン。
  • ハードマージンはシンプルに分類できたかどうか。ソフトマージンはペナルティも考慮する。
  • 損失関数
    • 二乗損失
      • 当たっていても、損失が出る？おかしい。使わない。
    • 0-1損失
      • 外れなら損失1、当たっていれば損失0
      • 簡単には解けない。マージン最大化も考慮されない
    • ヒンジ損失
      • 外れている点は線形の損失
      • wについての最適化は、微分可能ではないが凸関数
      • 劣勾配
        • 微分不可能な項を含む目的関数をどうやって最適化する？

混同行列

  • 混同行列
予測/正解 正解0 不正解1
予測0真P TP FP
予測1偽N FN TN
  • 分類器の性能評価
    • 1 正解率 accuracy
      • (TP + TN) / (TP + FP + FN + TN)
      • 予測がどの程度当たったか
    • 2 精度 precision
      • TP / (TP + FP)
      • 真と予測したデータのうち、実際に0である割合
      • 取りこぼしてもいいが、間違いが許されない場合に使う
      • Aさんは犯人かどうか？
    • 3 偽陽性率 false positive rate
      • FP / (TN + FN)
      • 精度の裏返し
      • アラートを出してはいけない事例のうち、アラートを出してしまった事例の割合
    • 4 再現率 recall
      • TP / (TP + FN)
      • 実際に0であるもののうち、真と予測した割合
      • 間違っててもいいが、取りこぼしがゆるされない場合に使う
      • Aさんは癌かどうか