はじめに
- MLモデル評価のまとめ方メモです
メモ
- 全体を通して、「つまり、現在実践で使えるレベルか？」「課題はどこで、クリアできそうか？それがクリアできたらどれくらい良くなりそうか？」が伝わるようにする
- 網羅感大事
1. 検証計画再掲
- スコープ
- 検証パターン一覧
- スケジュール、など
2. 定量評価まとめ
- 前提条件
- 学習データ、テストデータ
- 評価方法
- 混同行列
- プロジェクトの性質に応じてprecisionとrecallを使い分ける
- モデルの評価にはF値やIoUを使う
- 課題の分類は、精度×データ量のマトリクスなど
- そもそものカテゴリ分類でも
3. 定性評価まとめ
- 良い例も載せる
- 課題を書くなら、対応策もセットで書く
4. 考察、ネクストアクション
- 推論結果の閾値は、妥当な指標が一番高くなるところにするか、あるタグの頻度の妥当性で決めるか
- 課題を一覧化する。それぞれが、どれくらいの重要度か整理する。（どれくらい精度が上がりそうか）
