今回は生物系の研究のみならず、ロボット分野など様々な分野で応用されるツールとなりつつある『DeepLabCut』について紹介します！
論文概要
- published: 20 August 2018
- DOI: 10.1038/s41593-018-0209-y
- ISSN: 15461726
- 論文リンク: https://www.nature.com/articles/s41593-018-0209-y
- プロジェクトページ: http://www.mousemotorlab.org/deeplabcut
- GitHub: https://github.com/DeepLabCut/DeepLabCut
著者は何を達成したの？
- 位置トラッキングできるDeepLabCutを提案、ツールをまとめた。
- マーカーレスで、動画内の姿勢推定ができる
- 推定する位置をユーザーが定義できる
- ラベリングするフレームがかなり少ない（200枚以下）
- DeepLabCutの性能評価
- 人間による分析と同等の性能を達成
この手法のキーポイントは何？
- 転移学習
- Deconvolution layersによる位置推定
（technical reportなので、手法自体にあまり新規性はない）
自分の研究にどう役立つか？
ロボットの実験動画の分析とか
次に読む論文は？
手法
DeepLabCutの手法は大きく4つに分かれています。
- 動画の加工：分析する範囲を動画からクロップします (a)
- ラベリング：人間によりトラッキングしたい部分をラベリングします (b)
- 学習：ラベリングフレームを元に学習します (c)
- 他のフレームに適用：ラベリングしていないフレームを、学習済みモデルでラベリングします (d)
全ての操作がツールボックスとして、GitHubのプログラムでまとまっています
GitHub - DeepLabCut/DeepLabCut: Official implementation of DeepLabCut: Markerless pose estimation of user-defined features with deep learning for all animals incl. humans
Official implementation of DeepLabCut: Markerless pose estimation of user-defined features with deep learning for all animals incl. humans - GitHub - DeepLabCut...
github.com
結果
トラッキング精度 と 訓練データ数
RMSE(※)と訓練データ数の関係です。
RMSEは、正解ラベルとトラッキングラベルが、何ピクセル離れているかを示しています。
グラフを見ると、100フレーム程度で、誤差が5ピクセル以下になることがわかります。
この程度の誤差なら、実用上はほとんど問題ないでしょう。
※ RMSE: Root Mean Square Error（平均平方二乗誤差）
一般化
1匹のマウスの学習データを、他のマウスに適用している例です。
多少、観察対象の形が変わっても、問題なくトラッキングできています。
ショウジョウバエの例
ショウジョウバエを使った例です。
各フレームで、ハエの向きが大きく変わっていますが、しっかりとトラッキングできています。
まとめ
いかがだったでしょうか？
仕組みは単純でありながら、応用範囲が広い面白い研究でした。
このくらいの論文なら、前提知識がそれほどなくても読み切ることができますが、
やはり理論的な知識などを知っている方が、論文への理解も変わります。
なんだかんだ言っても、ネット記事より書籍の方が情報がまとまっています。
僕の記事でも機械学習のおすすめ本を紹介しているので、参考にしてみてください。
【2021年版理系大学院生が選ぶ】 AI・機械学習の書籍5選。
こんにちわ、ワタルです！今回は、大学院で人工知能研究を行っている僕が、AI・人工知能のおすすめ本をレベル別に紹介していきます！【2021年】失敗しない！AI・人工知能の書籍5選。さて、結論は下記５つの書籍がオススメです。ビジネ...
dendenblog.xyz
2020-01-24
もし論文の読み違えや間違いを発見したら、コメント欄から優しく教えてください。
コメント