【Nature論文】マーカーレス姿勢推定「DeepLabCut」を読む

機械学習

今回は生物系の研究のみならず、ロボット分野など様々な分野で応用されるツールとなりつつある『DeepLabCut』について紹介します!

論文概要

Title


著者は何を達成したの?

  • 位置トラッキングできるDeepLabCutを提案、ツールをまとめた。
    • マーカーレスで、動画内の姿勢推定ができる
    • 推定する位置をユーザーが定義できる
    • ラベリングするフレームがかなり少ない(200枚以下)
  • DeepLabCutの性能評価
    • 人間による分析と同等の性能を達成

この手法のキーポイントは何?

  • 転移学習
  • Deconvolution layersによる位置推定
    (technical reportなので、手法自体にあまり新規性はない)

自分の研究にどう役立つか?

ロボットの実験動画の分析とか

次に読む論文は?

Insafutdinov, E. et.al: DeeperCut: A Deeper, Stronger, and Faster Multi-Person Pose Estimation Model, 2016.

手法

Title

DeepLabCutの手法は大きく4つに分かれています。

  1. 動画の加工:分析する範囲を動画からクロップします (a)
  2. ラベリング:人間によりトラッキングしたい部分をラベリングします (b)
  3. 学習:ラベリングフレームを元に学習します (c)
  4. 他のフレームに適用:ラベリングしていないフレームを、学習済みモデルでラベリングします (d)

全ての操作がツールボックスとして、GitHubのプログラムでまとまっています

DeepLabCut/DeepLabCut
Official implementation of DeepLabCut: Markerless pose estimation of user-defined features with deep learning for all animals - DeepLabCut/DeepLabCut

結果

トラッキング精度 と 訓練データ数

RMSE(※)と訓練データ数の関係です。
RMSEは、正解ラベルとトラッキングラベルが、何ピクセル離れているかを示しています。

グラフを見ると、100フレーム程度で、誤差が5ピクセル以下になることがわかります。
この程度の誤差なら、実用上はほとんど問題ないでしょう。

※ RMSE: Root Mean Square Error(平均平方二乗誤差)

一般化

1匹のマウスの学習データを、他のマウスに適用している例です。
多少、観察対象の形が変わっても、問題なくトラッキングできています。

ショウジョウバエの例

ショウジョウバエを使った例です。
各フレームで、ハエの向きが大きく変わっていますが、しっかりとトラッキングできています。

まとめ

いかがだったでしょうか?

仕組みは単純でありながら、応用範囲が広い面白い研究でした。

このくらいの論文なら、前提知識がそれほどなくても読み切ることができますが、
やはり理論的な知識などを知っている方が、論文への理解も変わります。

なんだかんだ言っても、ネット記事より書籍の方が情報がまとまっています。
僕の記事でも機械学習のおすすめ本を紹介しているので、参考にしてみてください。

【2021年】失敗しない! AI・人工知能の書籍5選。【研究者が解説】
こんちわ、塩野入ワタルです!今回は、大学院で人工知能研究を行っている僕が、AI・人工知能のおすすめ本をレベル別に紹介していきます!【2021年】失敗しない!AI・人工知能の書籍5選。さて、結論は下記5つの書籍がオススメです。ビ...

もし論文の読み違えや間違いを発見したら、コメント欄から優しく教えてください。

コメント

タイトルとURLをコピーしました