『イベントカメラ』とは何か?

画像処理

超高速な動作を撮影する際には、どのようなカメラを用いればいいでしょうか?

真っ先に思いつくのが、フレーム間隔を極限まで小さくしたハイスピードカメラです。
しかし、その値段は非常に高価であったり、対応できる速度にも限界があります。

そこで注目されているのが、イベントカメラです!
安価でハイスピードカメラでも難しいような、高速な動作を記録することができます。

今回は、ロボットや自動運転などの分野で注目を集めている次世代カメラである、イベントカメラについて解説します!

通常のカメラ

最初に通常のカメラの仕組みをおさらいします。

カメラのは、イメージセンサと呼ばれる光に反応するセンサを対象に並べたものを使い、そのセンサ値を記録します。
イメージセンサは、そのセンサに当てられた光量に応じた電気信号を出力するので、一回の記録により作られるデータが「画像」です。
「映像」を記録する場合は、一定間隔ごとにそのセンサ値の記録作業を行います。

そのため通常のカメラで撮る映像は、基本的にはパラパラ漫画と同じです。
一定間隔ごとに写真を撮り、その間隔が十分に小さければ、人間にとっては動いているように見えます。

カメラの性能を決める指標の一つに、フレームレートがあります。
これはFPS (frame per second)という単位で表され、1秒あたりに何枚の写真を記録するかを示しています。
20fpsなら、1秒あたりに20枚の写真を記録します。ちなみに、一般的なアニメは25fpsくらいです。

このフレームレートが高ければ(1秒あたりに大量の写真を記録すれば)、撮影対象の動きをより細かく捉えることができます。
GoProなど、アクロバティックな映像を撮るためのものは、お店で買えるものでも240fpsくらいを出すことができます。

より高いフレームレートを持つものは、ハイスピードカメラと呼ばれ、物体が破裂する瞬間などを記録するのに用いられます。
研究用途で利用されるものなら、10万fpsを超えるフレームレートを持ちます(参考リンク)。

イベントカメラ

「イベントカメラ」または「イベント駆動型カメラ」は、英語では「event camera」、「event-basd camera」などと呼ばれています。
まだ新しい技術なので、日本語のみならず英語でも名前が統一されていません。
研究論文などでは、「event-based camera」と呼ばれることが多いかと思います。

イベントカメラと通常のカメラは、その記録の対象が大きく違います。
通常のカメラは、その瞬間の光量を記録します。
しかしイベントカメラは、光量の時間的な変化を記録します。

上記(↑)のアニメーションで示すように、通常のカメラは対象物の瞬間的な状態をそのまま写しとります。
しかし、下の側のイベントカメラでは、回転している黒い円の周辺画素だけが出力されています。
またその動作が止まると、画素の変化がなくなるので、何のデータも出力されません。

このようにまさにイベント(変化)の発生に応じて、データを出力するため「イベントカメラ・イベント駆動型カメラ」と呼ばれるのです。

イベントカメラが出力するデータ

イベントカメラが具体的に出力する情報について解説します。

イベントカメラは、1画素で3種類の値を出力します。
その画素の光量が「減った」「変化なし」「増えた」です。
普通のカメラのように、0〜255の値で光量を数値化することはありません。

上の図(↑)では、上がセンサに照射される光量の時間的変化、下が内部信号の変化と出力信号(ON/OFF/None)を示しています。
一定時間に十分な光量が変化すると、イベントカメラの出力信号であるONOFFが出力されていることがわかります。

画素の電気回路

イベントカメラの仕組みを知るために、各画素の電気回路を見てみます。
当然さまざまなセンシング方式が提案されていますが、今回は代表的なDAVISカメラDynamic Vision Sensor (DVS)を紹介します。

上の図(↑)が単純化された各画素の電気回路です。
信号を読み出すためのActive pixel sensor (APS)と、光量の変化を検知するためのDynamic Vision Sensor pixel (DVS pixel)によって、構成されております。
左下にあるphotoreceptorで物理的な光を感知し、その信号強度の変化を右側の参照用信号と比較して、出力状態を決定します。

イベントカメラの強み

イベントカメラの強みについて解説します。
主に以下の2つがあげられます。

  1. 超高速対象を撮影することができる
  2. モーションブラーを抑制できる
  3. 逆光に強い

一つずつ見ていきます。

超高速対象を撮影することができる

これは仕組みを理解すると明らかですが、通常カメラのような一定間隔の記録に縛られていないので、高速に動くものだけを捉えることができます。

通常の仕組みでは、ハイスピードカメラのような高価なカメラが必要であるような対象も、イベントカメラなら簡単に撮影できます。

こちらの動画が非常にわかりやすい例です。
同価格帯のカメラでも、仕組みが違うだけで得られる映像が大きく違います。

モーションブラーを抑制できる

モーションブラーとは、上の画像のように、手振れや撮影対象の動きが速すぎるため、撮影された画像がボヤける現象です。
この現象は、画像1枚1枚に対して処理を行うような機械学習のタスクと非常に相性が悪いです。

これはある画素の光が隣の画素にも影響することが原因ですので、通常のカメラでは必然的に発生する問題です。

イベントカメラでは、画素の変化を検知するので、モーションブラーの影響はほとんどありません。

逆光に強い

通常のカメラでは、画像全体の画素を比較して、センシングの感度を自動調整しているので、急激な光量の変化に弱いです。

逆光はその例の一つで、対象物のディテールが潰れてしまいます。
また、いきなり暗い場所から明るい場所に移動すると、映像が白飛びしたりするのも、通常のカメラの弱点です。

イベントカメラであれば、あくまで光の変化を検知するので、急激な環境光の変化があっても、次の瞬間には元通りに動作します。

イベントカメラの応用先

イベントカメラは安価に高速な動作を検知することができます。
この特性は、ロボット、ドローン、自動運転などの分野で非常に有益です。

研究段階ではありますが、上の動画ではイベントカメラを使うことで、急な変化が発生しても、モーションブラーを抑制しつつ周囲の環境を検知できています。

また、次世代の人工知能であるスパイキングニューラルネットワークとも非常に相性がいいです。

スパイキングニューラルネットワークは、その名の通りスパイク信号を扱うことに特化しています。
イベントカメラも出力される信号は、瞬間的な画素の変化であるため、スパイク信号とほぼ同じ形になります。

こちらの研究では、イベントカメラの入力信号をスパイキングニューラルネットワークで処理し、カメラの方向を制御しています。

まとめ

イベントカメラは、まだ数年前にやっと商用化された非常に新しい製品です。
そのため、その応用方法は手探りの段階です。

研究段階では、イベントカメラの応用に向けてアルゴリズムやシステムが着々と開発されています。

この記事が、将来のイベントカメラの発展に貢献できれば幸いです!

コメント

タイトルとURLをコピーしました