フレームレートを超えて
イベントベースのセンサー技術を搭載したカメラ
高速の動きを正確に記録し分析することは、困難な課題です。センサー解像度とフレームレートが高いハイスピードカメラは詳細な情報を提供しますが、保存、送信、処理が必要な膨大な量のデータを生成します。また、膨大な量の無関係な静的情報が含まれているため、高いコストをかけてフィルタリングする必要があります。フレームレートを下げるとデータ量が減りますが、動きがぼやけたり、詳細が欠落することがあります。そのため、従来の（画像ベースの）カメラによるソリューションは、しばしば妥協を強いられることになります。しかし、動作情報はまったく異なる方法でも記録することができます。より効率的に、かつデータ量を大幅に削減できる方法です。
自然、特に人間の脳から着想を得た新しいセンサー技術は、まさにこのアプローチを追求しています。この技術は、過剰な量の画像情報を生成するのではなく、本当に変化しているものだけに焦点を絞ります。その結果、データ量を大幅に削減しながら、高精度の動作情報を取得することができます。これにより、特にスピードと効率が重視されるアプリケーションにおいて、まったく新しい可能性が開かれます。この画期的な革命の正式名称は「イベントベースビジョンセンサー」、略してEVSです。
画期的なセンサー技術
イベントベースの画像処理はニューロモーフィック・センサー技術とも呼ばれています。これは、人間の神経系と類似した方法で情報を処理する能力を持つセンサーの名称です。これを実現するには、人間の脳が持つ進化上の優位性は、目の中の光受容体からの連続的な光刺激から膨大な量のデータを効率的に処理できることだけではないことを理解する必要があります。明るさの違い、コントラスト、動きなどの変化に反応する能力は極めて重要である一方、均一な刺激はほとんど無視されます。つまり、私たちは周囲の静的な詳細を常に再認識するのではなく、主にシーンの動きに集中しているのです。これにより、脳は不必要なデータに溺れることなく、関連情報を迅速に処理することができます。
この能力を再現するために、PropheseeはSonyと共同で、変化のみを検知し記録することを主な目的とする特別なピクセルエレクトロニクスを開発しました。ピクセル値のコントラストが一定の閾値を超えて変化すると、いわゆる「変化イベント」がトリガーされます。各ピクセルは、隣接するピクセルとは独立してリアルタイムで動作します。つまり、一定の時間間隔（フレームレート）に制限されることはありません。2つのピクセルイベント間の最小時間間隔は、このセンサーの重要な特性であり、「時間分解能」と呼ばれます。Sonyは、IMX636センサーの時間分解能を1マイクロ秒と規定しています。これにより、動きをほぼ「途切れなく」超高速でスキャンすることが可能になります。画像ベースのセンサーでこのような高速の変化を実現するには、1秒あたり1万枚以上のフレームレートに相当します。
画像なし！変化のみ
画像ベースのセンサーは常に一定の間隔でセンサー表面全体のデータを全て送信するのに対し、イベントベースのカメラは多くの場合、同じ時間内にごく少量のデータしか生成しません。つまり、アプリケーション開発者は高速の事象を正確に捉えるために、高フレームレートと大量の不要データとの間で妥協する必要がないということです。なぜならEVSカメラで生成されるデータ量は、撮影範囲内の活動状況に応じて変化し、シーンの状況が変化すれば自動的に適応するからです。固定フレームレートの画像ベースのセンサーとは対照的に、EVSピクセルは撮影範囲内で変化が生じた場合にのみ情報を送信し、データトラフィックを生成します。
鮮明なモーション
従来のセンサーはその技術上、速い動きの際にモーションブラーが発生することがあります。これは、露光中にコントラスト境界（例：オブジェクトのエッジ等）が複数の隣接するピクセル間を移動するときに発生します。各ピクセルは、移動するオブジェクトの異なる位置から光を拾います。動きが速いほど、または露光時間が長いほど、歪みのない鮮明な画像を得ることは難しくなります。一方、EVSピクセルは入射光を継続的に分析し、コンパレーター内の光量の増減のみを記録します。設定された閾値を超えると、約1マイクロ秒の時間精度でONまたはOFFの変化イベントを生成します。EVS技術では、いかに高速な動きでもピクセルごとにスキャンされます。これにより、モーションブラーのない軌跡を描写する独立したピクセルイベントの高解像度シーケンス（ストリーム）が作成されます。
画像ベースカメラとイベントベースカメラのデータの比較
画像ベースカメラ |
イベントベースカメラ |
|
|---|---|---|
データ |
|
|
詳細情報 |
|
|
データ量 |
|
|
品質 |
|
|
少ないデータで、より効率的な情報
EVSカメラの固有出力データ（ピクセル位置X/Y、イベントのON/OFF極性、タイムスタンプT）は、すなわち変化イベントのストリームの情報コンテンツであり、非常にコンパクトで効率的ですが、従来の画像を提供しません。このため、機械やアルゴリズムによる処理には理想的ですが、人間にとっては直感的ではなく、そのままでは使用できません。結果の流れを画像で視覚化したい場合、エッジ検出後の2Dカメラ画像を彷彿させるものとなります。その理由は、均一に照らされた表面では動きの間のコントラストの変化が目立たず、物体のエッジでは変化が目立つからです。
関連するデータのみが記録されるため、保存容量と処理負荷が大幅に削減されます。さらに、イベント情報により、動きのパターンや方向の認識がすでにサポートされています。記録されたイベント間の時間差は、大量の画像を処理することなく、ピクセルやオブジェクトの移動速度を直接計算するために使用することもできます。例えば、関連する情報を不要な静止背景データから分離する場合などです。
データ量が少ないため、多くのプロセスをほぼリアルタイムで分析することができます。また、マルチカメラシステムも技術的な労力が格段に少なく済むため、実現がはるかに容易になります。ホストPCの画像処理性能と、ケーブルや電源などの周辺機器は、より小型でコスト効率の高いものにすることができます。
時間という情報
マイクロ秒単位の正確なタイムスタンプと各ピクセルイベントの位置に基づいて、まったく新しいアプリケーションの可能性が生まれます。変化イベントにはすでに、そこからさらに重要な情報を導き出すことができる貴重な情報が含まれています。固定フレームレートの従来のカメラでは、一定のサンプリングレートにより、これらの変化を捉えることができません。また、出力の種類によっては、大量の余分なデータに埋もれてしまいます。
スローモーション録画を作成するためのイベントデータは、非常に興味深い分析オプションを提供します。取得したピクセルイベントを時間軸上にグリッドとして蓄積し、そこから完全なセンサー画像を生成することで、可変の「露光時間」によるスローモーションビデオが作成されます。再生速度は、蓄積時間と表示フレームレートによって可変となります。リアルタイム（イベントごとに1フレームの超スローモーション）から実際の移動速度（約33ミリ秒ごとに1フレーム）まで、さらには静止画像まで対応しています。記録されたすべてのイベントを（時間軸上で）要約すると、完全な動きの履歴が可視化されます。
速度と方向の情報も抽出でき、対象物の動きを正確に数値分析できます。これには、複雑な画像処理は必要ありません。一方、複数のピクセルイベントの位置と時間を一定の時間範囲で3D可視化すると、結果として運動経路の定性的な表現が得られます。これにより、対象物が（時間）領域内でどのように、どの経路で移動するかを理解することができます。この手順は、例えば、液体や気体の移動を高精度で検出するための流体分析で使用されます。
「1000ヘルツという非常に高いフレームレートを必要とするアプリケーション、例えば流体の可視化などでは、画像ベースのカメラを使用したシステムの導入は多くの場合、非常に複雑で高価なものとなります。当社ではイベントベースのカメラ技術を利用することで、1秒あたり1万フレーム以上の遜色ないフレームレートを実現しています。そして、大幅に削減されたデータ量を転送するには、USBなどの標準的なPCインターフェースのみで十分です。このため、この革新的なカメラ技術は小規模な教育機関や研究機関にとって特に有力な選択肢となっています。」
イベントベースの流動視覚化については、当社のアプリケーションストーリーでさらに詳しくご紹介しています：ケーススタディ「変化のみが重要」へ
新しいデータ - 新しい処理アプローチ
しかし、この新しいセンサー情報を活用するには、開発者はこれまでの周期的な画像ベースの処理シーケンスとは別の方法を見つけ出す必要があります。もちろん、複数のイベントデータを従来のフレームにまとめることで、一定のフレームレートで従来の画像のように処理することも可能です。しかし、この方法は必ずしも最適とは言えません。なぜなら、データの動的な利点を活用していないからです。例えば、高速な動きに対する高い時間精度や、一度に処理するデータ量を少なくすることで効率的に処理する方法が挙げられます。これにより、エネルギー消費も削減できます。適切な機能、ツール、アルゴリズムを使用することで、イベントデータからパターン、動き、時間、構造を迅速かつ効率的に抽出および処理することができます。現在、これは（画像ベースの）標準的なビジョン規格では実現されていません。
しかし、新しいセンサー技術を開発したメーカーであるPropheseeとSonyは、すでに適切な処理方法を開発し、ソフトウェア開発キットMetavision SDKで役立つ機能を利用できるようにしています。また、詳細なドキュメントと多数のサンプルも用意されています。これにより、ユーザーはすぐに使い始めることができ、この革新的な技術の新しい可能性を素早く活用できます。
DS EVSカメラ「uEye XCP-E」を操作するには、ホストPCにIDS HALプラグインをインストールするだけです。カメラはすぐにPropheseeのMetavision SDKで使用できるようになります。さっそくハウツー動画をご覧ください：
リアルタイムで高精度 - 品質保証におけるEVS？
ニューロモーフィックセンサーの機能は、品質保証と品質改善においても重要な役割を果たします。特に、欠陥検出における精度、速度、効率が求められる用途において重要です。極小の物体や素材の変化をピクセルサイズでリアルタイムに記録できるという付加価値は、例えば機械やプロセスのモニタリングにおいて顕著です。低マイクロ秒の範囲にまで及ぶ高い時間分解能により、振動や音響信号などの高周波の動きも視覚化できます。分析により、損傷や生産停止につながる可能性のある異常な現象（摩耗や故障によるものなど）が早期に発見されます。
ニューロモーフィックセンサーは動きやコントラストのみを感知するため、光の変化に対する感度が低く、照明条件が大きく変化する環境（反射や影など）では、従来の画像処理システムよりもはるかに優れています。迅速な欠陥検出、プロセスモニタリング、厳しい条件下での検査など、品質保証プロセスにおいては、ニューロモーフィックセンサーの能力が大いに役立ちます。
EVSはトレンドか、必需品か？
イベントベースのセンサーは完全な画像をキャプチャするのではなく、時間経過に伴うピクセルの変化のみを捉えます。しかし、これらはまったく異なる視覚化を動的にコンパイルするために使用することができ、従来のイメージセンサーのみを搭載したカメラよりもはるかに多くの動作情報をアプリケーションに提供します。したがって、これらの技術は競合するものではありません。イベントベースのセンサーは、従来の画像ベースのカメラやAIベースの画像処理の代替品ではなく、むしろ補完的な技術です。動作の記録に関しては、新たな可能性を切り開きます。さまざまなアプリケーションにおいて、単一のセンサータイプや結果データのタイプだけでは十分ではありません。顧客の要件を最適化するには、異なる情報、すなわち異なるカメラカテゴリーの組み合わせが必要になることがよくあります。そのため、イベントベースのカメラは高速な動きの分析、産業用品質保証業務、ロボティクス、自立型システム全般において、有力かつ価値のあるコンポーネントとなります。
IDSからのお知らせ
「uEye EVSカメラの量産開始に理想的なこの技術は、ガス、液体、振動の分析にすでに多くの具体的な活用例があります。」
Dipl.-Ing. Heiko Seitz（工学修士 ハイコ・ザイツ）は2001年よりIDSで勤務しています。カメラソフトウェア分野での開発者としての経験を経て、現在はプロダクトマーケティングマネージャーとしてIDSの技術コミュニケーションを支援しています。彼の経験により、複雑な技術と実践的な知識伝達との間の隔たりを埋めています。例えば、技術記事、ウェビナー、あるいは講演などでその役割を果たしています。
Vision Channel
マシンビジョンに関するビデオとライブセッション
プロジェクト
プロジェクトにおいて、どのようなサポートが必要ですか？当社チームが適切なソリューションを見つけるお手伝いをします。
ニュースレタ
最新情報を入手するため、ぜひニュースレターにご登録ください。