技術記事

組み込み 3D ビジョン

高解像度の 3D データをカメラから直接取得

Onboard-Processing Ensenso XR

自動車産業において連続的に稼働する生産ラインなどで、大量または少量の物体のビューを 3D カメラで自動的にチェックする場合、高解像度 3D 結果データを生成して、すばやく処理しなければなりません。5 MP の大型センサーと可変ベースラインを搭載したテレオカメラシステムなら、理想的な出力データを提供できます。ただし、このような高性能 3D 用途においては、インターフェースと CPU パワーがボトルネックとなってしまいます。

空間ビジョン (ステレオビジョン) の原則に従って動作する 3D カメラによるマシンビジョンアプリケーションでは、カメラ画像は高解像度のフレームレートで処理され、結果データをできるだけ迅速に移行の処理で利用できるようにします。「点群」と呼ばれる、ステレオカメラの画像データから得た 3 次元データの計算には、複数の複雑な処理ステップが必要で、これまでは強力な産業用 PC (IPC) で処理されていました。これらの結果データの品質と速度に対する要求が高まり、Ensenso X などの先進的な 3D ステレオカメラは、ギガビットイーサネットインターフェースで高解像度 2D カメラを使用しています。しかし、処理側の IPC へ 2D 出力データを転送するには、時間の遅延やデータ損失を防ぐため、ネットワーク帯域幅を最適に使用しなければなりません。それに加えて、IPC ハードウェアの処理能力は、全体的なシステムを制限しないように、常に向上させなければなりません。

高品質コンポーネントを使用することで、このような 3D カメラシステムのパフォーマンスをさらに向上できます。交換可能な 2D カメラのおかげで、Ensenso X シリーズの設計は柔軟で、特定のデータインターフェースやセンサー解像度に限定されず、速度、被写体のサイズ、品質の要件に合わせて拡張を続けられます。高解像度で高速な GigE カメラ、特殊シールドケーブル、高性能ネットワーク技術および強力な PC ハードウェアは、用途によってはあまりに高価です。さらに、これらの周辺機器のためのスペースも必要です。

新しい XR カメラシリーズでは、Ensenso は新たなアプローチを追究しています。「モノインターネット」(IoT) の原則に従って、「分散システム」内の個別コンポーネントは、それぞれが特定のタスクを実行して結果を生成し、この結果を他のシステムが直接使用できます。3D カメラの場合、これは実際の物体のピクセルの 3 次元座標になります。

3D 処理の比較
図 1: 3D 処理の比較

オンボード 3D 処理

Ensenso XR プロジェクター装置に内蔵された SoC (システムオンチップ) により、カメラはステレオ分析などの 3D 処理自体を実行できるようになります。レンズのゆがみを補正した後、2D 出力画像は、カメラの仮想回転 (平行化) によって軸と平行なステレオシステムに転送されるので、後続するすべての分析が非常にシンプルになります。その後、静止または移動シーンに対して高度に最適化されたマッチングアルゴリズムで、録画された画像ペアから対応するピクセルを検索します。カメラには異なる視点があるので、これらのピクセルは「視差」と呼ばれる画像平面で、異なる水平方向にシフトされます。平行するステレオシステムでの幾何学的関係により、この視差は、焦点距離、ピクセルサイズ、ステレオシステムのベース長など、既知のシステムパラメーターの情報とビームセットを適用した後の、3D ポイントの空間上の奥行き測定値を mm 単位で表しています。

こうしたピクセル処理は時間と計算能力を多用し、カメラ内の補助 FPGA によって並行して実行されます。このため、3D データレートが、Intel Core i7 Quad CPU を搭載したデスクトップ PC でステレオ分析を実行する、Ensenso X システムと匹敵するものになります。

「統合データ処理と FlexView2 テクノロジーを組み合わせて、画像の細部まで正確かつ高速に撮影することができました」
IDS のプロダクトマネージャー兼 3D 画像処理スペシャリスト Martin Hennemann

「組み込み」機能のメリット

FlexView2 テクノロジーとの組み合わせにより、XR36 シリーズモデルは、加工前のデータをホスト PC に転送する際に遅延を発生させることなく、静止シーンの 3D データセットについて最大 16 の高速連続画像を処理できるようになりました。FlexView2 によるプロジェクターパターンの配置により、異なる 3D ポイントから各画像ペアが生成され、非常に解像度の高い 3D 表現が生まれます。

計算処理の多いプロセスをカメラに移動させたため、強力な産業用 PC で実行する必要はなくなりました。さらに、高解像度 2D RAW データではなく、3D の結果データを転送するので、ネットワーク負荷が減少します。画像撮影と処理とを直接メモリアクセスで高速に処理できる高解像度 3D データの適用により、産業用 PC での外部処理よりも、結果レートと帯域幅削減の面で多大なメリットをもたらします。

特にマルチカメラシステムの場合、新しい XR シリーズの機能からリソース節約というメリットを受けられます。高解像度 2D カメラからの加工前データをネットワーク上で転送する必要がある場合、帯域幅によるボトルネックが直ちに生じて、フレームレートが低下し、全体的なパフォーマンスに悪影響を与えます。この場合、XR シリーズの早期評価と同時データ削減により、信頼できる結果レートが実現され、周辺機器の計算能力の使用量が少ないため、スペース要件も縮小されます。Ensenso XR カメラによる 3D アプリケーションは、必要な要件への拡張が容易になります。

データレートをさらに低減するため、カメラは視差マップのみを転送します。16 ビット 1 チャネルの画像は完全な「点群」よりもはるかに小さく、カラーオーバーレイ付き 32 ビット RDB 画像です。産業用 PC に大きな計算負荷を課すことなく、Ensenso SDK で、変換をシンプルに実行できます。

3D マルチカメラシステムの比較
図 2: 3D マルチカメラシステムの比較

新しい独立性

Ensenso XR ステレオカメラは他の 3D カメラよりも自律性が高いため、3D 用途の選択基準として、速度面以外でも重要になっています。ネットワーク周辺機器および IPC ハードウェアへのパフォーマンス要件が軽減され、3D アプリケーションの全体的な構成が単純化され、特にマルチカメラシステムで、コストが削減されます。

有線ギガビットイーサネット接続に加えて、追加の WiFi インターフェースにより、セットアップおよびメンテナンス時にデータやパラメーターに一時的にアクセスでき、ケーブル配線が困難またはコストがかかる場合に非常に便利です。さらに、新しい Ensenso XR プロジェクター装置にはフロントライトが内蔵されています。使用中、作業環境の校正を支援し、周辺光が不十分または外部照明がない場合に 2D カメラ画像の画質を向上させます。

Ensenso XR 死リースの多数の機能改良により、3D カメラテクノロジーの新しい応用分野が広がります。統合データ処理は、データ交換を最適化する、次の論理的ステップです。

Ensenso XR シリーズ >>