拡張された 3D ビジョン
IDS が 3D カメラデータの操作をシンプル化
3D カメラデータによる環境認識により、以前は人間でしかなしえなかった、多数の画期的な適用事例が実現しました。このため、ロボットは人間と同じような方法で物体を認識し、さまざまな状況に自律的に対応できるようになりました。寸法や作業場での位置に加えて、基準とする物体と比較した差異や欠陥について正確な判断を下すこともできます。
3D カメラとカメラデータの操作は非常に複雑で、アプリケーションの開発には多大な準備とセットアップ時間が必要になります。特にマルチカメラアプリケーションやロボットとの組み合わせでは、データを有効に使用するためには複数の座標系の校正が必要です。システムとの依存度が高いため、有効なデータを生成するために、システムでアプリケーションを直接開発しなければならないことも、よくあります。さらに、多くの 3D カメラの視界と解像度は、広い作業空間に対しては不十分です。
新しい Ensenso SDK 2.2 と、Ensenso X シリーズの新しい 5 MP バージョンを開発するにあたり、こうした要件を考慮しました。細部にわたって数多くの改善を実装し、はるかに容易に統合できるようになりました
速度と品質を最適化した多様なモデル
Ensenso 3D カメラは、静止物体にも移動物体にも適しています。FlexView 技術を高度な SC アルゴリズム (シーケンス照合) と組み合わせて、カメラモデル N35、X36 1.3 MP、X36 5 MP のビンピッキングまたは高精度物体比較の精度を最適化します。可動式の高性能プロジェクターはランダムパターンを投影し、テスト被写体の表面構造を画像として作成します。SC アルゴリズムはこの出力を使用して 3D 物体データを計算します。画像ペア (最大 16) を追加して精度を向上できます。
Ensenso は、連続するコンベアベルトの上や、カメラ自体が動く場合など、移動する被写体を扱う用途に適しており、カメラモデル N30、X30 1.3 MP、X30 5 MP で利用できます。最適化された SGM アルゴリズム (セミグローバルマッチング) で、1 つの画像ペアから高精度の奥行情報の取得が可能になっています。IDS Web サイトの Ensenso カメラ選択ツールを使うと、各用途に適したカメラを容易に見つけ出せます。
センサーを増やして視野を拡大
2 台の Sony IMX264 5 MP 画像センサーを搭載した Ensenso 3D カメラファミリーは、以前の 1.3 MP バージョンと比較して 3D 画像解像度がおよそ 35% 向上し、視界はおよそ 20% 拡大しています。容積 120 x 80 x 100 cm の梱包されたユーロパレット全体を撮影するとき、カメラとテスト被写体との距離を 1.5 m から 1.25 m にまで縮められます。この結果、元のセンサー解像度の使用効率もさらに向上します。ピクセルノイズが低い Sony 製センサーを組み合わせたため、計算された奥行き情報 (Z 情報) が、以前の 0.43 mm から 0.2 mm という優れた結果に向上します。
計算の高速化によって組み込み用途に対応erated calculation
センサーが強力になれば、当然データ量が増え、結果が出るまでの処理時間が長引く可能性があります。5 MP モデルによる基準測定により、完全な 3D 画像になるまでの画像ペアの画像一致の処理時間が約 4 倍になったことが確認されました。それでも、16 組の高解像度 5 MP 画像ペアによるシーケンス照合の完全な 3D 画像計算にかかる時間は、約 2.5 秒ほどでした。これは、ほとんどの用途にとって十分な結果です。さらに速度が必要な用途では、5 MP 画像ペアのセミグローバルマッチングにより、計算時間はわずか 1.1 秒という満足な精度を得られます。
重要な計算は CUDA に最適化され、大量のデータや関連する時間のロスに対処します。NVIDIA GPU によって計算能力が追加され、使用する GPU と対応するアルゴリズムのパラメーター化に応じて、約 5 倍にまで処理が高速化されます。
CUDA のサポートにより、3D アプリケーションは組み込み環境にとって興味深いものとなりました。適切なプラットフォームとして、NVIDIA Jetson TX2 ボードが挙げられます。ステレオ計算は 256 個の CUDA コアにアクセスでき、その後の HALCON Embedded デバイスの画像処理を、空いている ARM CPU で実行します。
マルチカメラ機能
Ensenso ソフトウェアライブラリには多数の便利な機能があり、複数のカメラを 1 つの用途で連携させることができます。異なるビューと位置を使用して、複数のカメラの座標系を相互に調整するか、実世界の固定点に調整して物体の統一オブジェクト座標に校正する必要があります。カメラをロボットと連携させて、動きをカメラデータと調整する必要がある場合、ハンドアイ校正も実行できます。統合校正ウィザードがユーザー操作を補助します。
追加の Ensenso ステレオカメラの他に、SDK によって、同じアプリケーションの単眼 2D uEye カメラの統合と校正も非常にシンプルになります。3D アプリケーションでの検査品質および測定結果は、2D カメラの能力によって大幅に改善されます。ステレオカメラでは境界領域にある物体の特定は困難ですが、2D カメラのエッジ検出や色認識によって、十分に補完できます。さらに、2D カメラはバーコードの内容といった追加情報の取得も可能です。Ensenso ソフトウェアは両方の技術の統合を最適化しています。専用に開発した校正パターンも、マルチカメラシステムのセットアップと調節に役立ちます。NxLib ライブラリは、複数の校正板を使用して、任意のサイズの物体の座標と、カメラ相互の相対位置を認識します。この一部はカメラによってカバーされ、相互に同期できます。
仮想化による開発とデバッグの簡素化
「File Cameras」および「Virtual Cameras」拡張は特に、アプリケーション開発者にとって便利です。アルゴリズムと処理を改善するため、同一データを複数回デバッグすることが必要です。ファイルカメラはシステム上で実際のカメラと同様に動作しますが、画像はデータセットが格納されたローカルフォルダーから得られる点が異なります。この方法でアプリケーションシーケンスを繰り返しシミュレーションできます。実際のシステムにアクセスしたり状況を再現したりする必要はありません。これは理想的なデバッグツールでもあり、ユーザーは問題のあるデータセットを保存して、画像処理の専門家に提供できます。このようにすると、エラーを簡単に再現できます。
「仮想カメラ」では、シミュレーションをオフライン環境で実行できます。データ品質、完全性、解像度、シーンのノイズを、さまざまなカメラモデルで評価できます。STL または PLY 形式 (3 次元データの保存に一般的なファイル形式) のオブジェクトを、目的に応じてインポート、描画、位置決めできます。これにより、実際のシステムをセットアップしなくても、さまざまな種類の検査プロセスの性能評価を実施できます。手動でのモデル作成に代わるシーンエディターが統合済みです。箱の中にさまざまな部品がばらばらに入っているビンピッキング用途も簡単にシミュレーションできます。ランダム機能により、仕分けされていないパーツフィーディングの現場など、無数の変数のある状況をテストできます。各 Ensenso モデルを「仮想カメラ」として適用できます。システムをセットアップする前に、該当するモデルをオンラインカメラ選択ツールから選択してシミュレーションできます。この両方のツールを使用して、3D 用途についても事前調査や最適化を容易に実施できます。
まとめ
3D 用途の「最適化」により、カメラハードウェアとそのデータを操作する複雑性は、確実に増しています。IDS の Ensenso SDK 2.2 と新しい 5 MP カメラモデルは、システムインテグレーターと開発者が 3D データを簡単に操作できる複数のソリューションを実現します。ハードウェアとソフトウェアのさらなる改善により、一層強力な 3D 用途の開発を支援します。「ビンピッキング」などの困難な作業でも、ロボットビジョン用途の品質、サイクルレートと経済性、迅速な可用性に対する需要に対応できるようになりました。