EyeBot – ビジョンガイド付きロボット

EyeBot のユースケース

生産ラインでは、コンベアベルト上に物体がランダムに散らばります。物体を検出し、選択して、パッケージに配置するか、正しい場所に転送して加工や分析ステーションに運ぶ必要があります。ソフトウェア企業 urobots GmbH は、物体の検出とロボットの制御を行う PC ベースのソリューションを開発しました。トレーニング済みの AI モデルで、カメラ画像から物体の位置と方向を認識することができ、ここからロボットが把持する座標を判定しました。目標は、このソリューションを IDS Imaging Development Systems GmbH の AI ベースの組み込みビジョンシステムに移行することでした。urobots にとって、ソリューションに 2 つの重要な事項がありました。

1. 特殊な AI の知識がなくても、ユーザーは異なるユースケースに対してシステムを自分で容易に調整できなければなりません。それは、照明や物体の外観など、生産現場で何かが変更された場合や、物体のタイプが追加された場合でも対応できる必要があります。
2. コスト効果、軽量化、省スペースを実現するため、システム全体はデバイスコンポーネントの直接通信により、完全な PC レスとすることとなりました。

この要件は両方とも、IDS の IDS NXT Experience Kit 推論カメラシステムによってすでに実現しています。

位置検出とマシンの直接通信

トレーニング済みのニューラルネットワークは、画像内のすべての物体を識別し、位置と方向も検出します。AI は、常に同じように見える静止物についてだけではなく、食品、植物、その他の柔軟性がある物体など、多数の自然なばらつきがある場合にも対応します。そのため、物体の位置と方向の認識が非常に安定します。urobots GmbH は、独自のソフトウェアと知識で顧客向けネットワークをトレーニングし、IDS NXT カメラにアップロードしました。このとき、ある種の「連結リスト」に似せた特殊な最適化された形式に変換する必要があります。トレーニング済みニューラルネットワークを推論カメラで使用するために移植する作業は、IDS の IDS NXT ferry ツールで非常に容易になりました。このプロセスでは、CNN ネットワークの各レイヤーは、各レイヤーを正確に記述しするノード記述子となります。最終的に、バイナリ表現での CNN の完全な連結リストが出来上がります。CNN アクセラレーター IDS NXT Experience Kit コアは、カメラ専用に開発され、FPGA をベースにしており、この汎用 CNN を最適に実行できます。

検出データから、urobots が開発したビジョンアプリがロボットにとって最適な把持位置を計算します。しかし、これではタスクは解決されません。把持対象、把持位置、把持方法の結果の他に、IDS NXT カメラとロボットの間で直接通信を確立しなければなりません。このタスクは特に、過小評価してはいけません。しばしば、ソリューションに投入する時間、予算、人員を決定する、重要なポイントとなります。urobots は具体的な作業手順を直接ロボットに転送するため、IDS NXT Vision App Creatorin により、XMLRPC ベースのネットワークプロトコルをカメラのビジョンアプリに実装しました。最終的な AI ビジョンアプリは約 200 ms で物体を検出し、位置精度 +/- 2 度を達成しました。

人工知能を超えて - PC レス

このユースケースがスマートである理由は、人工知能だけではありません。このソリューションは PC を追加せずとも完全に機能するという事実は、2 つの観点から興味深いと言えます。まず、画像をただ提供するだけでなく、カメラ自体が画像処理の結果を生成するので、PC ハードウェアおよび関連するすべてのインフラストラクチャが不要になります。最終的には、システムの獲得および保守コストが削減されます。ただし、プロセスの意思決定が生産拠点で「その場」で直接下されるという点もまた、重要です。以降のプロセスは遅延なく迅速に実行され、場合によってはクロックレートの増加も可能になります。

もう 1 つの観点は、開発コストに関するものです。AI ビジョンまたはニューラルネットワークのトレーニングは、従来のルールベースの画像処理とはまったく異なる方法で機能し、画像処理タスクのアプローチや処理方法も変化します。結果の品質は、画像処理の専門家やアプリケーション開発者によって手動で開発されたプログラムコードの成果ではありません。言い換えると、アプリケーションを AI ベースで解決できれば、IDS NXT Experience Kit で対応するエキスパートのコストと時間も削減できます。包括的で使いやすいソフトウェア環境により、各ユーザーグループがニューラルネットワークをトレーニングし、対応するビジョンアプリを設計し、カメラ上で実行できるからです。

EyeBot のユースケースでは、コンピュータービジョンを PC レスの組み込み AI ビジョンアプリケーションにする方法を示しました。ビジョンアプリベースのコンセプトによる拡張可能性、異なるターゲットグループ向けのアプリケーション開発、エンドツーエンドのメーカーサポートも、小規模組み込みシステムのメリットです。EyeBot により、能力がアプリケーションに明確に分散されます。ユーザーは製品に集中でき、IDS と urobots は画像処理とロボット制御のための AI のトレーニングと実行に集中します。その他のメリットとして、イーサネットベースの通信とオープンな IDS NXT プラットフォームにより、ビジョンアプリを他の物体、他のロボットモデル、その他多数の同様のアプリケーションに、容易に調整できます。