"Game changer" IDS NXT
AI 搭載の画像処理アプリケーションに関するエンジニアとのインタビュー - 使いやすく、わかりやすい
「私はエンジニアであり、ソフトウェア開発者ではありません。それでも、AI 搭載の画像処理を実行できました」と、ケンプテン応用科学大学の Marco Ullrich 氏は言います。プロダクション＆インフォマティクス学部の助手である同氏は、Mill をプレイする AI 搭載ロボットの開発に取り組む修士課程の学生グループを指導しています。
画像分析は、インテリジェントなカメラを使用する、オールインワンシステムである IDS NXT によって実行されました。このインタビューでは、課題、体験、最終的な解決策について紹介します。
プロジェクトの具体的なタスクは何でしたか？
プロジェクトの目標は、ドイツのボードゲーム「Mühle」(Mill) を、場所に関係なくプレイするロボットを開発することでした。つまり、ケンプテン (ドイツ) とザルツブルク (オーストリア) にそれぞれあるロボットセルが互いにプレイするということです。これを、ビジョンシステムを使用してゲームボード上の変化を検出することで実現しました。インテリジェントな IDS NXT カメラはこのシステムに必須のコンポーネントでした。
プロジェクトの作業中に、どのような課題に直面しましたか？
最初の問題は、既存の Raspberry Pi カメラを産業用カメラで置き換えることでした。また、適切な画像処理アルゴリズム、照明、カメラの設置場所を選ぶ必要もありました。さらに、HMI (ユーザーがマシンを操作できるようにするヒューマンマシンインターフェース) 向けに画像を等化する手法を見つける必要がありました。カメラを傾けて取り付けていても、ユーザーインターフェース向けに上部からの画像が必要となるためです。全体として、カメラを既存のロボットシステムに取り入れる作業は大変な難問でした。
用途におけるビジョンシステムの具体的なタスクは何ですか？
ビジョンシステムのタスクは、ゲームボード上の変化を確実に間違いなく検出することでした。私たちはエンジニアであってソフトウェア開発者ではないので、システムをユーザーにとって使いやすくすることも目指していました。カメラは産業用途に適している必要があり、革新的または最先端であることが理想でした。さらに、人工知能を使用して画像処理を実行したいと考えていました。しかし、ターゲットとするグループが AI のエキスパートとは限らないので、AI アプリケーションを使いやすく、理解しやすくする必要もありました。
なぜ IDS カメラテクノロジーをプロジェクトに選んだのですか？
IDS NXT システムは、要件のすべてを満たしていたので、私たちのプロジェクトに最適でした。まず、最も重要な要因は、IDS が人工知能を実際の用途で使用する際の障壁の低減に取り組んでいることで、私たちのような、ソフトウェア開発者ではないエンジニアでも簡単に使えるようになります。さらに、画像処理向けにコンピューティングリソースを追加する必要がないので、既存のシステムへの統合が容易です。
すべてがカメラ自体で実行され、追加の処理装置は不要です。
私たちは、ユーザーに最適なビジョン体験を提供したいと思っています。そのため、「とても簡単です」というモットーを掲げ、使いやすいカメラテクノロジーに重点を置いています。IDS NXT システムが使いやすい点を説明していただけますか？
先ほど述べたように、私はエンジニアであってソフトウェア開発者ではありません。それでも、IDS NXT システムを利用することで、画像処理に AI とニューラルネットワークを使うことができました。すべてがカメラ装置上で実行されるので、画像処理向けのコンピューティングリソースに多額の投資をする必要がなく、処理装置を追加する必要がありません。このため、システムを既存の装置に驚くほど簡単に取り入れることができました。
IDS カメラがプロジェクト環境とやり取りするために使用されたインターフェースについて教えてください。
REP インターフェースや cockpit ソフトウェアなど、IDS カメラを操作するためのいくつかのオプションを検討しました。最終的には、システムの標準通信方式であることから、OPC UA プロトコルを利用することにしました。スイッチを介してイーサネットケーブルでカメラを PLC に接続しました。
IDS NXT カメラのアプリアプローチにはどのように取り組みましたか。取り組みはどのようなものでしたか？
私たちは「Classifier」と「Object Detector」という 2 つのビジョンアプリをテストしました。両方のビジョンアプリで、十分な量の画像を使って (ほぼ) 100 パーセントの成功率を達成できました。Object Detector の成功率は少し低かったのですが、Classifier よりも少しだけ複雑なので、これはマイナスポイントとは考えていません。全体として、アプリアプローチは非常に直感的で、プログラマー以外の AI アルゴリズムに慣れていないユーザーにとって使いやすいものです。
目的の 1 つは、あらかじめ要件を適切に分析しておけば開発時間が短縮され、そうでなければ他の手法に切り替えるというものでした。その理由は何だったのでしょうか？AI ベースの画像処理の取り扱いはこれとは異なりますか？
その解決策は、私たちのユースケースでは AI と関係ありません。今別の方法を採用している理由は、プロジェクトを開始するための適切なアプローチや手段の重要性を過小評価していたからです。ビジョンシステムは、ただカメラとアルゴリズムだけではないことに注意することが大切です。私たちは実際にはエキスパートではないので、適切なカメラの位置、照明、その他の要因を評価することがどれだけ重要かを認識していませんでした。これらはパフォーマンスに大きな影響を及ぼすものです。
私たちのケースでは、カメラの位置決めは複雑なタスクでした。以前使用して居たカメラシステムはゲーム板の真上にあったからです。IDS カメラはさまざまな理由で傾けられており、そこから多数の課題が生じました。
IDS ビジョンシステムの実装からは、AI 評価機能を通じて、トークン検出およびプロセス監視にメリットが生まれましたか？
私たちの経験では、メリットがありました。思い出していただきたいのですが、IDS カメラを使用する前は、Raspberry Pi カメラと Pythonによる画像処理を使用していましたが、操作性が限られていました。そのため、IDS カメラのメリットは、シームレスな統合と使いやすさ、そして高水準言語の専門知識が不要な点にあります。
先ほど、コード読み取り機能とマルチステップ画像評価はアプリケーションにとって貴重な強化機能だとおっしゃいました。そこで、またとないお知らせがあります。IDS NXT システムで、ブロックベースエディターによる機能をサポートするようになりました。もしプロジェクトを今からやり直すとしたら、これらのツールを使ってアプリケーションを別の方法で計画しますか？
こうした機能は実際に学生から提案されていたので、それは本当にすごいニュースです。IDS が私たちの提案をこんなに早く取り入れてくれたことに感心しています。もちろん、今プロジェクトをやり直すとしたら、多くのことが変わったのですから、当然別のやり方で進めるでしょう。
現在、同じ IDS カメラをゾントホーフェンにある産業プラントに取り入れて、その過程で、新しい機能や特長をテストする予定です。さらに、IDS のチームとさまざまな研究プロジェクトで共同作業を続けていくつもりです。今後も、画期的なテーマについて協力していければ幸いです。
このインタビューも終わりに近づきました。Marco、貴重なご意見と今後の計画についてお話しいただき、ありがとうございます。今後も引き続きコラボレーションできることを期待し、研究プロジェクトの成功をお祈りしています。
詳細情報
詳細については、このインタビューや、カメラおよび画像処理テクノロジーに関するその他のビデオを IDS Vision Channel または YouTube でご覧ください。