準備万端
家具の組み立て - Ensenso N35 を利用
皆さんも、きっと経験したことがあるでしょう。新しい家具を組み立てようと、部品を揃えて、組み立て説明書を見ながら作業したら、思ったよりも長い時間がかかってしまったことが。シンガポールの南洋理工大学 (NTU Singapore) の科学者達は、人間の手を借りずに、椅子の個々の部品を自律的に組み立てられるロボットを開発しました。ロボットは、Ensenso N35 3D カメラと.
応用
物体を持ち上げるグリッパーを搭載した 2 台のロボットアームで構成されています。ロボットによる IKEA の椅子の組み立てを支援するため、「機械航空工学科」のチームは、3 種類のオープンソースライブラリでアルゴリズムをコーディングしました。ロボットハードウェアは、人が物体を組み立てる方法を手本として設計されました。すなわち、「目」を 3D カメラで置き換え、「腕」を 6 軸で動作できる産業用ロボットアームで置き換えています。各アームには並行グリッパーが取り付けられ、物体を持ち上げられます。力センサーがリストに取り付けられ、「指」で物体に触れてつかむ強さを決定します。ロボットによる組み立てプロセスは、作業台に置かれた部品の 3D 画像の撮影から開始され、さまざまなコンポーネントの推定位置のマップが作成されます。
このタスクは Ensenso 3D カメラで実行されます。 カメラは「射影テクスチャステレオビジョン」の原則 (ステレオビジョン) に従って動作しますが、これは人間の視覚に似せたものです。2 台のカメラが同じシーンの画像を別の 2 つの位置から撮影します。カメラは同じシーンを撮影しますが、カメラの投影光によって被写体の位置は異なります。特別な照合アルゴリズムで 2 つの画像を比較し、対応する点を検索してすべての点の位置を視差マップとして視覚化します。Ensenso ソフトウェアは各画像ピクセルまたは物点の 3D 座標を決定できます。この例では椅子の部品が該当します。
問題は、整理されていない環境において部品の位置を正確に、迅速かつ確実に特定することです。これは Ensenso カメラの集光性の高いプロジェクターによって実現します。パターンマスクを使用して、暗い環境でも被写体の表面上のテクスチャを高コントラストで照らします。投影されたテクスチャは、IKEA の椅子の部品で検出された、コントラストが弱い、または存在しない被写体表面の構造を補います。
チャレンジ
この用途には不要ですが、使用した N35 モデルにはさらに高度な機能があります。内蔵 FlexView プロジェクターテクノロジーにより、部品の被写体表面に投影されたパターンを移動させて、表面上のテクスチャを変化させることができます。同じ被写体のシーンから、テクスチャが異なる複数の画像ペアを撮影すると、さらに多数の画像点が生成されます。このため、椅子の部品は高い解像度で 3D 表示され、ロボットが認識しやすくなります。もう 1 つの利点は、Ensenso ソフトウェアによるロボットのハンドアイ校正機能です。校正板を使用して、基本座標系 (部品の位置) に対するカメラの座標系位置 (この場合は静止カメラ) を決定します。このため、ロボットのハンドで画像情報に対して正確に反応し、正確な目的地に異動できます。
「ロボットにとって、これほどの精度で IKEA の椅子を組み立てるのは、見かけよりずっと難しいものです」と、NTU の Pham Quang Cuong 教授は語ります。「組み立て作業は、人間にとっては自然に思われるのですが、難しい椅子の部品を特定し、部品を掴むのに必要な力を決め、ロボットアームを互いに衝突させずに確実に移動させるなど、さまざまなステップに分解する必要があります。さまざまな工夫を凝らして、ロボットが椅子を単独で組み立てるために必要な手順を踏めるようにするアルゴリズムを開発しました」その結果、NTU のロボットは Ikea の椅子「Stefan」をわずか 8 分 55 秒で組み立てました。
Pham Quang Cuong 教授によると、人工知能によって、アプリケーションがさらに自律的になり、今後の利用可能性が広がるとのことです。「このアプローチに人工知能をさらに取り入れ、ロボットの自律性を高めて、人間の手本から、説明書を読み込んで、または組み立てられた製品の画像から、椅子の組み立て手順を学習できるようにすることを目指しています。
今後の予定:
NTU シンガポールの科学者たちが開発したロボットは、特殊なロボットハンドやフィンガーの力や動きの精密制御を必要とするロボット工学の領域で、手際の良い操作の研究に使用されています。これには、すべてのハードウェアとソフトウェアコンポーネントが完璧に連携する必要があります。Ensenso ステレオ 3D カメラを使用する 3D 画像処理は、ソリューションの鍵となります。精度のみならず、経済性や速度の面でも優れています。家具組み立てに実際に役立てることができ、しかもこれだけに留まりません
Ensenso N35 : 3D ビジョンの概念を刷新。
- オプションで または GigE インターフェース – 汎用で柔軟
- コンパクトで丈夫なアルミニウム製ハウジング
- IP65/67
- グローバルシャッター CMOS センサーとパターンプロジェクター、オプションで青色または赤外線 LED
- FlexViewプロジェクターを備えて / 静止物体の画像撮影
- 最大fps (3D): 10 (2x Binning: 30)、視差数 64
- 最大fps (offline processing): 30 (2x Binning: 70)、視差数 64
- 動作距離最大または 3,000 mm (N35)、可変像面の設計
- マルチカメラモードで使用するすべてのカメラからのデータを、1 つの 3D ポイントクラウドで出力
- 複数の視野角からの 3D ポイントクラウドをその場で構成
- FlexView 技術を搭載し、点群の精度を向上させ、困難な表面の 3D データを確実に取得
- 「射影テクスチャステレオビジョン」プロセスでテクスチャ化されていない表面を撮影
- 静止物と移動物の両方を撮影
- 無料のソフトウェアパッケージには Windows および Linux 向けのドライバーと API が付属
- 1 つのソフトウェアパッケージで USB モデルと GigE モデルに対応
- HALCON、C、C++、および C# サンプルプログラム、ソースコード付き
- 事前校正済みで、セットアップが簡単
- 基準板によるロボットハンドアイ校正の統合機能
- ソフトウェア側に uEye 産業用カメラを統合、追加のカラー情報やバーコードを取得
- 柔軟なデータレートおよびフレームレートのためのサブサンプリングとビニング
NTU Nanyang Technolocigal University Singapore
School of Mechanical and Aerospace Engineering
50 Nanyang Avenue
Singapore 639798
https://www.ntu.edu.sg/