リアルタイムの偏光
IDS 偏光カメラのオンカメラデータ前処理の使用
偏光の知識を利用すると、産業用画像処理で反射やハイライトを抑制したり、微細構造のコントラストを増加したりできます。表面下で作用する材料の張力などの物理的な特性さえも、視覚化できます。偏光の情報を確認するには、異なる方向の偏光フィルターで最大 4 枚の画像を連続撮影し、その後 PC での処理が必要でした。Sony の Polarsens テクノロジーにより、このすべてが 1 回の撮影で処理できるようになりました。さらにデータ前処理によって、IDS 偏光カメラからリアルタイムで取得した未加工のデータを便利な画像フォーマットに変換し、その後のホスト PC での処理または評価が効率的になります。
IDS 偏光カメラと標準カメラとの違いは何で、偏光情報をカメラで前処理するとどのようなメリットがあるのでしょうか。これらの特殊カメラの用途を理解するためには、技術の簡単な説明が必要です。
光とは電磁波であることは周知の事実で、人間の目に見える光の特性を説明するすべての重要な情報を含んでいます。人間の目もカメラの画像センサーも、光の方向、強度 (振幅)、色 (波長) を確認でき、デジタル化して画像処理します。光の波長範囲は電磁波の全スペクトルのうち、ほんのわずかな部分です。
偏光
特殊照明、フィルターガラス、光学機器での画像処理で主に使用されているもう 1 つの特徴は、偏波です。偏波は光線自体の方向を示すものではありませんが、光子 (フォトン) が電波方向と垂直に振動する、波の振幅の方向を示します。偏波されていない光の波は、さまざまな方向に振動します。白熱灯や日光がその例です。フォトンが一方向にだけ進むことを、直線偏光と言います。特殊偏光子は、偏光軸と呼ばれる 1 つの平面以外で振動する入射光を吸収または減衰し、ほぼ直線の偏光が生じます。
直線偏光フィルターの振る舞い
初期強度 I0 の光波が、直線偏光フィルターを通過したときの強度への影響は、1808 年にフランスの物理学者 Étienne Louis Malus によって証明され、Malus の法則として次のように数学的に記述されています: I = I0 . cos²(Φ)
したがって、偏光子の光学軸に沿って向きを変えた光波は一般にはブロックされませんが、角度に応じて強度は低下し、フィルターの方向に偏光されます。直線偏光子の振る舞いは、誤った説明や解釈がなされることがよくあります。残念ながら、上記の図もその一例です。
反射と偏光の関係
ガラスなどの反射率が高い表面では、光線が屈折することがあります。物体の視野角によっては、観測者の方向に不要な反射が発生することがあります。以下の車の例では、光の反射によって車のウィンドウが不透明になる例を示しています。そのため、車内の物体や人物の認識がほぼ不可能になり、ほとんど「見えなく」なります。
Infolink: フィルターの偏光によって光沢、反射、反映を防ぐ方法.
光の反射が非金属表面 (ここではガラス) で発生した場合、物理プロセスによって光の自然な偏光が生じます。つまり、適切な偏光フィルターを使うことで、特殊な偏光成分とグレア効果を低減できます。光の偏光されていない部分はそのままフィルターを通過できます。
フロントガラスの反射を偏光フィルターで除去できます。
金属面での反射は、偏光フィルターだけでは除去できません。金属面では光は偏光されず、反射します。このため偏光カメラであっても、邪魔になる光の反射を抑制するため、用途によっては照明に追加の偏光フィルターを取り付けることが必要です。
すでに偏光された光を使用すると (偏光フィルターホイルなどを使用)、表面上での反射の生成が抑制されます。特殊なコンピュータディスプレイ (タッチ機能なし) に「反射防止」フィルムが付属しているのも、このためです。視野角が狭まるので光の強度は減少しますが、反射はなくなります。このようなディスプレイを真横から見ると、スクリーンは黒く見えます。
画像処理における偏光の重要性
光を認識またはデジタル化するためだけなら、偏光されているかどうかに技術的な違いはありません。デジタル画像処理では、特定の特徴を目に見えるようにするために重要なのは、主にシーンの照明です。しかし、ライトを使って写真を撮影したことのある方なら、長所と短所があることをご存じでしょう。不要な影の制御は、別の方向からライトを追加したり明るくしたりすれば、比較的容易です。ディフューザースクリーンと組み合わせると、シーンの照明をより均一にすることができます。しかし光については、重要な特徴を見逃すことになる、不要な反射やフェーディングへの対処が常に必要です。車の運転手の顔がフロントガラスの反射で明るくなって見えなくなるなど、ミラーリングで情報が消去される場合は、画像取得の後に、画像処理テクニックによって復元することはできません。特に産業用画像処理では、不要な影響をできるだけ低減するため、散乱光がよく使用されます。ただし、用途によっては最適な照明方法は非常に高価になる場合があります。
しかし、何かを増やせば良くなる、またはうまくいくとは限りません。光の場合、不要な影響を対象としてフィルタリングすることで、基本的要素を視覚化することもできます。偏光について、偏光の生成方法や影響について知ることで、解決方法が見つかります。偏光フィルターは、画像処理で使用して反射やハイライトを低減しますが、コントラストの強調にも使用されます。応力解析にも便利で、表面下の物理特性を視覚化します。
偏光の長所
光は表面だけでなく、機械的応力や光の屈折などその他の物理的特性によっても偏光されるので、通常の画像センサーでは検出できない物体の特徴および欠陥を視覚化できます。
目に見えないものを可視化
探している材料の欠陥や物体の特徴は、光を強化したり不要な影響を除外したりしただけで常に視覚化されるわけではありません。以下の画像例では、光の強度を上げていくと視覚化される重要な内容が増えるように思われます。そうではありません。汚れや傷からの反射により、偏光されています。
ガラス検査で偏光を使用して、汚れや傷が視覚化される
ここでの指紋や傷は、「偏光度」を視覚化して明確に可視化されます。これにより、偏光された光線が偏光されていない光よりも明確に視覚化されます。しかし、通常のカメラセンサーでは偏光を録画しません。このため、撮影時に情報が失われます。視覚化またはその後の画像処理による偏光訂正をさらに適用することはできません。RAW ファイルであっても、角度と偏光度で光が取得された場所ではそれ以上認識できないからです。
このような画像を計算するには、このシーンの偏光度を何度か取得する必要があります。すると、すでにデジタル化された画像を連続して処理したり、「目に見えない」特徴を見えるようにすることができます。この偏光の量子化は、Sony の Polarsens テクノロジーなどを使用すると、非常に容易に実現されます。そこで、Sony IMX250MZR モノ Polarsens センサーを搭載した IDS の GV-5080CP-P (GigE Vision) または U3-3080CP-P (USB3 Vision) などのカメラを使うと偏光情報を 1 つの画像で取得できます。
4 方向直線偏光子を備えた IDS カメラ
Sony IMX250MZR モノ偏光センサー搭載 IDS 偏光カメラには、GigE Vision と USB3 Vision バージョンがあります。
技術データシート
- U3-3080CP-P-GL Rev.2
- GV-5080CP-P-GL
は、Web サイトからダウンロードできます。
偏光情報を画像コンテンツと一緒に取得するには、画像 1 枚で十分です。偏光光源や偏光フィルターなどの特殊アクセサリは不要です。これは Sony センサーの画期的な設計によるものです。
フォトダイオードとマイクロレンズの間にある「4 方向偏光子」は、直線偏光フィルターの原理により、4 方向の偏光 (0°、45°、90°、135°) でセンサーの未加工画像を 1 つの画像に生成します。偏光フィルターの各角度で、異なる強度が測定されます。4 つの異なる偏光フィルターを持つ、2x2 クラスターにおける 4 つの隣接ピクセルが「計算単位」となります。センサーの実際の 5 メガピクセルが、偏光角度ごとに 4 つの小型画像に分割されますが、画像コンテンツは同じ瞬間を捉えています。つまり、偏光情報を計算するための最適な出力データがカメラに提供され、それも撮影のたびに提供されることになります。
4 つの単独画像は 1.26 MP で解像度と輝度は低下しているので、以降の境界領域における偏光決定において結果の値のノイズが増加します。そのため、画像の撮影時には適切で十分な照明を確保してください。
各センサーの計算単位の偏光状態に対する数学的計算の基礎となるのが、ストークスベクトルです。4 つの成分を利用して、偏光度および偏光角度を測定した 4 つの光強度から決定できます。
オンカメラ偏光
産業用カメラは、デジタル処理のための画像素材を提供します。画像センサーの RAW 形式は後続する画像処理に最も最適なものですが、直接的な視覚検査などには適していません。前処理によって、重要で必要とされることの多い結果を直接計算でき、時間と PC の計算負荷も節約されます。Sony Polarsens テクノロジーと組み合わせると、他の便利な画像形式をセンサー RAW 形式に加えて使用できるようになり、PC での画像処理に最適な出力データを提供できます。
カメラファームウェアバージョン 2.4 以降、uEye CP 偏光カメラは、ピクセル前処理で「4 方向偏光子」の RAW 画像データを使用して、1 つの画像撮影から、偏光の方向と度数を独立して決定できます。このため、偏光データで新しい画像情報を計算して視覚化して、コントラストの視覚化なども可能になります。事前定義された選択可能な画像成分により、ユーザーはクリック 1 回で、不要な光の反射をセンサー RAW データから直接除外したり、画像を PC に転送するまえにほぼ完全な暗闇でも反射物を視覚化したりできます。
「オンカメラデータ前処理」の長所
- とても簡単 - カメラから最適なデータを受け取ってさらに処理する、画像処理エンジニアの作業を容易にします。
- 効率的 - PC のリソースを節約します。カメラと PC で作業を効率的に共有します。
- Vision 準拠 - カメラからの結果データは、ソフトウェアを追加したり特殊ソフトウェアを用意しなくても、任意の標準ビジョンアプリケーションで使用できます。
アプリケーション固有の画像フォーマット
最も重要なアプリケーション向けに、8 つの画像フォーマットから選択でき、リアルタイムでカメラの FPGA で計算されます。
Raw
画像フォーマット:8 ビットモノ、2448 x 2048 ピクセル (フルセンサー解像度)
RAW モードでは、カメラはフル 5 MPixel 解像度で前処理せず、8 ビットグレースケール画像としてセンサーデータを提供します。異なる偏光ピクセルフィルターの強度値により、直線偏光の偏光角度と偏光度の両方を決定できます。このため、カスタムアプリケーションの PC ベースの評価と計算では RAW データ形式がベースとなります。
Intensity
画像フォーマット:8 ビットモノ、1216 x 1024 ピクセル (センサー解像度の 1/4)
「強度」は、0°、45°、90°、135°の 4 つの偏光方向を持つ「4 方向偏光子」を通過した後の測定された 4 つの光強度の平均値です。m = (I_0° + I_45° + I_90° + I_135°) / 4 で計算されます。
画像フォーマットは偏光情報のない輝度を表現します。このため、通常のモノラル画像センサーでは撮影できない強度値に相当します。
IntensityNonPolarized
画像フォーマット:8 ビットモノ、1216 x 1024 ピクセル (センサー解像度の 1/4)
この強度値 (I_min) は画像の偏光されていない光の比率に相当します。光の偏光部分は I_min = m * (1 - DoP) で計算されます。この画像フォーマットでは、光の反射は効果的に削減されます。
IntensityOnlyPolarized
画像フォーマット:8 ビットモノ、1216 x 1024 ピクセル (センサー解像度の 1/4)
このグレー値画像 (I_amp) には、光の偏光部分のみが含まれます。I_amp = I_max - I_min を使用して計算されます。偏光された光がない部分は、暗くなります。個々のピクセルの現在の輝度が、画像にすべて統合されます。露出の変更が表示に影響します。これが偏光度 (DoP) モードとの違いになります。ここでは絶対値が出力され、相対的な比率は使用されません。
DegreeOfPolarization (DoP)
画像フォーマット:8 ビットモノ、1216 x 1024 ピクセル (センサー解像度の 1/4)
偏光度は、全体的な強度に対する偏光の比率を示します。相対値であるため、DoP の計算はクリッピングが発生しない限り、露出の変更の影響はわずかです。
- 偏光度が高くなると、以降の計算と分析に適切な角度を決定しやすくなります。
- DoP 値が低すぎる場合、偏光情報が分析にとって意味を持たなくなります。画像情報に多数のノイズが含まれます。
偏光があるアプリケーションでは、DoP は結果の品質の重要な値、またはシーンの適切な照明条件の基準に対する優れた尺度となります。
PolarizationAngle
画像フォーマット:8 ビットモノ、1216 x 1024 ピクセル (センサー解像度の 1/4)
この画像モードでは、すべての計算された偏光角度 (「4 方向偏光子」ごとに 1 アングル、2x2 ピクセル) がグレースケール画像として表示されます。角度は内部的に変更され、0 ～ 180°の範囲で出力されます。つまり、負の出力値はありません。
偏光された光がほとんどない領域では、角度の結果に大きな差が出ます。ノイズにより、「4 方向偏光子」からの角度情報をきれいに抽出できないからです。このため、安定した角度計算ができないことがよくあります。
計算された偏光角度をアプリケーションで使用する場合、事前に偏光度 (DoP) の確認を推奨します。
角度と偏光度情報の組み合わせ
HSV カラースペースを使用して、複数の情報を持つ組み合わせ画像フォーマットをカメラで生成できます。たとえば画像内の角度と偏光度を結びつけると、特に結果をうまく解釈できます。また、偽色で表示されるので、関係が視覚化されます。
特に、ノイズのために角度情報をきれいに抽出できない場合、偏光した光をほとんど得られないため、有意義な処理に使えるような結果は得られなくなります。この場合、組み合わせ形式で、角度値に加えて同じ画像で検証のための尺度が提供されます。
IDSHeatMap
画像フォーマット:24 ビット RGB、1216 x 1024 ピクセル (センサー解像度の 1/4)、HSV ベース (H = 角度、V = DoP、S = 100%)
この組み合わせ形式では、決定された偏光度が偏光度と組み合わされます。結果の画像の輝度は、DoP によって変更されます。その結果、暗い領域は、偏光成分が非常に低いために角度計算が不正確で、角度情報が信頼できないことを示します。明るい領域では、非常に大きな偏光成分があり、角度の決定の信頼性が高いことを示します。
IDSColorMap
画像フォーマット:24 ビット RGB、1216 x 1024 ピクセル (センサー解像度の 1/4)、HSV ベース (H = 角度、V = abs (mono - DoP)、S = DoP)
この組み合わせ形式では、決定された偏光度も偏光度と結びつけられます。ただし、実際のグレー値が計算に含められます。ここでの輝度はグレースケール画像と DoP との差に対応します。これにより、明るいモノラル画像領域と高 DoP により、全体的な画像の輝度が高くなります。輝度情報も高 DoP 情報もない領域のみが、暗いか、黒くなります。さらに、DoP が彩度として使用されます。画像領域内の濃い色は偏光された光の割合が高いことを示します。
IDS Vision Cockpit による構成
IDS 偏光カメラの画像フォーマットは、任意の GenICam 準拠ソフトウェアで設定して使用できます。IDS Vision Cockpit を利用したカメラパラメーターの構成を説明します。IDS Vision Cockpit は、IDS のソフトウェア開発キット IDS peak とともにインストールできます。画像フォーマットは、ImageFormatControl ノードで個別に選択可能な画像コンポーネントとして用意されています。カメラをファームウェア 2.4 で開いた場合、検索フィールドにたとえば「Component」と入力して設定を見つけられます。
以下の手順で、IDS Vision Cockpit で個々の画像フォーマットを有効にします。
- 画像撮影を無効にする
- 目的の画像フォーマットを [Component Selector] で選択する
- 画像フォーマットを [Component Enable] で有効にする
- 画像撮影を再開する
カメラが必要な画像フォーマット(.[8 Bit Mono] や [24 Bit RGB] など) に自動的に切り替わります。
IDS peak でのプログラミング
新しい画像フォーマットを固有のアプリケーションで使用するために必要なソースコードは、ほんの数行です。以下のソースコードブロックは、プログラミング言語 C# を使用した IDS peak での画像フォーマットのプログラミングを示しています。
すべての画像コンポーネントの取得
var imageComponentsNode = nodeMapRemoteDevice.FindNode<peak.core.nodes.EnumerationNode>("ComponentSelector");
var availableImageComponents = imageComponentsNode.Entries();
foreach (var entry in availableImageComponents)
{
display(entry.StringValue());
}現在アクティブな画像コンポーネントの照会
var activeImageComponent = "";
foreach (var entry in availableImageComponents)
{
imageComponentsNode.SetCurrentEntry(entry);
if (nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").Value() == true)
{
activeImageComponent = entry.StringValue();
}
}
display(activeImageComponent);画像コンポーネントの選択と有効化
imageComponentsNode.SetCurrentEntry("IDSHeatMap");
nodeMapRemoteDevice.FindNode<peak.core.nodes.BooleanNode>("ComponentEnable").SetValue(true);まとめ
偏光は、肉眼や「標準」画像センサーでは見えない物体属性を認識できるようにする、光の特性です。このため、反射面や透明な面を扱う用途でのデジタル画像処理にとって重要なツールとなっています。SONY IMX250MZR センサーおよびオンカメラピクセル前処理により、IDS 偏光カメラは、1 回の画像撮影で画像シーンの必要なすべての偏光情報を決定し、この情報を異なるピクセル形式でホスト PC に提供して処理を進めたり直接評価したりできます。
FPGA アクセラレーションアルゴリズムにより、単にセンサーデータを提供する以上の機能がカメラに実現します。GigE または USB3 Vision インターフェースを介して任意の GenICam 準拠アプリケーションで使用できる有意義な評価をリアルタイムで提供します。IDS 偏光カメラは、画像処理の一部となり、ホスト PC の計算負荷を削減します。
画像を PC に転送する前に 1 回クリックするだけで物体属性を視覚化できる容易さを、ご自分でお確かめください。