テクニカルティップス

柔軟でダイナミック: 適応型ホットピクセル補正の使用

画像にドットが表示されるのは、なぜだろうか。こうした疑問を感じるなら、それはおそらくホットピクセルのせいです。標準的な画像センサーには一定数のホットピクセルが存在しており、他のピクセルよりも明るく、または暗く表示されるため、画像上の欠陥と認識されます。どれほど入念にセンサーを製造しても、ホットピクセルをセンサーから完全に除去することはできません。

カメラの製造時に、最も輝度が高いホットピクセルが検出され、カメラのメモリに永続的に保存され、その後ホットピクセル補正が実行されます。ただし、このプロセスはテスト実行時にしか対応していません。露出時間の長期化、ゲインの増加、またはセンサー温度の上昇に伴ってホットピクセルの表示数も増加するため、カメラメモリに格納されていないホットピクセルも、画像の内容によっては画像の不備として表面化します。こうした要因の結果、校正した数よりも多くのホットピクセルが表示されることになります。

それなら、どのような動作環境であっても、使用中に直接ホットピクセルを動的に検出できたら良いのではないでしょうか。このアイデアがついに、「適応型ホットピクセル補正」のおかげで実現しました。この機能は IDS Software Suite バージョン 4.82 で可能になりました。

背景

ホットピクセルは、反応しないか、入射光に線形に反応しないセンサーピクセルです。彩度、感度、ノイズ、その他のピクセル特性が、隣接するピクセルと異なっています。こうした「欠陥」により、ホットピクセルは画像に見苦しい不備として現れます。

ホットピクセルは、長時間の露出、高ゲイン設定、センサーの動作温度が高い場合によく発生します。

カラーセンサーでのホットピクセル (左) と「補正」された画像 (右)
カラーセンサーでのホットピクセル (左) と「補正」された画像 (右)

ホットピクセルの検出と補正は、ピクセル操作によって行いますが、これには多大な処理能力が必要となります。このようなタイプのデータ補正に対して効果的なさまざまな手法がありますが、リソースに高い負荷がかかります。どの手法がもっとも効果的かは、カメラまたは用途によって決まります。

ホットピクセル補正

uEye Cockpit でのホットピクセル補正
uEye Cockpit でのホットピクセル補正

IDS Software Suite には 3 種類の補正オプションがあり、お使いのカメラに応じて選択できます。uEye Cockpit で、さまざまな手法をテストして、用途に合わせて設定できます。このためには、uEye Cockpit で [uEye] > [Properties] からカメラのプロパティを開きます。ホットピクセル補正は [Miscellaneous] タブで設定できます。

[Hotpixel correction] オプションは、不揮発性カメラメモリで定義されている静的ホットピクセルのリストに基づいて、補正を起動します。[Sensor hotpixel correction] オプションは、センサーがサポートするモデルの内部補正を有効にします。3 番目のオプションは、新しい適応型ホットピクセル補正機能を起動します。

ホットピクセル補正

IDS カメラの製造完成間際に、カメラにホットピクセルがないかテストされ、ホットピクセルリストが不揮発性カメラメモリに定義されます (校正)。ホットピクセル補正が有効な場合、このリストにあるピクセルだけが静的手法で補正されます。しかし、実動作中に、定義済みのホットピクセルリストにないその他のホットピクセルが現れることがあります。

この場合、uEye Hotpixel Editor を使用して校正中に作成されたホットピクセルリストを拡張できます (テクニカルティップス「uEye Hotpixel Editor によるホットピクセル補正」を参照)。

センサーのホットピクセル補正

一部のセンサーには、センサー固有のホットピクセル補正機能も内蔵されています。このようなホットピクセル補正は全自動で、CPU に余分な負荷をかけません。画像データとしてセンサーを通過する前にホットピクセルが検出され、補正されます。

適応型ホットピクセル補正

新しい適応型ホットピクセル補正機能は IDS Software Suite 4.82 で利用でき、アプリケーションの実行中にホットピクセルを動的に検出して補正できます。この手法が「適応型」と呼ばれるのは、ピクセル値が方向と強度の面で周囲のピクセルに適合するよう、効果的に調整されるからです。

適応型ホットピクセル補正の使用

新しい適応型ホットピクセル補正機能には、2 つの実行モードがあります。

[Detect once] モード

このモードでは、検出されたホットピクセルがメモリに一時的に保存されます。適応型ホットピクセル補正は、ホットピクセルの動的検出が実行されなければ、このリストを使い続けます。その結果、CPU 負荷が上昇することはありません。このモードは、動的な調整を一切必要としない、照明条件が一定のすべての用途に適しています。

[Reset detection] ボタンを使用してホットピクセルリストをリセットし、次の画像でアプリケーションを「再校正」できます。このボタンは、[Detect once] モードでのみ使用できます。検出作業は、ホットピクセル検出時にセンサーを暗くすると、最も効果的になります。

このモードでシステムを再起動した場合、再起動後にリストはメモリに残りません。カメラを再度開くと、リストがないため、適応型ホットピクセル補正が有効になっている場合、ホットピクセル検出が自動的に実行されます。対象範囲 (AOI) が変更された場合も、そのたびに新しいリストが作成されます。

[Detect dynamically] モード

ホットピクセルリストは、各画像について動的に検出されます。したがって、適応型ホットピクセル補正は照明条件が変化しても効果的に対処できます。ただし、このモードでは CPU 使用率が高いので、フルフレームレートは達成できません。

補正されたホットピクセルの数が、追加情報として表示されます。[Detect once] モードでは、計算された値は、次に検出が実行されるまで変更されません。[Detect dynamically] モードでは、画像ごとに値が変更されます。

適応型ホットピクセル補正の感度

[Sensitivity] スライダーを使用して、ピクセルをホットピクセルとして検出する条件を指定します。デフォルト設定では、ホットピクセルは表示される前にセンサーノイズとして除外されます。例外として、検出されるホットピクセルが多すぎる場合や、補正の実行後にホットピクセルが表示されたままの場合、この感度を調整できます。

用途分野

適応型ホットピクセル補正は、長時間の露出、高ゲイン設定、高温など、工場出荷時の校正にのみ表示されるホットピクセルの排除に役立ちます。

露出時間が長い場合、フレームレートが高くても役に立ちません。この場合、各画像に対して動的な適応型ホットピクセル補正が便利です。[Detect dynamically] モードでは、ホットピクセルが画像ごとに再計算され、補正されます。

高フレームレートを実現するには、適応型ホットピクセル補正を [Detect once] モードで使用します。すると、ホットピクセルリストが作成され、メモリに保存されます。この後、このリスト内のピクセルだけが、ホットピクセル補正によって補間されます。必要に応じて、[Run once] ボタンを使用してリストを再生成し、まったく異なる画像の内容を処理したり、一定期間ごとにリストを更新したりできます。

各種手法の比較

 

検出

補正

uEye モデル

ホットピクセル補正

カメラ製造時に自動的に 1 回
→ 永続的、限定的なピクセルリスト
uEye Hotpixel Editor を使って手動で拡
張可能

画像ごと
静的リストを使用
非適応型
CPU 負荷が増加

全モデルで使用可能

適応型ホットピクセル補正

ONCE
いつでも 1 回可能
→ 一時的、制限のないピクセルリスト

画像ごと
動的リストを使用
適応型補正
CPU 負荷が増加

全モデルで使用可能

DYNAMIC
画像ごと
→ 一時的、制限のないピクセルリスト
CPU 負荷が増加

センサーのホットピクセル補正

センサー依存

センサー依存

特定モデルのみ

 

  • 適応型ホットピクセル補正はセンサー内蔵補正と同等の効果がありますが、ソフトウェアで機能するため、どのカメラでも使用できます。ホットピクセルは、露出時間が長くなると出現頻度が増加するので、多少の CPU 負荷の上昇は無視できます。
  • ホットピクセルリストが動的に生成されるので、どのような運用状況でも、システムはすぐに最適な状態に「校正」されます。
  • 適応型補正によって、特にエッジ部分の出力が改善され、画像の内容の干渉も最小化されます。

適応型ホットピクセル補正によるエッジ部分の改善
適応型ホットピクセル補正によるエッジ部分の改善

まとめ

弊社の新しい適応型ホットピクセル補正機能により、さまざまな用途でホットピクセルを処理する自由度が一層高まりました。さらに、適応型補正はアプリケーション内で直接実行できるので、使用条件に合せて最大限の最適化が可能になります。

適応型ホットピクセル補正で最適な結果を得るには、以下の点に注意してください。

  • [Detect dynamically] モードで、ホットピクセル補正は画像ごとに実行され、これに伴って CPU 負荷が上昇します。特定の状況では、このモードでフルフレームレートは達成できません。
  • ピクセル数が 1 ~ 4 の反射など、高コントラストの小さな画像構造は、ホットピクセルであると検出されて補正されることがあります。こうした動作を防ぐには、[Detect once] モードの使用を推奨します。
  • 適応型ホットピクセル補正は、サブサンプリング、ビニング、スケーラーと併用できます。
  • 現在、適応型ホットピクセル補正は、ソフトウェアカラー形式または RAW カラー形式でのみ使用できます。


ホットピクセル補正のプログラミングの詳細については、uEye のマニュアル (https://jp.ids-imaging.com/manuals-ueye-software.html) を参照してください。