カラーセンサーの解像度を増加
UI-3590 カメラモデルで使用されている 18 メガピクセルセンサー AR1820HS は、カラー専用センサーとして onsemi から発売されました。ベイヤーフィルターによって、事実上センサーの定格解像度の 1/4 程度でカラー画像が得られます。これは、カラー情報が隣接する 4 つのピクセルから取得されるからです。
ただし、各ピクセルを使用するには、センサーを RAW データ形式 (ベイヤー補間なし) で動作させるには不十分です。ベイヤーマトリックスによって、個々のピクセルの輝度について異なる解釈が行われます。
適正なパラメーター設定と適切な光源を使用することで、カラーセンサーを「完全な」モノクロセンサーとして使用して、解像度を飛躍的に高める方法を紹介します。
背景
18 MP onsemi AR1820HS などのデジタル画像センサーの原理は、カラー情報ではなく、輝度情報のみを取得するというものです。そのため、カラーセンサーの製造時にカラーフィルターが各ピクセルに適用されます。これをベイヤーマトリックスと言います。
4 つのピクセルのうち、2 つのピクセルには緑のカラーフィルター、1 つのピクセルには赤のフィルター、1 つのピクセルには青のカラーフィルターが割り当てられます。この色配置は人間の視覚に対応し、ベイヤーマトリックスと呼ばれています。ピクセルが表すカラー情報は 1 色のみです。
各ピクセルの完全な RGB 値を得るには、適切なアルゴリズムを使用して、欠けている原色を隣接する 4 つのピクセルから補間します。この色補間では、2 つの隣接する同じ色のピクセルでは色の違いはわずかであると仮定しています。厳密に言えば、ベイヤーマトリックスを適用したセンサーの解像度は、元のセンサーの 1/4 にしかなりません。
センサーのモノクロモード
ベイヤーマトリックスをモノクロモードで見えなくすることはできませんが、次の 2 つの解決策によって、用途の性質に応じて目的の結果を達成できます。
1) 「グレーシーン」の場合
18 MP カラーセンサーを白黒シーンでモノクロモードで使用する場合、やはり広帯域光源 (白色光) を使用する必要があります。これはセンサーのベイヤーマトリックスが原因です。このセンサーでは、RGB フィルターレイヤーが使用されているため、モノクロ (単色) 光によって個々のピクセルが、光の波長に応じて、情報を伝達しないか、ほとんど伝達しなくなります (図 2 を参照)。これによって、個々のピクセルの輝度について異なる解釈が行われます。この場合、RGB 強調を R、G、B ごとに個別に校正する必要があります。すると、すべてのピクセルについてモノクロセンサーと同じ輝度が得られます。
RGB 強調の校正がないと、ベイヤーマトリックスがはっきりと見えます (左)。<br> RGB 校正を行った後 (RGB ヒストグラムを参照、右)、モノクロセンサーと同様に輝度が均一になります。
注意: この RGB 校正は、特定の光源と「グレー」シーンでのみ有効です。光源 (波長) が変化すると、RGB 強調要素を再調整する必要があります。
uEye Cockpit を使用してベイヤーマトリックスを「見えなくする」よう切り替える方法
- 白色光源でシーンを照らします。
- オプション [ベイヤRGB表示] でヒストグラムを表示します。
- 画像で露出過多 (クリッピング) になる部分が大きくならないよう、露出時間を選択します。これは多数のピクセルの値が 255 の場合、ヒストグラムで確認できます。対策例として、AES ([AES / AGC] タブ) を使用して 128 に調整します。
- その後、AWB (自動ホワイトバランス) を [グレイ ワールド] に修正します。ヒストグラムで、カラー曲線が互いに重なる様子を確認できます。
- 8 ビット RAW モード ([フォーマット] タブ) を選択します。ベイヤーマトリックスが見えなくなります。
- 見える場合は、RGB 強調要素を手動で調整します ([画像] タブ)。
校正後、ベイヤーマトリックスは「モノクロ」シーンでは見えなくなります。その一方で、カラーの物体をシーンに取り込むと、ベイヤーマトリックスはその物体上でのみ表示されます。
RGB 校正の後、ベイヤーマトリックスは画像のカラー部分でのみ表示されます。RGB フィルターレイヤーが光の波長に応じて情報を伝達しないか、ほとんど伝達しないからです(図 2 を参照)。
2) 「カラーまたはグレーシーン」の場合
対象用途でカラーシーンを取り扱う場合、個々のベイヤーピクセルの輝度感度は色成分の変動に応じて常に変化します。この状況でも、完全なモノクロモードを実現する方法があります。解決方法として、18 MP On Semiconductor AR1820HS のカラースペクトルを使用します。
波長がおよそ 900 nm を超えると、個々のピクセルにおけるカラーフィルターのスペクトル特性は類似したものになります。このしきい値を超えると、センサー上のすべてのピクセルは入射光に対して事実上同じ反応を示します。これは専用モノクロセンサーとまったく同じです。つまり、カラーシーンでもグレーシーンでも、この手法を使ってベイヤーマトリックスを見えなくすることができるのです。
上記のセンサーのスペクトル特性を使用できるようにするには、次の点を確認する必要があります。
- 定義された照明条件を確保します。900 nm よりも短い波長の光は、できるだけ遠ざけておきます。
- GL フィルター (ガラス) を指定して AR1820HS センサー搭載 uEye カメラを注文します。通常このセンサーと一緒に注文される HQ フィルターは、ここで必要とされる長波光を遮断します。それに対して、GL フィルターは 900 nm を超える光をほとんど減衰させずに透過させます。これによって、可能な限り最大強度の信号がセンサーに到着します。
適切なレンズ
上記のような条件で、AR1820HS 搭載 uEye カメラをモノクロモードで使用すると、カラーモードをはるかに超越する画像解像度で、すべての要件を満たします。しかし、カメラにはレンズが使用されることが圧倒的に多いものです。この場合、18 MP という達成可能な定格センサー解像度について、システム全体における解像度の能力において、レンズが限定要因になります。
レンズの光学解像度は一般にメガピクセルで指定されます。この数値は、レンズが設計対象とする最大のセンサーフォーマットに関連し、レンズが伝送できる構造の粒度を決定します。言い換えると、センサーフォーマットが小さくなると、レンズに必要な解像度が詳細になります。光学解像度が不十分なレンズを使用している場合、センサーピクセルのスキャンが不十分になります。表現できる細部が、多くの隣接するピクセルに分散されます。その結果、センサー解像度で可能な画像のシャープネスを完全には達成できません。ただし、対応するセンサーよりも画像への解像度が高いレンズを併用することは避けてください。画像に不要なエリアシングやモアレ効果が生じる原因となります。
実際的な方法としては、最も小さい細部を約 2 ピクセルで再現することを推奨します。全体として、適切なレンズの選定は再現レベルに依存しますが、使用するセンサーのピクセルサイズも大きく関係すると言えます。
まとめ
正しい設定と最適な環境条件 (定義された照明条件、適切なレンズ) により、onsemi AR1820HS の高い定格センサー解像度をモノクロモードで活用できます。広く市販されている 10 ~ 16 メガピクセルの適切な高解像度レンズで操作すると、対応するゲインを解像度で達成できます。以下に例を挙げます。
- 10 MP Lensation、B10M7224、2 mm、1/2.3"
- 16 MP Lensation、B10M7224、1.2 mm、1/2.3"
IDS レンズ検索を使用すると、お使いの IDS カメラに適したレンズをすばやく簡単に見つけられます(https://jp.ids-imaging.com/ueye-lensfinder.html)。カメラモデルを選択してから、動作距離と被写体の高さまたは幅を入力します。IDS レンズ検索が、要件を満たすレンズを自動的に見つけます。弊社の営業チームも、適切なレンズの選定をお手伝いいたします。
弊社の UI-3590LE および CP カメラモデルに使用されている 18 MP onsemi センサーについての詳細情報は、弊社 Web サイトでご確認ください。https://jp.ids-imaging.com/store/products/cameras/ids-sensor-model/ar1820hs.html