技術記事

ローリングシャッターセンサー

コスト効果に優れた選択肢

画像センサーにはさまざまな特徴的な機能があります。CMOS センサーの登場以来、シャッターシステムはその中でも確実に知名度を高めてきました。シャッターシステムの利点と欠点を論じた記事は無数にあります。それでもこのトピックを取り上げる理由は何でしょうか。これまでのところ、以前よりも関連性が高まっているある側面については、ほとんど焦点があてられていませんでした。

それは、グローバルシャッターとローリングシャッターという、画像撮影の 2 つのモードを根本的に区別する理由は何かという点です。

1. 今日のセンサー

ローリングシャッターとグローバルシャッターの基本的な違いは、露出フェーズでの時間応答です。

グローバルシャッターセンサーでは、最初にすべてのピクセルコンテンツが時系列順にクリアされ、リセットレベルが測定されます。

すべてのピクセルが一斉に電子的に露光し、アクティブな画像撮影フェーズの開始がマークされます。露出フェーズの終了時には、荷電情報がピクセルの光感度のない領域に同時に保存されます。CMOS センサーでは、この情報はライン単位でグレースケール値に変換され、転送されます。

最新の CMOS センサーは高速なので、ピクセル情報を最大 24 レーンを同時に使用して逐次的に転送できます。これにより、FPGA、ASIC、または USB および Ethernet チップセットなど、下流の回路技術に対して大きな課題が生じます。

グローバルシャッターピクセルで撮影された画像は、スナップショット、すなわちポイントインタイムの画像であるため、動きによって生成されるアーチファクトがありません。

2. 撮影と読み取り

現在は小型化を推進しながらピクセル数を増加させるという傾向にありますが、各ピクセルが多数のピクセルコンポーネントを含むため、大きな妥協が必要になります。スマートフォンで 2 桁のメガピクセル解像度を実現するため、個々のピクセルをさらに小型化するには、ピクセルサイズを 1 µm レベルにまで縮小する必要があります。これは、バッファーなどのピクセルコンポーネントを体系的に省いていかなければ達成できません。すると、特定の時点でのグローバル撮影は、もはや不可能ということになります。

解決策として、露出の収容を情報の直接読み取りによって判定します。画像はローリング方式で撮影され、ピクセル情報はライン単位で順に転送されます。そのため、「ローリングシャッター」と呼ばれています。

センサーが毎秒 60 枚の画像を取得する場合、読み取りと露出の終了時間は最初のラインから最後のラインまで 16 ms になります。つまり、画像の上半分の露出は、下半分よりも早く停止します。すべてのラインで同じ露出時間が適用されるようにするには、露出の開始を適宜ずらす必要があります。ピクセルはラインごとに順に露光します。

高度道路交通システム (ITS) など、被写体が移動する場合、画像は正確に再現されません。

3. 画像の転送

第 1 世代 CMOS センサーには、画像データを出力する並列インターフェースがありました。処理できるデータ量はせいぜい毎秒 100 メガピクセルでした。5 メガピクセルセンサーの場合、毎秒約 20 枚の画像、画像 1 枚あたりの読み取り時間 50 ms に相当します。そのためローリングシャッターの効果ははっきりと目に見えます。これだけ時間があれば、自動車は十分な距離を走行するからです。

新しい CMOS センサーは 5 ~ 10 倍高速化されています。読み取り時間も長くなります。現在の基準では毎秒 500 メガピクセル、毎秒 120 または 240 枚です。これは新しい変換テクノロジーと電気インターフェースが多大な貢献をしています。240 fps で 4 ms のシャッター時間を実現し、処理が大幅に向上しています。

以前のバージョン(左翼的)と最新バージョン(右方)のローリングシャッターセンサーのシャッター速度の比較。レーシングカー側面の文字を読み取って解析できます (道路車両のスケーリング速度は約 205 kn/h)。

シャッターの方向が物体の移動方向と一致していると、事実上、画像には目障りな幾何学上の歪みは見られません。垂直取り付けローリングシャッターカメラは、ウェブ検査システムで標準的に取り入れられるようになりました。

カメラに対して垂直に回転する被写体のバーコード認識で、読み取れないコードが発生します (左)。解決策として、カメラを 90 度回転させます。すると、バーコードを読み取って解析できます。

交通監視システムは、一般に橋や信号機に取り付けられており、カメラは近寄ってくる物体に向けられています。同じことが、OCR や物体認識向けのコスト効果の高いセンサーについても行われています。

逆に、バスや電車の中、ハンドヘルドバーコードスキャナーなど、静止物と移動するカメラの場合にも、同じことが当てはまります。現在、コストがかかるグローバルシャッターセンサーはこのような用途ではそれほど使われていません。

4. ローリングシャッターセンサーのメリット

ローリングシャッターセンサーには、グローバルシャッターセンサーよりも他にも優れた点が 2 つあります。

1. バッファーを排除したため、画質が向上しています。露出時間が終了すると、輝度値がグローバルシャッターピクセルのメモリセルに「保存」されます。最新のセンサーでは、メモリセルは電子、すなわち実電圧 (変換済み) を格納できます。時間が経過し、温度が変化すると、この保存された情報は劣化します。最後のラインは、フレーム全体が最終的に取得されるまで待機するからです。

センサーの設計によっては、ホットピクセルの形成頻度が高まり、ブラックレベルと画像ノイズが増加します。それに対してローリングシャッターは、こうした中間ステップを行わず、輝度情報を直接変換します。

2. ゴースト画像がありません。グローバルシャッターセンサーではゴーストまたはファントムイメージが生成されることがあり、屋外において自然光で撮影した画像に歪みが生じます。それは、10 ~ 30 µs の非常に短い露出時間によるきわめて高いレベルの露光は、あらゆるセンサーにとって極端な条件となるからです。

バッファー内の情報も、画像撮影と読み取りの間に、間接的に露光されます。フォトダイオードからの電子はここを通過し、余分な露光が発生します。この結果がゴーストイメージで、物体の移動が追跡され、露出時間の終了後に画像に重ね合わされます。この種のアーチファクトは、ローリングシャッターセンサーでは発生しません。

左の画像は、露出時間が非常に短く、ゲインが大きいグローバルシャッターセンサーを示しています。明るい点の縞がはっきり見えます。ローリングシャッターセンサーでは、画像 (右) に縞はありません。

5. Sony STARVIS センサー

Sony の新しい STARVIS シリーズは、画質を体系的に最適化したセンサーファミリーです。STARVIS センサーは毎秒わずか 2 電子という、極めて低いノイズを実現します。ピクセル自体のコンポーネント数が少ないので、大型のフォトダイオードで電荷量を増加できます。この大容量とセンサーの低周辺ノイズにより、非常に高いダイナミックレンジが達成されます。これは多くの用途にとって最も重要なパラメーターの 1 つです。

STARVIS ローリングシャッターセンサーのもう 1 つのメリットは、長時間の露出を選べることです。IDS の実装では、センサーは 120 秒の露出時間を達成しました。これにより、顕微鏡や分析など、暗い環境であるために長い露出時間が必要となる、新たな分野での用途が可能になります。物体の移動速度はこの場合、一般には無関係で、高価なグローバルシャッターセンサーは使われなくなっています。

ローリングシャッターセンサーを搭載した IDS カメラに共通する用途は、多岐にわたる分野での品質保証です。たとえば、試料を配置したりマシンを目視でセットアップする、食品を仕分けする前に厳密なサイズおよび品質検査を実施する、プリント加工およびコーティング処理中に表面を分析および検査するなどのワークフローにカメラを統合できます。これらのセンサーは、医療、生物学、科学、交通、キオスク、読み取りおよび検知などの分野でも、有効であることが実証されています。

6. まとめ

Sony STARVIS シリーズの IMX178 と IMX290 を、IDS の USB 3.0、 USB 3.1 Gen.1 および GigE インターフェース搭載の産業用カメラに実装すると、中規模から大規模の価格に制限のあるプロジェクトに最適な、非常に高品質のソリューションを実現します。特に USB 3.1 Gen 1 uEye LE ボードレベルカメラと組み合わせて使用すると、個々の用途に合わせてカスタマイズできる、多彩なオプションが手に入ります。たとえば、M12、C-/CS マウント、ベアボードバージョンから選択できます。

カメラモデル (USB)
UI-3860CP
UI-3860LE
UI-3880CP
UI-3880LE
センサー
Sony IMX290
(2.12 MP)
Sony IMX178
(6.41 MP)
SNR 40.5 dB/ 6.7 ビット 41.2 dB/ 6.8 ビット
QE @ 533 nm 78% 72%
直線性誤差 0.04% 0.18%
ダイナミクス 70.5 dB/ 11.7 ビット 71.3 dB/ 11.8 ビット
ダークノイズ 2.7e-/s 2.9e-/s
 
EMVA 1288 測定によって、Sony STARVIS センサー搭載 IDS カメラの卓越した機能が証明されました。