RGBごとに個別のセンサーを使用して電話のカメラを改善できますか?


7

新しいHuawei P20 Proのマルチカメラシステムのすべてを読んでいて、特に電話などのコンパクトな形で、複数のカメラを使用して画質を向上させる方法を本当に考えました。

ベイヤーフィルターを調べたところ、各フォトサイトがRGBコンポーネントの1つの強度を収集すると、他の2つのRGBコンポーネントの強度も破棄されることがわかりました。そのため、デモザイキングを使用して、破棄された強度を概算する必要があります。

デモザイキングに頼る代わりに、それぞれがRGBの1つだけを担当する3つのカメラを持つカメラシステムを作成するとどうなるでしょうか。デモザイキングは不要です。色の近似がなくなるため、最終的な画像の品質が大幅に向上しませんか?

P20 Proはすでに3台のカメラで問題がないように思えるので、それは本当に高価でしょうか?


1
バイエルのマスクされたセンサーで考えるほど実際に失うことはありません。各カラーフィルターの下のセンサーの応答は、他の色の光の一部を記録します。これは、B&Wフィルムでカラーフィルターを使用して3つの異なる色調範囲を取得するのとよく似ています。それはです差分フィルタを用いて、各グリッド(「色を作成し、」正確にどのように人間の視覚もある)「カラー」情報を補間することを可能にする、異なるカラー応答を中心方法の間です。詳しくは、RAWファイルに1ピクセルあたり3色を保存するか、1色のみを保存するか
マイケルC

光の約2/3が失われます-3つのチャネルがあり、数学者にとって見栄えをよくするためにスペクトルの1/3を絶対にカットする必要があるからではありません。フィルターは人間の視覚を模倣し、同時に効率を最大化しようとします。最も一般的な妥協は、光の約1/2から2/3をフィルターで取り除くことです。これは、フィルターの透過率の下の領域を測定することで正確に計算できます。カーブ。魂のない数字を信用していない人のために;-)ここでは、勇敢な男がベイヤーフィルターを物理的に削除し、露出した領域の感度を上げています:goo.gl/tbCdMA
szulat

@szulatは、最高の50年代の範囲で効率を発揮する最高のセンサーの場合、実際には失われる光の2/3でなく、1/2未満です。
マイケルC

@MichaelClarkいいえ、報告されたQEは通常、「最良の」単一波長(緑など)のピーク効率を意味するため。その上に、波長にまたがるベイヤーフィルターの透過率を追加する必要があります。
szulat

1
@MichaelClarkは色について-はい!「希釈された」バイエルフィルターを作成して、フィルター処理をほとんど行わないことで、センサーに大量の光を入射させ、感度を上げることができます。ただし、チャネル情報を増幅することによって色情報を計算する必要があります。これは、ノイズを増幅することを意味します。通常のベイヤーセンサーよりも多くの光を使用するという理論的な利点があるにもかかわらず、低照度でfoveonセンサーまたはCMYセンサーがひどく失敗する理由の1つです。結局、誰もが古き良きレギュラーバイエルを使用しています。
szulat

回答:


6

あなたのアイデアはとても興味深いです。しかし、いくつかの非常に深刻な問題があります。

  1. 視差。センサーは相互にシフトするため、異なる画像を「見る」ことができます。そして、これら3つから1枚の写真を作成するプロセスは深刻な課題であり、大量の計算能力が必要になります
  2. スペース。携帯電話ではスペースがあまりないため、センサー、光学系、ケーブルを1つ追加することは不可能です。
  3. 価格。検閲と光学系を追加すると、価格が高くなります。そして特にこの市場はこの方向に非常に敏感です。最後の電話は主に話すためのものです(IMHO)
  4. 市場のニーズ。電話でさらに良い写真が欲しい人は何人でしょうか?
  5. クリーニング。さて、あなたは(たぶん)1つのレンズをきれいにし、それからあなたは3をきれいにします。

確かにこのリストは拡張できますが、これで十分であることを願っています

編集:センサーが1つの平面にある場合、ポイント1に関連します。これにより、センサーによってキャプチャされた画像がさらに "歪められます"。これは、クローズアップでは3つの異なる焦点システムが必要であることを意味します。


視差:多くの電話カメラは、P20 Proなどの複数のセンサーからの画像をすでにうまく組み合わせています。
Baseer

2
しかし、色で分けられていない...
ロメオ・ニノフ'19年

5

現代のスマートフォンの画像品質は、デモザイキングプロセスではなく、センサーの小さなサイズ、レンズ品質、回折によって制限されます。

したがって、このアイデアは役に立たないようです。

前述のP20はモノクロカメラを特徴としており、架空の個別のR、G、Bカメラと同じ種類の画像レジストレーションの問題(視差、チャンネル間の画像の不整合)が発生することに注意してください。そして、目標は、色解像度ではなく低光感度を上げることでした。色の解像度は問題ではなく、誰も気にしないからです。


5

多くのビデオカメラはあなたが提案したことをすでにやっています。ただし、レンズとセンサーの間にビーム分割システムを使用して、各センサーに到達する光の量を、バイエルマスクフィルターを使用する場合とほぼ同じ比率で本質的にカットします。

非常に高い精度を維持しながら3つの異なるレンズでそれを行うことの最大の問題は、完全に一致するレンズのセットを作成する複雑さとコストです。これは解決できないわけではありませんが、このソリューションは、ベイヤーマスクとデモザイキングを使用するよりも高価で、計算が複雑になる可能性があります。

デモザイキングに頼る代わりに、それぞれがRGBの1つだけを担当する3つのカメラを持つカメラシステムを作成するとどうなるでしょうか。デモザイキングは不要です。色の近似がなくなるため、最終的な画像の品質が大幅に向上しませんか?

これらの3つのカメラはそれぞれ、「カラー」画像を生成するためにそれぞれの比較の違いを使用するために、その前に単色フィルターが必要です。これは、Bayerマスクセンサーの小さなフィルターによって吸収/反射される光と同じ割合が、3つの独立したセンサーのそれぞれの前にある大きな単色フィルターによって吸収/反射されることを意味します。それぞれの前に異なるカラーフィルターがなければ、それらはすべて同じデータを生成する同一のモノクロカメラになります。

ここに「色」についての事があります:自然には「色」のようなものはありません。光には波長だけがあります。可視スペクトルの両端の電磁放射源にも波長があります。可視光と電波などの他の形態の電磁放射との唯一の違いは、目が特定の波長の電磁放射に化学的に反応し、他の波長には反応しないことです。それを超えて、「光」と「電波」または「X線」の間には実質的に何も違いはありません。何もない。

私たちの網膜の錐体は、それぞれが電磁放射線の異なる波長に最も反応する3つの異なるサイズで構成されています。「赤」と「緑」のコーンの場合、ほとんどの波長の光に対する応答にほとんど違いがありません。しかし、赤と緑の錐体の違いとより高い応答の違いを比較することにより、私たちの脳は、光源が最も強いか、赤または青に向かってどのくらいの方向に補間することができます。

色は、網膜内の3つの異なるサイズの錐体の相対的な反応を比較し、錐体の各セットが同じ光に反応する異なる量に基づいて「色」の知覚を作成する、私たちの眼の脳システムの構成です。人間が知覚する色には、単一波長の光では作成できない色がたくさんあります。たとえば、「マゼンタ」は、可視スペクトルの一方の端の赤色光と可視スペクトルのもう一方の端の青色光に同時にさらされたときに私たちの脳が作成するものです。


はい、同様のシステムがすでに存在していることに注意してください。しかし、あなたが言及する「最大の問題」はもはや本当の問題ではなく、すべてがソフトウェアで簡単に修正できるようになりました。P20 proなどの携帯電話、またはさらに贅沢な「Light 16」で証明されています。実際には、完全に一致するレンズは存在できません。なぜなら、常に視差があり、そのような画像は毎回頻繁に処理される必要があるからです。
szulat

3
そして、電話という意味でのもう1つの問題はサイズです。このような分割システムには、通常は電話で使用できない深さが必要です
Romeo Ninov

2
ビームスプリッターの深さの問題は言うまでもありません。しかし、要点は、ビームスプリッターが各センサーに到達する光の量も減らすことです。そのため、1ピクセルまたは3センサーシステムのシステムの全体的な感度が1ピクセルを下回る写真の数は、Bayerマスクセンサーよりも増加しません。
マイケルC

3

このテクノロジーは3cc / 3チップカメラの形で存在します。プリズムを電話で使用可能なスペースに取り付けるには、いくつかの問題があります。最終的にはgen1 iPhoneと同じくらいの厚さになると思いますが、カードのデッキの厚さに近いものが必要になるかもしれません。市場はそのようなデバイスをサポートするのに十分強いかもしれないと思います。予約注文は$ 1200水素1で売り切れるほどの関心がありました。もう少しで買ったところだ。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.