カメラがシャッター全体を通して光データを記録しないのはなぜですか？

質問のタイトルが紛らわしい場合は申し訳ありませんが、これを表現する最善の方法はわかりません。カーテンを使用するメカニカルシャッターを使用する代わりに、電子シャッターで画像を一度にキャプチャできることを学びました。これは私にアイデアを与えました。与えられたショットが1/200秒で適切に露出されると仮定しますが、画像のダイナミックレンジが広すぎてカメラがキャプチャできません。

光データを収集して最終的に1つの画像として保存するのではなく、電子シャッターを備えたカメラが、シャッターの全期間を通じて画像から光データを連続的にキャプチャおよび記録できないのはなぜですか？部屋が暗闇から始まり、徐々に明るさを増すのを見るようなものです。カメラは、HDRの複数の露出を必要とせずに、画像のダイナミックレンジ全体をキャプチャし、データを1枚の写真でダイナミックレンジ全体の画像にコンパイルすることができます。また、カメラは露出の全範囲からの光データを保存しているため、情報を失うことなく後処理で露出調整を行うことができます。なぜこのアイデアは現在実装されていないのですか？

それはX線で行われました。

TimePixは 256×256検出器です。次の3つの動作モードがあります。

• 通常の「統合を開始してからのこのピクセルの総エネルギー」。
• Time-over-Threshold（TOT）：検出されたパルスの高さは、TOTモードのピクセルカウンターに記録されます。そして
• 到着時間（TOA）：TOAモードは、各ピクセルへの放射線のトリガーと到着の間の時間を測定します。

この技術は、光学イメージングに適応されています。TOTモードは、ウィルキンソンADCのように機能するものとして最もよく説明されます。読み出しは、蓄積電荷がしきい値以上の合計時間に対応します。これをシャッター時間から引くと、このピクセルが飽和するまでにかかった時間がわかります。したがって、各ピクセルについて、シャッターが開いてから時間の経過とともに0から飽和まで線を引くことができます。したがって、（すべてのピクセルが飽和している限り）任意の仮想シャッター時間を選択し、各ピクセルのラインを使用して、その仮想シャッター時間までの累積光を推定できます。

より直接的な実装あなたのアイデアのは、CMOSに行われています。各ピクセルは、しきい値に達するまでの時間を記録および報告します。（時間内に飽和しないピクセルをADCで処理するのではなく、しきい値をスイープするため、すべてのピクセルは最終的に十分に低下したしきい値を超えます。）

Piximデジタルピクセルシステム（例）も、ピクセルごとにADCを使用してこれを行い、累積電荷を非破壊的に繰り返し読み出した（累積勾配を取得する）ことを思い出します。しかし、現在の裏付けとなる証拠は見つかりません。

このアイデアには明らかな問題がいくつかあります。

ライトデータを「継続的に」キャプチャする必要がありますが、それは既に行われています。

どうやら、あなたは一連の画像を露出後に利用可能にすることを意味し、各画像は最初から露出全体で進む時間まで露出されます。後の画像は、影の領域でより詳細になりますが、明るい領域がクリップされる場合があります。カメラのファームウェアは、個々の画像よりも広いダイナミックレンジを持つ単一の画像を組み立てることができます。

これに関する2つの明白な問題は次のとおりです。

• 数百万ピクセルすべてを非常に高速に読み出す方法
• 結果を配置する場所。

そのための技術は現在利用できません。

「または、光子がセンサーのピクセルに当たるたびにタイムスタンプを与える」ことを提案します—これは膨大な量のデータになります。簡単な検索では、デジタルカメラの各ピクセル（またはセンサー）が20,000〜100,000フォトンのどこかで飽和することが示唆されています。私たちは12メガピクセルのカメラに満足しており、ここで感度の低い側で大丈夫だとしましょう。それはまだ1兆4千兆データポイントです。ダイナミックレンジが大きく、おそらく5兆個の 50メガピクセルのカメラについて話しています。タイムスタンプをそれぞれ2バイトだけにしたとしても（1バイトでは256の値しか与えられないため、これだけの価値があるとは思えません）、それは... 1つのイメージの大量のデータです。つまり、文字通りテラバイトです。

これは明らかに、現在実現可能な今日の技術とデータパイプラインの面ではありません、ましてやどこかにそれを置きます。

あなたが求めているもの、連続光サンプリングは、理論的には可能かもしれませんが、実際には高すぎます。非常に高いサンプリングレートで近似できる場合があります。これは、非常に高いフレームレートの高速（スローモーション）ビデオカメラで実行できます。次に、出力を後処理して画像を作成できます。

クイック検索では、このPhantomのように十分です

これらのことは、高速のセンサーを備え、大量のデータを移動および保存できることにより機能します。連続サンプリング、または連続的に見えるほど高速のサンプリングレートを試みると、この問題とコストが増大します。

電子シャッターはもう一歩です。これで、すべてのピクセルを同時に取得し、収集を停止する（つまり、各ピクセルをサンプリングする）ように指示し、各ピクセルの各色の情報をシリアルに測定して、同時に取得した画像に関するデータを取得できます。

これは以前はそうではありませんでした。

HDRシーンに対してはまだいくつかのハックを行う必要がありますが、センサーテクノロジーの進歩により、以前ほど悪くはありません。センサーの感度とダイナミックレンジが大きくなったため、特定の画像の高低を測定できるため、2ブラケットショットと後処理を必要としていた写真をカメラでキャプチャできるようになりました。実際、センサーは非常に優れているため、ダイナミックレンジ全体を取得するために3つ以上のブラケットショットが必要な状況に遭遇することはほとんどありません。古いセンサーでは、5つ以上のブラケットショットが必要な場合があります。

私が理解しているように、あなたのアイデアはピクセルごとに連続的に測定する必要があります。

これは素晴らしいアイデアですが、実装には問題が残ります。カメラは、センサーから連続的にデータをストリーミングするように設計されています。プロセッサへの各ピクセルのラインはありません。代わりに、イメージセンサーには、プロセッサがピクセルまたは多数のピクセルの値を一度に読み取ることができるロジックがありますが、一度にすべてを読み取ることはできません。すべてのピクセルを反復処理する必要があり、これには時間がかかります。

これを克服することはできません。なぜなら、センサーとプロセッサの間を5,000万本のワイヤでつなぐことができないからです。より多くの処理をセンサーに統合することもできますが、センサーは1つのことを行うために特化されており、それをうまく行います。デジタル回路を追加すると、より多くのノイズが発生し、3D ICを使用した場合でもおそらくピクセルが小さくなります。さらに、優れた感光性シリコンを作成するために使用されるプロセスは、優れた低電力で高速処理のデジタルシリコンを作成するために使用されるプロセスとは異なります。

これらはすべて障害ですが、一部の特殊なアプリケーションでは既に使用されています。通常、科学および工業分野で。

しかし、それは私たちが寒さの中に放置されているという意味ではありません。特にダイナミックレンジでセンサーが向上すると、最終的にはブラケットなしでカメラで「HDR」が得られることがわかります。センサーは、フルレンジを取得するのに十分な感度を持ち、レンズとカメラボディは良好です。ブリード、反射、およびセンサーがその全能力を達成するのを妨げる他の問題を防ぐのに十分です。

アイデアは悪くありませんが、複雑で高価であり、他の改善可能な分野で成長する余地があり、あなたの方法が必要にならないかもしれません。

本当の答えは価格です。カメラの費用を10〜100倍に増やしたい場合は、本当におしゃれなセンサーを入手できます。

説明する望ましい結果は、各ピクセルのより高いダイナミックレンジです。これを行うにはいくつかの方法があります。明らかな方法は、より良いADCとCMOSセンサーを入手することですが、それはお金がかかり、あなたが考えていることの流れではありません。次のアプローチは、アナログの連続プロセスで電荷を吸い上げることです。これにより、ピクセルにヒットするフォトンの数を示す連続関数を取得できます。ただし、この種のアナログハードウェアは非常に困難です。カメラでは、すべてのピクセルデータがかなり少数のADCを介して処理されます。私たちのセンサーの美しさの一部は、それを実現する方法にあり、数百倍の安価なハードウェアを生み出します。これを継続的に行うには、すべてのピクセルに非常に多くの微調整されたアナログハードウェアが必要です。

これにより、デジタルサンプリングアプローチが可能になります。あなたは、1/1000秒ごとにデータをキャプチャするという考えに言及しました。これは、実際には連続プロセスを考えているのではなく、薄いタイムスライスの多くのデータポイントを取得してそれらをつなぐサンプリングプロセスと同じことを示唆しています一緒。他の回答で述べたように、一部の電話のHDR +はまさにこれを行います。複数の写真をすばやく連続して撮影し、それらをブレンドしてHDR効果を得ます。そのためには、1つの画像に必要なADC帯域幅よりも明らかに高いADC帯域幅を使用しますが、すべてのピクセルを継続的に処理するのに必要なほどの帯域幅は必要ありません。

その音から、各ピクセルがこの時間サンプリングを独自に行うようにします。これを行うには、まず3D集積回路設計に進出する必要があります。各ピクセルのハードウェアがセンサーの表面のスペースを占有しないようにしたり、ピクセルが少なすぎたり、ICのセンサー以外の部分に光が当たったりすると、問題が発生します。それを達成する唯一の方法は、3Dチップを構築することです。これらは本当に将来の技術です。我々はしているの開始これを行う方法を模索するが、それは簡単ではありません。カメラに数十万ドルの余裕がある場合、このようなことを実現できます。

最終的に、各ピクセルの出力を「整数」ではなく「浮動小数点数」にしたいようです。つまり、各ピクセルには、ヒットするフォトンの数の値と、実際にフォトンの数を取得するためにその値を乗算する量を基本的に示す指数があります。ピクセルが露出されると、非常に高いレート（おそらく5000Hz）でサンプリングされ、フォトンカウントが大きくなりすぎると、より大きな指数が選択されます。

本当の質問は、これからどれだけの利益が得られるのかということです HDR +アプローチは、数百ドルの携帯電話向けの最新技術です。あなたは、他のどのカメラよりもはるかに厳しい許容差を持つ超最先端技術の使用について話している。それには費用がかかります。何を買ったの？Googleが推進している安価なCMOSテクノロジーでは実現できなかった、シャッター付きのシングルピクセルデバイスが実際に何を買ったのですか？答えはそれほど多くありません。これが好ましいアプローチである小さなケースがいくつかあるかもしれませんが、既存のテクノロジーよりもかなり高い価格で、それは商業的な非スターターです。

非常によく似たものが実装されています。アナログ方式ではなくデジタル方式の重要な利点があるため、依然として個別のフレームで動作します。しかし、ピコ秒単位の時間分解能でアプローチが存在します。

https://www.ted.com/talks/ramesh_raskar_a_camera_that_takes_one_trillion_frames_per_second

光データを収集して最終的に1つの画像として保存するのではなく、電子シャッターを備えたカメラが、シャッターの全期間を通じて画像から光データを連続的にキャプチャおよび記録できないのはなぜですか？

ここで本当に提案しているのは、「露光中にどれだけの光が集められたか」という観点ではなく、画像を記述することです。むしろ、「各ポイントでのシーンはどれほど明るいのですか？」それは素晴らしい考えであり、それを行うためのいくつかの方法を考えることができますが、それらすべてに共通することは、センサーに複雑さを追加することです。

カメラメーカーは、より多くのピクセルを提供するために長い間取り組んできましたが、個々のピクセルの構造をシンプルに保つことは、その努力に役立つと思います。現在、DSLRには一般に2,000万から5,000万ピクセルのセンサーが搭載されているため、より優れたピクセルを構築する代わりに動作することがわかるでしょう。私たちはすでにいくつかの点でそれを見ています-デュアルピクセルオートフォーカスはその一例です。そして、確かに、より広いダイナミックレンジ、より少ないノイズなどを提供するセンサーの構築に取り組んでいる企業があります。

要するに、あなたが将来提案したことの線に沿って何かが見える可能性が高いと思います。ピクセル密度の増加のような他の目標は、過去においてより高い優先度でした。

それはやや異なる方法で行うことができます。1枚の写真の代わりに、露光時間の異なる複数のフレームを撮影します。次に、写真を積み重ねて、積み重ねに使用しているアルゴリズムに応じて何らかの平均値を取得します。

たとえば、最近の皆既日食では、肉眼で見えるコロナの量は、カメラの1つの露出時間が示す量よりもはるかに大きかった。これは、目が対数ダイナミックレンジを持っているのに対し、目は線形ダイナミックレンジを持っているからです。そのため、さまざまな露出時間を重ねることで、観察者が目で見たものを写真に近づけることができます。

Olympus Live BulbおよびLive Timeモードは、説明した方向に進みます。

OM-D E-M5のマニュアル：

撮影中の露出の進行状況を確認するには、[ライブバルブ]（P. 89）または[ライブタイム]（P. 89）の表示間隔を選択します。

こちらがビデオです。プロセス中に複数のエクスポージャーが表示されていても、最後に1つのエクスポージャーしか取得できないことに注意してください。センサーピクセルは、露光中に受け取ったフォトンの合計量のみを考慮し、それらのフォトンがいつ、またはどの順序でセンサーに着弾したかを知りません。

あなたは正しい考えを持っています。ソニーは、RX-100M5およびD-Range Optimizerと呼ばれる機能を備えた他のカメラで、この効果に対して本質的に何かを行っています。

D-Range Optimizer機能は、キャプチャされた画像データを瞬時に分析し、最適な露出とトーン再現を自動的に修正します。多くの場合、逆光のシーンを撮影するとき、被写体の顔または影の他の領域は、人間の目に見えるよりも写真で暗く表示されます。Dレンジオプティマイザー機能は、撮影されたシーンのさまざまな条件を判別し、ガンマカーブ、露出レベル、およびその他のパラメーターを自動的に修正して、人間の目に見えるよりも暗い部分を除去します。

Dレンジオプティマイザー機能には、画像全体を均一に調整する標準モード（露出などの補正に効果的）、およびコンポジション内の領域を自動的に修正するアドバンストモードも含まれます。詳細モードを使用することで、写真家は被写体と背景の両方が適切な明るさで撮影され、2つの明るさに大きな違いがある場合でも鮮明な画像を作成できます。

ソース：https : //sony-paa-pa-en-web--paa.custhelp.com/app/answers/detail/a_id/26259/~/what-is-the-function-of-d-range-optimizer ％3F