さまざまなバイエルデモザイキングアルゴリズムの長所と短所は何ですか？

ベイヤーセンサは、赤色、緑色、及び青色の画素のパターンを使用し、すべてのための1つの画素と、最終的なカラー画像に、それらを一緒にマージ単一のカラーセンサ。これは、隣接するセンサーを「単純」にブレンドすることで実現できますが、AHD、HPHD、AMaZEなどの名前を持つより複雑なアプローチを聞いたことがあります。

これらの他のアプローチとは何ですか？また、どのような利点がありますか？計算の複雑さを超える弱点はありますか？

カメラ内JPEGに使用されるアプローチはより厳重に保護されていると思いますが、明らかにこの分野では多くの研究開発が行われています。カメラ内で利用可能な限られた処理能力は、この分野での妥協を強制しますか？

数か月前、私のマシンビジョンカメラSDKが組み込みのベイヤー関数で最も近い「補間」を使用していることを知って驚いた。これは最速ですが、最悪のタイプであり、特に色の恒常性または明るさの不変性のために画像チャンネルで計算を開始するときにハードエッジを与えます。私はこのアルゴリズムのレビューを見つけました：

http://www.arl.army.mil/arlreports/2010/ARL-TR-5061.pdf

次のステップアップは双線形および双三次補間で、畳み込みカーネルに等しいため、非常に高速に計算できます。これらは、傾斜したエッジに色付きの鋸歯を与えます-バイキュービックよりもバイリニア。

このペーパーでは、5つの異なるアルゴリズムで定量化された品質データを使用して確認できます。

http://research.microsoft.com/en-us/um/people/lhe/papers/icassp04.demosaicing.pdf

これが、エッジ方向に基づいた補間を行った理由です。ただし、これらはより重要なチャネルとして緑を扱います（最高の解像度を持ち、視覚感度と目の解像度の大部分を占めるため）。そして、それらは、色相を保持する方法で、緑チャンネルの関数として青と赤を作成します。これにより、グリーンチャネルの高周波コンテンツがエラーになりやすくなります。何が起こっているかを検出し、複数のパスを必要とするため、複雑さが増します。モアレとトウモロコシは、これらのタイプの補間による一般的なアーティファクトです。

ここでは、色相保存およびエッジ保存アドオンを使用した場合と使用しない場合の、Adaptive Homogeneity Demosaicingおよびバイリニアバージョンの例を示します。

http://math.auburn.edu/~kilgota/ahd_bayer.pdf

その論文はAHDを支持しており、否定的な部分を示していません。このページでは、Adaptive Homogeneity Demosaicing、Patterned Pixel Grouping、およびVariable Number of Gradients（名前の上にマウスを移動）からのさまざまなパターンアーティファクトを見ることができます。

http://www.ruevski.com/rawhistogram/40D_Demosaicing/40D_DemosaicingArtifacts.html

要約すると、これらのアルゴリズムで採用されている多くの仮定があり、仮定が成り立たない場合にアーティファクトが発生します。

• チャンネルごとの滑らかさ。最近傍が同じでない場合、遷移をスムーズにします。アーティファクト：のこぎり/ジッパー、柔らかさ
• 有向エッジを使用した明るさの不変性（双線形方向）。アーティファクト：高周波テクスチャモアレ、カラーフリンジ
• 色相の恒常性。近所の場合、色相は同じであるため、1つのチャネルが変更された場合、他のチャネルは従わなければなりません。アーティファクト：カラーエッジのカラージッパー
• 不変性はグリーンから予測できます。アーティファクト：迷路

私はこれで少し遊び始めましたが、素朴なアプローチはそれほど悪くないことがわかりました。それは単に各色を別々に扱い、補間してピクセルの間に入れることです。これの主な欠点は、コントラストが高い場所でピクセルのぞき見をしている場合、わずかな色の縁が見えることです。別の言い方をすれば、黒い領域に隣接する明るい灰色の領域がある場合、境界にいくつかの色付きのピクセルが表示されます。幸いなことに、これらは一般的に平均化されますが、エッジがほぼ垂直またはほぼ水平である場合、低周波数で平均化されます。同じ効果は、ほぼ垂直または水平に近い細い明るい線でさらに顕著になります。

以下に例を示します。この写真は、テストショットとして意図的に撮影されたものです。

クロムトリムの線の見かけのバンディングに注意してください。これを理解するために、完全なフレームを次に示します。

私は別のアプローチを考えましたが、これまでは常に他に最初にやるべきことがありました。このスキームは、最初に明るさだけを見つけようとします。画像が白黒の場合、これは画像データの単一チャネルになります。色は均等に寄与しませんが、各感覚はそれにいくらか寄与します。強度が決定したら、単純な方法のように色を補間しますが、強度を保持するような方法で色を設定するためにのみ結果を使用します。強度は帯域幅が大きいか、色相情報よりも写真の観点でシャープになります。アナログTVはこのトリックを使用して、カラー画像の帯域幅要件を削減しました。人間の視覚システムは色、特に赤よりも強度を重視しているため、彼らはそれを避けました。

とにかく、それらは単なる考えです。私が言ったように、私は実際にそれをまだ試していないか、詳細を練っていません。いつか。

Lightroomのさまざまなプロセスバージョン（これまで2003、2010、2012がありました）は、さまざまなデモザイキングアルゴリズムに対応していることを理解しています。別の興味深いソフトウェアは 、以下を提供するUFRawです（Webページからの引用）：

ホワイトバランスを設定した後、UFRawはBayerパターンを補間します。

• AHD補間は、Adaptive Homogeneity-Directed補間です。これがデフォルトの補間です。
• VNG補間は、しきい値ベースの可変勾配数補間を使用します。これは以前はデフォルトの補間でしたが、それでも非常に優れています。
• 写真にバイエルパターンのアーティファクトが含まれる場合は、VNG 4色補間を使用する必要があります（詳細については、DCRawのFAQを参照してください）。
• PPG補間は、Patterned Pixel Grouping補間の略です。これは上記のすべてとほぼ同等で、はるかに高速です。
• バイリニア補間は非常に基本的な補間ですが、はるかに高速です。

これにより、実験用の資料が提供されます。ちなみに、UFRawはオープンソースのように見えるため、アルゴリズム自体を覗くことができます。

天体写真では、ワンショットカラーセンサーを使用する場合、ディベイヤー処理によって解像度が大幅に失われるため、このトピックは深く調査されています。一方、RAWファイルを使用すると、元のデータにアクセスでき、カラーアプリケーションの前に処理できます。このトピックは、ソフトウェアの側面に密接に関連しています。

つまり、同じ被写体データを持つ多数の画像にアクセスできる場合（センサーノイズを減らすために行われます）、失われた解像度を回復できる霧雨アプローチとAHDを使用してシングルフレーム変換をトレードオフできます。選択は、使用可能なソースデータの種類によって異なります。ほとんどの写真家は、使用する画像が1つだけです。

Debayeringプロセスの選択肢で使用したソフトウェアには、Deep Sky StackerとPix Insightがあります。他にもあります。多くはDCRAWに基づいています。

以下は、Deep Sky Stackerページの記事へのリンクです。ここでは、いくつかのオプションについて説明しています。DebayeringChoices