超解像はどのように機能しますか?


10

この質問から選んだウィキペディアの記事を読みましたが、同じ画像のコピーを互いに積み重ねることで画像の解像度が向上する理由を理解できません。

回答:


13

プロセスは複雑ですが、これは何が起こっているのかを直感的に理解できるはずです。通常のカメラが、センサーを任意の方向に半ピクセル移動させるモーターを備えていると想像してください。

1つの画像を撮るのではなく、このカメラは4つ撮ります。1つは中央に、もう1つは右に半ピクセル、もう1つは下に半ピクセル、もう1つは右に半ピクセル、半ピクセル下にシフトします。

次に、中央に配置された画像を取得し、サイズを2倍にし、ピクセルを次のように離します。

xxxx               x x x x 
xxxx      ____\    
xxxx          /    x x x x 
xxxx               
                   x x x x

                   x x x x

次に、他のシフトされた画像1、2、3を使用して、ギャップを埋めます。

x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323
x1x1x1x1
23232323

2倍の解像度の画像でお任せください。興味深いことに、ハッセルブラッドH4D-200MSなど、この手法を採用するよりもカメラがあります(どれだけ購入できないか尋ねる必要がある場合は申し訳ありません)。

標準カメラでの超解像は、カメラまたは被写体の動きが制御されていない場合、正確な半ピクセルシフトの近くに到達できないため、少し複雑ですが、非常に運が悪い場合を除いて、シフトされた画像は元の画像からいくらかオフセットされます。十分な画像を組み合わせると、非常に不規則にサンプリングされた画像(グリッドに落ちないピクセルサンプル)が得られますが、(サンプル間の線をトレースして正確なグリッド線に落ちる結果を推測することによって)補間できる画像は通常の画像。


1
動きはカメラ内で発生する必要はなく、カメラ自体を動かすことで実行できることを覚えておくことが重要です。カメラがほとんどの場合フレーム間で小さな動きをするため、超解像度がビデオで非常にうまく機能するのはそのためです。
ホーコンK. Olafsen

この霧雨またはディザリングは、デジタル天体写真で広く使用されています。多くの個別の画像が積み重ねられ、画像に内在するノイズを減らすのに役立ちますが、同時に、かなりの詳細と解像度を回復する機会があります。
smigol 2012年

同じ写真の複数のコピーを重ねることでそれをどのように達成できますか?スタッキング後に位置合わせする必要があるので混乱しています。これにより、ピクセル間のシフトがキャンセルされ、超解像度の背後にある中心的なアイデアのように見えます
K ''

1
@AkramMellice-同じものをスタックしてもこれはできません。ソフトウェアを使用して、画像内の他の情報に基づいて情報を調べ、潜在的に「埋める」ことができますが、それは完全ではありません...とにかく、ペンタックスがこの機能を追加した場合、それは完全に可能です彼らのアンチシェイクがセンサーにあり、それは彼らがどのようにGPSユニットでアストロトレースを行うかのバリエーションです。
John Cavan

3

センサーが完全なキャプチャデバイスではないことを考慮してください。各ピクセルは、ある程度の誤差で記録されます。ピクセルの最も正確な値である場合、例えばN、センサが範囲内にある値を記録するN-E to N+E与えられたためにE。良いセンサーEは小さいので、悪いセンサーは大きいEです。

また、露出ごとにピクセルごとに異なるエラーが発生し、センサーのセルにメモリがないため、一度低くなったピクセルが次のピクセルで高くなる場合があることにも注意してください。

同じ主題の複数の露出を取り、それらを一緒に平均化すると、効果的に減少していEます。上記のピクセルの例では、すべてがunknownの周りにあるさまざまな値の束を平均化するNので、平均はその理想に近づきますN


3
エラーを減らすだけではありません。実際、この場合は主にエラーを減らしていません。名目上同じデータを繰り返しキャプチャし、センサーピッチよりも細かい解像度で存在する追加情報を探すことで、より多くの情報を取得しています。ショットとショットの間にセンサーにメカニカルディザを追加し、それらを実現すると、これが役立ちます。// A77 Sony DSLRおよび他の一部のSonyには、単なる平均化プログラムではないマルチショットの低ノイズ集約モードがあります。カメラは実質的に6フレームかかるため、移動しても画像が改善されます。
ラッセルマクマホン

1
これは、ノイズ低減のための画像スタッキングの仕組みを説明しています。過度のノイズは細部の解決を妨げる可能性がありますが、超解像度は解像度を上げるために少なくともある程度のカメラの動きを必要とするため異なります。
Matt Grum

すでに指摘したように、あなたが説明しているのは超解像ではなく、画像のスタッキングです。これは解像度を上げませんが、ノイズを減らします。
ホーコンK. Olafsen

質問のタイトルは超解像について言及していますが、本文の質問は「同じ画像のコピーのスタック」について尋ねています。私が説明したのは、実際には、写真の解像度を上げるための多くの方法の1つであり、それはどのカメラでも実行できます。
ミゲル

1

以下は私が理解しているとおりです。私たち全員が啓発されるように、人々は誤解を指摘して自由に感じるべきですが、うまくいけば、実際に彼らが見つけたものを指摘し、単にビールをつぶやくだけではありません。(またはひげまたは...)。

簡単に言えば、写真ごとにわずかに異なる情報があり、この追加情報を検出して抽出し、一貫した付加的な方法で組み合わせるためにさまざまな方法が使用されます。

システムがすべてのケースで動作することが保証されているわけではないことに注意してください。
[Wikipedia Super-Resolution page]の注記:

  • 最も一般的なSRアルゴリズムでは、SRイメージで得られた情報は、エイリアシングの形でLRイメージに埋め込まれていました。

    これには、システムのキャプチャセンサーが十分に弱いため、エイリアシングが実際に発生している必要があります。回折が制限されたシステムにはエイリアシングが含まれておらず、システム全体の変調伝達関数が高周波成分を除去しているシステムも含まれていません。

エイリアシングとは、関係する周波数のデータを適切に表示するシステムの機能です。最後に「解説」をご覧ください。

私がそれらを正しく理解している場合(またはそうでない場合もある)、「十分に弱い」というフレーズは、センサー自体が解決できない追加情報であることを意味します。これは通常は悪いと考えられているため、可能な場合は抑制されます。 SRシステムでは追加情報が必要です。Nikon D800rにはセンサーにアンチエイリアス処理光学フィルターがありませんが、std D800および他のほとんどすべてのDSLRにはそのようなフィルターがあります。

MTFは、効果的にコントラストを生成する、または「シャープネス」を生成するレンズの機能です(2つは相互に密接に関連しています。MTFは通常、レンズ中央付近で最適であり、長方形のイメージでは、エッジに向かって、通常はイメージコーナーでより落ちます。 。彼らは、システムが超解像画像を生成する能力は、コントラストとシャープネスをレンダリングする能力、つまりその品質に依存していると言います。つまり、レンズは、少なくともセンサーとプロセスの機能が向上した場合は、rsolutionjを直接イメージングします。


エイリアシングは、情報ストリームのサンプリングが非常に遅いために、高周波情報の一部がサンプリングレートよりも速く変化し、「ラップアラウンド」して、実際には低周波成分であるかのように見える場合に発生します。制限システムでは、サンプリングレートは現在の最高の情報レートの少なくとも2倍である必要がありますが、実際にはこれよりもいくらか高いレートが必要です。

簡単な例:

  • シーケンス0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 5 4 3 2 1 0 1 2 3 4 5 6 ...

    明らかに、12ユニットごとに繰り返すパターンがあります。
    これは、周期が12ユニットの場合、6サイクルの間増加し、さらに6サイクルの間減少し、次に繰り返す三角形の平均です。

    次に、11回ごとにのみシーケンスをサンプリングします。我々は、取得
    0 1 2 3 4 5 6 5 4 3 2 1
    周期11×12 = 132ユニットを有する三角波を-これは全く同じパターンであるが、それはよりゆっくりと11回を変更します。

    同じシーケンスを8回ごとにサンプリングすると、0 4 4 0 4 4 0 4 4が得られます。
    つまり、周期= 24単位の1:2方形波のように見えます。

    6単位時間=半サイクルを超えるサンプリング周期は、このようなエイリアシングエラーを引き起こします。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.