CSI画像の解像度の向上：どれほど現実的ですか？

だから私は、CSI New Yorkからの次の1分間のYoutubeクリップを見ました。クリップでは、標準的な銀行のカメラからの録音のように見えるものを使用して、少なくとも100を拡大し、少女の目の反射で犯人の画像を確認します。

今、私はこれが完全にばかげていると思ったので、実際には本当に面白いと思いました。

しかし、私の友人は、ビデオの複数のフレームがはるかに高い単一解像度の画像を生成する「超解像度」の手順など、画像改善のための非常に良いトリックがあると主張しました。彼はショーが真実をかなり曲げると思いましたが、どれくらいですか？

正直なところ、私は実際にこれらのことについて何も知らないので、私の質問は次のとおりです。

最新の画像解像度の向上はどの程度ですか？また、CSIテレビ番組はどれくらい離れていますか？

ありがとうございました、

注：これは、懐疑論者のサイトにクロス投稿されています。ここでより良い答えを受け取るかもしれないと言われました。

簡単な答え：いくつかの非常に良い結果を得ることができますが、特定の条件下でのみ、リンクされたビデオクリップに表示されるものに完全に近いものではありません。

私の会社であるAmped Softwareは、フォレンジックおよびインテリジェンスアプリケーション用の画像およびビデオ処理ソフトウェアを開発しているため、基本的に私たちはCSIソフトウェアの現実世界に対応しています。

品質向上の一般的な問題を参照すると、私たちの市場にとって、TVシリーズやハリウッド映画が生み出す期待に応えることは大きな問題であると言えます。あなたは私たちの上で見ることができ、サンプル・ページみだれによって覆われている情報がある場合は、しかし：時々我々が取得することができます結果は本当に素晴らしいですが、我々が唯一のいくつかの条件の下でそれらを得ることができることを理解することが重要であるということがあります、私たちはそれを回復することができます。情報がなければ、それを行うことはできず、再作成することはできません。この特定のアプリケーションでは、視覚的な観点から結果を取得するだけでなく、裁判所が受け入れなければならない科学的ワークフローに従うことも不可欠です。

昨年、私が取り組んだほぼ200のケースに関する問題と結果を説明する研究を発表しました。最終結果は次のとおりです。

• ケースの50％以上では、何もすることはありません（たとえば、5x2ピクセルのナンバープレートの回復は、世界中のどのソフトウェアでも完全に不可能です）。
• ケースの約30％で、ほとんど結果が得られません（たとえば、ナンバープレートの文字を復元したり、顔の全体的な外観を改善したりする）。
• 10％の場合、良い結果が得られます（たとえば、ナンバープレートの大部分が得られます）。

これらすべてのケースには重大な品質問題があったことに注意してください。それらの品質が良ければ、それらに取り組むように頼まれませんでした。

特に解像度の向上に関しては：

• 画像をズームすると、欠落しているピクセルを補間します。単一の画像から画像の外観を視覚的に改善できますが、実際の詳細は追加しません。
• 超解像技術は、特定の条件下で良好な結果をもたらす可能性があります。十分なフレームがあり、非整数のピクセル量だけシフトされ、できれば圧縮アーティファクトはほとんどありません。最良の場合、2倍および3倍のズームで良好な結果が期待できます。

ビデオクリップに表示されるものは、元のビデオが数メガピクセルで撮影されており、非常に近くでズームする解像度を持っている場合にのみ可能です（Googleマップでのように多かれ少なかれ）。もちろん、その時点で、正しい焦点、暗い場所、ビデオの被写体全体の視点とは異なるという事実など、他にもいくつかの問題があります。

何もないところから何かを作ることはできません。何らかの方法で画像を向上させるためには、何らかの情報を持っている（または推測する）必要があります。たとえば、ぼかし機能のプロパティを知っている場合（画像ノイズがない場合）、実際に写真のぼかしを解除できます。ただし、ぼかし機能とノイズが常に存在することはめったに分からないため、回復できるものが大幅に制限されます（Adobeは最近、ぼかし除去フィルターをデモしましたが、デモでは合成ぼかしを使用していました）。

要するに、CSIはほとんど純粋なフィクションです-実際の生活で可能なゲインはわずかであり、テレビで表示される解像度が5倍に増加するようなものではありません。

健全性チェック：それがすべてできれば、40 MP以上のハッセルブラッドカメラに数万ドルも払わないので、ソフトウェアを単純に複製する方が安くなります！

編集：私はどういうわけか、ビデオからの超解像について言及した元の質問に気付かなかった。複数の画像の超​​解像は実際には可能ですが、センサーの限界までです。これは、サブピクセルシフトのある一連の画像を使用して機能します。これにより、ピクセル間の値の情報が得られ、より高い解像度の画像を作成できます。動いている被写体が同じ種類のシフトを作成するため、ビデオからの超解像度が機能しますが、オブジェクトの外観はフレーム間でそれほど変化してはいけません。せいぜい、この手法は高解像度センサーの結果を提供するだけであり、CCTV仕様のレンズではかなり制限されるレンズ解像度の限界を克服することはできません。

良好な条件下での超解像の例を次に示します。

_{（ソース：wikimedia.org）}

photoacute.comからの画像

解像度の改善、はい、しかしまだCSIレベルのパフォーマンスに近いところはありません。

上記の私のコメントを参照すると、最新のハッセルブラッドは実際に「マルチショットキャプチャ」という名前でセンサーシフト超解像を実装しているため、巧妙なソフトウェアを使用して独自のゲームで中規模メーカーを倒すことはできません...

これが私がこれまでに持っているものです：

バスケットボールを見る目の領域は約1平方ミリメートルです。女の子の身長に基づいて、画面上のピクセルの総数のせいぜい100万分の1であると自信を持って推定できます。（画像の幅と高さは、何かが近くなる可能性があるため、写真では明確に定義されていませんが、およそ3 x 3メートルに見えます。これは、1,000万平方ミリメートルを意味します。概算で10ドルで割ります）

録画がHD品質の場合、それはまだ2メガピクセルにすぎないため、バスケットボールを見ると、1ピクセルのサイズになります。

推論は間違いなくそれが真実ではないことを示していると思いますが、私はまだ疑問を残しています、画像強調の上限は何ですか？

Super Resolutionを備えた市販のソフトウェアがいくつかあります。私はこれらのいずれも試したことはありませんが、広告素材はかなり良いです。ソフトウェアは監視、セキュリティ、および軍隊に向けられていますが、一部の法医学部隊はこのようなものにアクセスできると思います。

2つの例：MotionDSPのIkenaと 2d3の TacitView

テレビ番組で提案されているレベルへの画像/ビデオの強化は、単に不可能であり、実際には画像キャプチャデバイスによって制限されています。それが最初に進化する必要がある技術です。

10ピクセルのコレクションから認識可能なオブジェクトに情報を取得することは不可能です。ピクセルレベルでは、それが画像で提供される最終的な情報量です。その有限ズームでは、色のブロックは100個しかありません。補間によって10x10ピクセルの領域を100x100ピクセルに増やすことができますが、10x10ピクセルの情報はすべてであり、補間はソフトウェアによるそれらの10 x 10ピクセルに基づく経験に基づいた推測に依存します。結果は、100 x 100ピクセルのぼかしになります。あるいは、2000x2000ピクセルの画像を取得して4000x4000ピクセルまで補間すると、元の画像ではあまり鮮明ではない一部のブラーは、純粋にパレイドリアを介して大きな画像で可能なオブジェクトほど鮮明に見える場合がありますが、それでも推測または推測です。補間された画像は、より詳細な「錯覚」を与えます。

画像の強化は、元の画像ソースを介してキャプチャされた情報の最大量にのみ依存し、ピクセルへのズームはすべてあります。一部のカメラは非常に高解像度の画像を撮影できますが、元の画像には記録されていない詳細をソフトウェアで表現することはできません。

さて、CSIショーに戻ると、彼らのほとんどは標準的な監視カメラの映像を取得しますが、そもそも実生活では特に高解像度ではないので、ショーでこのような機能強化を見ると、ただ笑ってしまいます-最も高度な形式の画像編集ソフトウェアを使用しても不可能であるため（PhotoShopは高度なスケールの最上位にあります）。画像の強化とズームは、イメージングデバイスによってキャプチャされた情報に100％依存しています-したがって、誰かの角膜の側面に人の顔の反射をキャプチャできる監視カメラは、非常に強力である必要があり、非常に高価です。フッテージには、フレームごとに非常に高いピクセル定義が必要です（たとえば、1秒のフッテージを保存するには100メガピクセルまたは約9.5テラバイト）。これにより、各監視カメラが24時間分の映像を保持するために小さなサーバーファームを必要とするほど、映像のファイルサイズが大きくなります。とても高い。結果として得られる拡張技術は、このレベルの詳細なビデオおよび画像キャプチャを最初に実行できる画像キャプチャデバイスに依存し、便利な方法でデータを保存し、都市を越えて展開するのに安価なポイントになります。ビデオ映像のファイルサイズは非常に大きいため（1秒あたり約9.5テラバイトを記憶）、これを実行できるソフトウェアを実行するには、非常に強力なスーパーコンピューター（今日の基準では）が必要になります。テクノロジーが現在の速度で増加しているので、これは将来のある時点で、おそらく私たちの生涯で可能になるかもしれません。そうして初めて彼らはそれを行うことができましたが、画像は改善されませんでした。彼らは非常に詳細な画像にのみズームします。私は、フルタイムの生活のためにデジタル画像で働いているので、これを知っています。