既存の写真の照明を識別できるソフトウェアはありますか？

写真の選択された領域を取り、写真の選択された領域の照明条件をエミュレートするために必要な照明パラメータの推定を返すアプリケーションはありますか？

それが返すパラメータについての私の推測には、照明光源、光源拡散、光源色、光源持続時間、反射/入射光源、光源動きなどが含まれます（これらの推測と可能性についてのフィードバックを歓迎しますそれらを静的にモデル化することが可能であること）

lighting software white-balance

— 失敗
ソース

それは難しい注文のようです。写真を見るとき、私たちは何を見ているかについて、状況に応じた知識を適用します（つまり、写真と比較できるように、心に「通常」のバージョンがあります）。これを行うことができる何かがあれば私は感動します。

— D.ランバート、2011年

@D。Lambert：同意しますが、PhotoShop内の一部のアルゴリズムはこのような計算を行うと信じていますが、私の知る限り、外部で使用するために読み取り可能な出力はありません。つまり、これらの計算は他の計算の入力として使用されます。

— 失敗

このようなソフトウェアを作成するために必要な作業は、誰かがほとんどのパラメーターをかなり正確に推測する必要がある2〜3時間のトレーニングと比較して、数百万倍です。また、これらのいくつかは理解するのが不可能です...ソース期間？

— JędrekKostecki

+1 @JędrekKostecki：人間がそれをより速く（現在）実行できるという点で良い点ですが、その面白さは何ですか... :-) ... "source-duration"たとえばフラッシュが使用されました。

— 19:33に失敗

ああ、世界で最高のソフトウェアはおそらく人間の脳でしょう。このために、ハイライトとシャドウに基づいて妥当な近似を行うアルゴリズムを開発できますが、なぜそれを行うのですか？人間の脳は、今日のテクノロジーの下では、コンピューターよりも早く答えに飛びつくでしょう。

— John Cavan

回答:

この領域については、かなりの研究が実際に行われています。

結果は限られていますが、問題は非常に制約が少ないため、データよりも未知数がはるかに多くなります。これは、正確な解決策は不可能であることを意味し、あなたが得る答えは曖昧さの影響を受けます。

あなたが提案しているもう1つの問題は、この領域の研究が視覚画像の機械理解に向けられていることです。ロボットが壁の角度などを判断できるため、照明を推定できることは、ロボットが迷路を視覚的に移動するために重要です。例。

研究用ソフトウェアと商用ソフトウェアの違いに関して、今日の研究は明日のソフトウェアの基礎を形成しています（私が毎年SIGGRAPHの議事録を追跡している理由の1つです）。自動パノラマ合成はかつて研究プロジェクトでしたが、今では当たり前のことです。コンピュータービジョン会議で公開されたときのコンテンツ対応のサイズ変更（当時は "シームカービング"と呼ばれていました）を読んだことを覚えており、Photoshopの標準機能になるのはほんの数年前です。

ただし、コンテンツ対応の塗りつぶしと提案するものとの間には違いがあります。これは、コンテンツ対応の塗りつぶしにより、レタッチの時間を節約できるため、大きな需要があります。写真の照明条件を推定することは、照明に長けている人にとって非常に迅速なプロセスです。

最後の希望のかすかな光は、ビデオポストプロダクションの領域にあります。元の照明条件を推定/モデル化することは、コンピューターで生成されたアニメーションを実際のフッテージに現実的に合成するために重要です（照明の不一致は、静止画像よりも動画で顕著に見られます）。これに加えて、ビデオストリームで利用可能な追加のデータ量があり、ビデオ編集ソフトウェアに最初に表示された後の機能が表示されます。

— マット・グラム
ソース

+1 @Matt Grum：おかげで、この調査はこの問題の解決に関する問題を「明らかにする」のに役立ちます。私の推測では、ロボットセンサーとAIは、時間と空間に対する縦方向の観測値の相関を利用する可能性が最も高く、異なる波長の光に対するフィルターを含む可能性があります。たとえば、熱を検出する赤外線。芸術的な目標については、カメラ、ライト、オブジェクトの位置だけでなく、推論が必要になる可能性が最も高いということですか。

— 失敗

自動パノラマに関しては、私はそれを指摘すべきだと思います。ステッチすると、ステッチしている画像で必要なすべての情報を入手できます。これは、シーンを照らす照明を推測することとは非常に対照的です。なぜなら、（シーン内のライトの外では）光源が何であるかを実際に知ることはできないからです。パノラマステッチでは、情報が豊富です...光源の推測では、情報が貧弱です。ビデオやCGに関しては、照明の正確な情報を明示的に入力すれば、推測は不要です。

— jrista

確かに@jristaですが、コンテンツ認識塗りつぶしでは、塗りつぶそうとしている領域に関する情報はありません。それはすべて推論です-照明推定問題のように、一度はかなりありそうになかったでしょうが、今では標準機能ですPhotoshop、GIMP

— Matt Grum

+1 @Matt Grum：実際、コンテンツアウェアフィルは、これの大まかな例として私が考えていたものでした。これは、その使用例を示すビデオです。

— 失敗

@MattGrum：コンテンツ対応の塗りつぶしがどのように機能するかを調査する場合、それは照明をゲスト化することほど情報が貧弱ではありません。コンテンツを考慮した塗りつぶしの重要な部分は、近くにあるコンテンツのクローン作成と、いくつかの基本的なインテリジェントアルゴリズムとパターンマッチングにより、塗りつぶされたコンテンツを一致させ、パターンに一貫性を持たせます。コンテンツを意識した塗りつぶし作業を行うために利用できる情報がたくさんあります...パノラマステッチのように。照明を推測する必要がある唯一の情報は、シーンによって反射されるものです。利用できる有用な情報の量は桁違いです。

— jrista

率直に言って、現在利用可能なソフトウェアではありません。ここで進行中の研究があるかもしれません、そして誰が未来が成り立つかを知っているかもしれませんが、今のところありません。

特に消費者レベルでは、ソフトウェアが処理するための情報が多すぎます。少なくとも、対象がUNLITのように見えることをソフトウェアに伝える何らかの方法が必要です。これが人間の利点です。対象が通常どのように見えるかを事前に視覚化しています。これは、人が「まあ、彼は通常そこに薄暗い部分やそこに明るいスポットはない」と言うことを可能にします。

さらに、照明で同じ効果を生み出すさまざまな方法があります（多くの方法が他のものより一般的です）。

— rfusca
ソース

@rfusca：はい、反射品質オブジェクトの「事前認識」、およびライトとオブジェクトへのカメラの関係により、これが可能である可能性が高くなりますが、これは可能であると考えています。見積もりは結局完璧ではありません。

— 失敗

@blunders：せいぜい、推定値はシーンでどれくらいのREFLECTANCEが観察できるかについての大まかな情報を与えることができます...しかし、私は大まかに強調します。光源の数、光源の属性（色、拡散度、発光時間）などについての大まかな想定以上のものを得ようとすることは、実際には、観察に基づく判断に基づいて多くの当て推量を求めているだけです。コンピュータが嫌いなことが1つあるとしたら、それだけです。どの照明がシーンを照らしたかについて正確で知識のある推測を行うには、経験豊富な心が必要です。

— jrista

十分に高度な人工知能は、写真の照明を観察することに関して経験豊富な心になるのに十分に学ぶことができるという主張をすることができます...しかし、現時点では、基本的なスケールでこのようなものさえあるかどうかは疑わしいですそれは一貫して有用な結果を生み出すことができます。

— jrista

@jrista-そうです、私の答えは、現実的で使いやすい正確な結果を生み出す現在のテクノロジーに何かありそうかどうかを反映しています。

— rfusca

これはおそらくそうだと思います。しかし、この分野の研究があったとしても、私はまったく驚かないでしょう。興味深い問題のようです。だから、勉強せずに「いいえ」と言うのはためらいます。

— 私のプロフィールをお読みください