リアルなレンダリング：人間の目と脳のどのプロセスを考慮する必要がありますか？

フォトリアリスティックレンダリングの目的は、実際のカメラがキャプチャするようにイメージをレンダリングすることです。これはすでに野心的な目標ですが、特定のシナリオでは、さらに進めたい場合があります。人間の目がそれを捕らえるように、または人間がそれを知覚するように画像をレンダリングします。あなたはそれをvisiorealisticまたはperceptiorealistic renderingと呼ぶことができますが、誰かがキャッチーな用語を思い付くことができたら（または既に存在するものがあると言って）私はそれを感謝します。

ここに私のポイントを明確にするいくつかの例を示します。低照度でカメラを使用して写真を撮ると、良いレンズを持っているか、ノイズの多い画像が得られます。人間の観察者にとって、暗所視が始まり、プルキンエ効果が生じます（色が青にシフトします）。この効果は、LDRディスプレイに画像を表示するときに失われるHDR輝度情報に依存します。さらに、人間の脳は奥行き情報を使用して、知覚された画像を「フィルタリング」することがあります。これは、最終的な（非ステレオ）レンダリングで失われる情報です。

完全なリストを作成することは、おそらくとらえどころのない目標です。あなたが私が考慮する必要がある目と脳の効果のいくつかを提案してもらえますか？

あなたはさらにそれを取りたいかもしれません：人間の目がそれを捕らえるように、あるいは人間がそれを知覚するように、画像をレンダリングしてください。

これを解釈するには2つの方法があります。両方やります。

解釈1：知覚的に現実的に見える画像をレンダリングします。

一日の終わりには、画像をどこかに表示する必要があります。重要なのは、特定のディスプレイデバイスでその画像を*表示*したときに、元の放射分析画像と同じ感覚が得られるように画像をレンダリングすることです。

このアイデアを展開する方法は次のとおりです。

現実の世界では、放射スペクトルは（すなわち、光の実際の分布は）あなたの目に入り、約刺激¹ 4つの光受容体を。受容体の刺激は、私たちがイメージと結びつける色の感覚を生み出します。

レンダリングでは、生成するスペクトルを任意に制御することはできません。幸いなことに、通常は3つのコーンしかなく、それぞれがスカラー値のみを生成するため、正確に3つの原色を使用して色覚を再現できます。一番下の行は、3つの波長のみの線形結合を使用することにより、任意の色彩感覚を生成できることです（負の値になる可能性のあるいくつかの色まで。この場合、異なる原色を使用します）。

プライマリーの選択肢はありません。ほとんどすべてのカラーディスプレイデバイスは、3つのプライマリ（通常は単一の波長を持たない）を提供するsRGB標準を使用します。それはすべて抽象化されており、気にする必要がないことが判明したためです。

知覚的に正確なレンダリングである混乱を明確にするために、次のアルゴリズムがあります。

1. 正しい放射分析を使用して画像をレンダリングします。光の個々の波長または波長のバケツをトレースします。なんでも。最終的に、すべてのポイントで受信したスペクトルを表す画像が作成されます。
2. 各ピクセルで、レンダリングしたスペクトルを取得し、それをCIE XYZ色空間に変換します。これにより、スペクトルの積と標準オブザーバー関数が統合されます（CIE XYZ定義を参照）。
3. これにより、CIE XYZ色である3つのスカラー値が生成されます。
4. マトリックス変換を使用してこれをリニアRGBに変換し、そこからリニア/パワー変換を使用してリニアRGBをsRGBに変換します。
5. 浮動小数点からuint8に変換し、保存して、範囲外の値をクランプします（モニターはそれらを表すことができません）。
6. uint8ピクセルをフレームバッファーに送信します。
7. ディスプレイはsRGBカラーを取り、逆変換を行って特定の強度の3つの原色を生成します。それぞれが責任を負うすべての画像要素の出力をスケーリングします。ピクセルが点灯し、スペクトルが生成されます。このスペクトルは、（できれば）レンダリングした元のスペクトルのメタマーになります。
8. レンダリングされたスペクトルを知覚したように、スペクトルを知覚します。

解釈2：視覚化またはLDRディスプレイの補正のために人間の目が受け取る可能性のある最終データをシミュレートしようとします。

これはあまり有用でない意味を持っていると思います。基本的に、あなたは脳が楽しみ/利益のためにそれを知覚する方法を微調整するイメージを生成しようとしています。

たとえば、今年のSIGGRAPHには、残像と減色をシミュレートして、画像を知覚的に異なるように見せるための論文がありました。もちろん、これを行う唯一の理由は、使用しているディスプレイがすべて低ダイナミックレンジ（LDR）であるためです。重要なのは、実際の高ダイナミックレンジ（HDR）にさらされた場合に実際の画像データとして表示される可能性がある効果をシミュレートすることです。

実際には、これはうまく機能しないことが判明しました。たとえば、残像の場合、非常に明るい刺激がカラーセルを使い果たしているため、残像が見られます。代わりに偽の残像で効果を刺激しようとすると、それは似ているように見えますが、完全に異なるメカニズムであるため、あまり説得力がありません。

この種のグラフィックは、実際に試してみたい場合、文献では実際に未開拓です。前述の論文は、多かれ少なかれ私たちが持っている最先端のアプローチの例です。ただし、現在のコンセンサスでは、（少なくとも現時点では）シミュレートすることは実際には価値がないと考えられます。なぜなら、せいぜい実際の視覚効果を異なるものに置き換えることによって近似するだけで、これは実際にはそうではないからです作業。

¹ロッド+ 3 *コーン、通常の場合。推定最大7個（これまでに観測された最高の5個まで）の機能的光受容体は、人間にはゼロしか存在しない可能性があるためです。

知覚に関しては、私たちがほとんど盲目にしているもの（プロパティまたはアーティファクトの観点から）と、私たちが知覚を強制しているものの問題もあります。

たとえば、音に関しては、他のコンテンツ（テクスチャがメッシュ解像度をマスクする方法を示した古いSIGGRAPH紙）に加えて、すべての時間的側面（「盲目を変える」のグーグル）に気付かないようにするコントラストや周波数があります。同様に、表面、法線、BRDFの詳細は、値と相対値に応じて表示される場合とされない場合があります。

また、私たちの知覚システムはローカルおよびグローバルに適応する傾向があるため、低周波数値の場合、適切な場所に最大値と最小値を持つことが重要ですが、正確な値は実際には気付きません。

雲や木では多くのエラーを許容しますが、人間の顔では確実に少ないように、認識がそこにある場合があります。（特定のカテゴリのパラメータの統計にこれをダウングレードする場合があります。）

だからこそ、「フォトリアリスティック」よりも「もっともらしい」という言葉を使うほうが好きです。

反対に、偽ピクセルやちらつきピクセルなどのアーティファクトには非常に敏感であり、1グレーレベルのみのエラーの前線、モアレなどの不要なパターン、エイリアシング、不良ランダムなどの相関には非常に敏感です。

ところで、すべての逆説的な状況でエラーが線または点に集中する傾向があるため、単純なエネルギーですべてを合計する最適化ベースのソリューションが非常に悪いアイデアになる可能性がある理由の1つです。同じ理由で、初期のグローバルイルミネーションの人々は、エネルギーの正確なソリューションがアンチエイリアス近似シャドウよりも受け入れられなかったことに失望していました（そして、クアッドツリーベースからメッシュベースの適応方法に至りました）。

グラフィックスの知覚に関する（非常に一般的な）概要は、「グラフィックス、視覚化、仮想環境、およびアニメーションの知覚」に関するこのSigAsia'11コースにあります。