強化学習はボブ・ロスのような絵を描くための正しい選択ですか？

私の職場では、2週間のコードの課題があり、いくつかの制約を前提として、100のサンプルボブロスの絵を可能な限り忠実に再現するアルゴリズムを作成する必要があります。

• 「ペイント」は、背景色と一連の「ブラシストローク」を含むJSONファイルとして送信されます。
• ブラシストロークには、始点、終点、半径、および色があります。
• 絵ごとに500ストロークの制限があります。
• 100枚すべての参考絵画は、サイズとアスペクト比がまったく同じです：450x337。

サーバーは各送信を「ペイント」してから、参照ペイントを使用してピクセルごとの差分を行います。提出された絵画の各ピクセルは、ソースピクセルの値との類似性に基づいてスカラー0〜1の範囲でスコア付けされ、絵画のスコアはすべてのピクセルスコアの平均です。コンテストを実行している人々は、MacOS / Linuxのコマンドラインで実行できる画像の描画とスコアリングの両方のためのライブラリをリリースしました。

アルゴリズムが試行する各試行のきめ細かいスコアリングのメカニズムがあるため、この問題はMLの影響を受けやすいはずです。絵画の生成と採点には、約200ミリ秒しかかかりません。残念ながら、私はほとんどがMLファンであり（多くのポッドキャストを聴いています）、問題をどのようにモデル化すればよいかわかりません。

アルゴリズムで500の完全にランダムなストロークを作成し、出力を段階的に調整すると、有用なものに収束するのに永久に時間がかかります。（ペイントを開始する前にヒストグラムを実行して）ストロークのカラースペースを各ペイントで最も頻繁に使用される64色のセットに制限し、アルゴリズムのブラシサイズの選択を制限することを検討しました。

参考までに、最も一般的な色のベタフィールドである画像を送信しただけで、65％のスコアが得られました。現在勝っているアルゴリズムは、ほとんどの場合、絵画をグリッドに変換し、それぞれの上に各セクターの平均色のドットを配置するだけです。

この検索には、遺伝的アルゴリズム（GA）またはその他のグローバルオプティマイザーをお勧めします。絵画をより複雑な状態に「構築」するときの連続スコアは、おそらく最良のガイドではありません。

サークルからモナリザを構築するなど、同様のパズルの例がいくつかあります。ここに、同じ問題のより最近の例とコード例を示します。

GAのアプローチは基本的に、ランダムに生成された数百のストロークの集合で構成され、スコアを付けて最適なオプションを評価します。次に、母集団から選択して、最高のスコアを持つソリューションを優先します（上位の割合から選択するだけから、上位を優先する歪んだ分布を使用するなど、オプションはたくさんあります）。ソリューションのペアを作成し、一部を最初の親から、一部を2番目の親から取得することにより、それらを「交配」します。「突然変異」としてほんの少しのランダムノイズを追加します。第2世代を作成するためにそれを十分に行ったら、プロセス全体を繰り返します。バリエーションはたくさんあります。

RL も機能するはずですが、ストロークアクションと現在の状態から最終的なポリシーまたは値へのマッピングを学習できるポリシーまたは値関数を作成するという困難な作業があるかもしれません。理論的な観点から見ると、それは間違いなく実現可能です。状態は現在の画像です。アクションは次のストロークの選択です。報酬はスコアの改善であり、おそらく各アクションで評価する必要があります（ただし、10回ごと、50回ごと、または最後でも行うことができます-遅延が長いほどRLに挑戦しますが、反復が速くなる可能性があります）。QラーニングなどのほとんどのRLアルゴリズムは、初期の良いスコアが誤ったリードであり、修正が必要な「行き止まり」の結果を回避することに対処できるはずです。

わかりませんが、GAまたはRLがこの問題をより効率的に解決するかどうかを確認することは非常に興味があります。。。私の直感はGAが進むべき道だと思います。

この仕事に対するRLに対するあなたの懐疑論は根拠があると思います。しかし、画家のスタイルを再現するニューラルネットワークの構築に向けたいくつかの研究があります。この作業は、畳み込みニューラルネットワークの力を活用します。

" 芸術的スタイルのニューラルアルゴリズム " Leon A. Gatys、Alexander S. Ecker、Matthias Bethge

美術、特に絵画では、人間は、コンテンツと画像のスタイルの間の複雑な相互作用を構成することにより、ユニークな視覚体験を生み出すスキルを習得しました。これまでのところ、このプロセスのアルゴリズムの基礎は不明であり、同様の機能を持つ人工システムは存在しません。しかし、オブジェクトや顔の認識など、視覚認識の他の重要な領域では、人間に近いパフォーマンスが最近、ディープニューラルネットワークと呼ばれる生物学にヒントを得た視覚モデルのクラスによって実証されました。1、2ここでは、ディープニューラルネットワークに基づく人工システムを紹介します。知覚品質の高い芸術的な画像を作成します。このシステムは、ニューラル表現を使用して任意の画像のコンテンツとスタイルを分離および再結合し、芸術的な画像を作成するためのニューラルアルゴリズムを提供します。また、