これまでのニューラルネットゴルフの課題（これとそれ）は、私に新しい課題を提起するきっかけになりました。

チャレンジ

任意の4次元入力ベクトルが与えられると、ように最小のフィードフォワードニューラルネットワークを探す$(a,b,c,d)$の整数のエントリと$[-10,10]$、ネットワーク出力$\textrm{sort}(a,b,c,d)$と厳密に$0.5$より小さい座標に関する誤差。

許容性

この課題に対して、フィードフォワードニューラルネットワークはレイヤーの構成として定義されます。層は、関数である$L\colon\mathbf{R}^n\to\mathbf{R}^m$行列で指定された$A\in\mathbf{R}^{m\times n}$の重みベクトル$b\in\mathbf{R}^m$のバイアス、及び活性化関数 $f\colon\mathbf{R}\to\mathbf{R}$ coordinate-適用されます賢い：

$$L(x) := f(Ax+b), \qquad x\in\mathbf{R}^n.$$

アクティベーション関数は任意のタスクに合わせて調整できるため、この課題を面白くするためにアクティベーション関数のクラスを制限する必要があります。次のアクティベーション機能が許可されています。

• 身元。 $f(t)=t$

• ReLU。 $f(t)=\operatorname{max}(t,0)$

• ソフトプラス。 $f(t)=\ln(e^t+1)$

• 双曲線正接。 $f(t)=\tanh(t)$

• シグモイド。 $f(t)=\frac{e^t}{e^t+1}$

全体として、許容ニューラルネットは、フォームとる$L_k\circ L_{k-1}\circ\cdots \circ L_2\circ L_1$、いくつかのために$k$各層、$L_i$重みで指定された$A_i$、バイアス$b_i$、及び活性化関数$f_i$上記のリストから。たとえば、次のニューラルネットは許容されます（このチャレンジのパフォーマンス目標を満たしていませんが、有用なガジェットである可能性があります）。

$$\left[\begin{array}{c}\min(a,b)\\\max(a,b)\end{array}\right]=\left[\begin{array}{rrrr}1&-1&-\frac{1}{2}&-\frac{1}{2}\\1&-1&\frac{1}{2}&\frac{1}{2}\end{array}\right]\mathrm{ReLU}\left[\begin{array}{rr}\frac{1}{2}&\frac{1}{2}\\-\frac{1}{2}&-\frac{1}{2}\\1&-1\\-1&1\end{array}\right]\left[\begin{array}{c}a\\b\end{array}\right]$$

この例では、2つのレイヤーを示しています。両方の層のバイアスはゼロです。最初のレイヤーはReLUアクティベーションを使用し、2番目のレイヤーはIDアクティベーションを使用します。

得点

あなたのスコアは ゼロ以外の重みとバイアスのです。

（たとえば、バイアスベクトルがゼロなので、上記の例のスコアは16です。）

オクターブ、96 88 87 84 76 54 50重みとバイアス

この6層ニューラルネットは、基本的に、非常に単純な/ ネットワークをコンポーネントとして構築された3ステップのソートネットワークです。基本的には、以下に示すウィキペディアのネットワークの例を少し修正したものです。最初の2つの比較は並行して行われます。ReLUを介して負の数をバイパスするには、最初に100を加算し、最後に再度100を減算します。minmax

したがって、これは単純な実装であるため、単にベースラインと見なす必要があります。ただし、大きさが大きすぎないすべての可能な数を完全にソートします。（100を別の数値に置き換えることにより、範囲を調整できます。）

オンラインでお試しください！

最大/最小コンポーネント

（ありかなり少ないエレガント少ないパラメータを使用して2つの数の最小値と最大値を見つけるために！今、よりエレガントな方法、感謝の@xnor）の方法は：

$$\begin{align} \min &= a - ReLU(a-b) \\ \max &= b + ReLU(a-b) \end{align}$$

これは、より少ない重みとバイアスを使用する必要があることを意味します。

@Joelに、最初のステップですべての数値を正にし、最後のステップでそれを逆にすれば十分であり、重みが-8になることを指摘してくれてありがとう。@xnorに、-22ウェイトになるさらに短いmax / minメソッドを指摘してくれてありがとう！@ DustinG.Mixonに、別の-4ウェイトをもたらす特定のマトリックスを組み合わせるヒントをありがとう！

function z = net(u)
a1 = [100;100;0;100;100;0];
A1 = [1 0 0 0;0 0 1 0;1 0 -1 0;0 1 0 0;0 0 0 1;0 1 0 -1];
B1 = [1 0 -1 0 0 0;0 0 0 1 0 -1;0 1 1 0 0 0;0 0 0 0 1 1];
A2 = [1 0 0 0;0 1 0 0;1 -1 0 0;0 0 1 0;0 0 0 1;0 0 1 -1];
A3 = [1 0 -1 0 0 0;0 1 1 0 0 0;0 0 0 1 0 -1;0 1 1 -1 0 1;0 0 0 0 1 1];
B3 = [1 0 0 0 0;0 1 0 -1 0;0 0 1 1 0;0 0 0 0 1];
b3 = -[100;100;100;100];
relu = @(x)x .* (x>0);
id = @(x)x;
v = relu(A1 * u + a1);
w = id(B1 * v) ;
x = relu(A2 * w);
y = relu(A3 * x);
z = id(B3 * y + b3);
% disp(nnz(a1)+nnz(A1)+nnz(B1)+nnz(A2)+nnz(A3)+nnz(B3)+nnz(b3)); %uncomment to count the total number of weights
end

オンラインでお試しください！