2
トレーニングが長すぎる場合のAdamオプティマイザーの奇妙な動作
私は64個のランダムに生成されたデータポイントで単一のパーセプトロン（1000入力ユニット、1出力、非表示レイヤーなし）をトレーニングしようとしています。私はAdamオプティマイザを使用してPytorchを使用しています： import torch from torch.autograd import Variable torch.manual_seed(545345) N, D_in, D_out = 64, 1000, 1 x = Variable(torch.randn(N, D_in)) y = Variable(torch.randn(N, D_out)) model = torch.nn.Linear(D_in, D_out) loss_fn = torch.nn.MSELoss(size_average=False) optimizer = torch.optim.Adam(model.parameters()) for t in xrange(5000): y_pred = model(x) loss = loss_fn(y_pred, y) print(t, loss.data[0]) optimizer.zero_grad() loss.backward() optimizer.step() 最初は、予想どおり損失が急速に減少します。 …