KerasのHDF5ファイルからモデルをロードする方法は?


94

KerasのHDF5ファイルからモデルをロードする方法は?

私が試したこと:

model = Sequential()

model.add(Dense(64, input_dim=14, init='uniform'))
model.add(LeakyReLU(alpha=0.3))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Dropout(0.5))

model.add(Dense(64, init='uniform'))
model.add(LeakyReLU(alpha=0.3))
model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
model.add(Dropout(0.5))

model.add(Dense(2, init='uniform'))
model.add(Activation('softmax'))


sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
model.compile(loss='binary_crossentropy', optimizer=sgd)

checkpointer = ModelCheckpoint(filepath="/weights.hdf5", verbose=1, save_best_only=True)
model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose = 2, callbacks=[checkpointer])

上記のコードは、最適なモデルをweights.hdf5という名前のファイルに正常に保存します。次に、そのモデルをロードします。以下のコードは、私がそうしようとした方法を示しています。

model2 = Sequential()
model2.load_weights("/Users/Desktop/SquareSpace/weights.hdf5")

これは私が得るエラーです:

IndexError                                Traceback (most recent call last)
<ipython-input-101-ec968f9e95c5> in <module>()
      1 model2 = Sequential()
----> 2 model2.load_weights("/Users/Desktop/SquareSpace/weights.hdf5")

/Applications/anaconda/lib/python2.7/site-packages/keras/models.pyc in load_weights(self, filepath)
    582             g = f['layer_{}'.format(k)]
    583             weights = [g['param_{}'.format(p)] for p in range(g.attrs['nb_params'])]
--> 584             self.layers[k].set_weights(weights)
    585         f.close()
    586 

IndexError: list index out of range

回答:


84

load_weightsネットワークの重みのみを設定します。呼び出す前に、アーキテクチャを定義する必要がありますload_weights

def create_model():
   model = Sequential()
   model.add(Dense(64, input_dim=14, init='uniform'))
   model.add(LeakyReLU(alpha=0.3))
   model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
   model.add(Dropout(0.5)) 
   model.add(Dense(64, init='uniform'))
   model.add(LeakyReLU(alpha=0.3))
   model.add(BatchNormalization(epsilon=1e-06, mode=0, momentum=0.9, weights=None))
   model.add(Dropout(0.5))
   model.add(Dense(2, init='uniform'))
   model.add(Activation('softmax'))
   return model

def train():
   model = create_model()
   sgd = SGD(lr=0.1, decay=1e-6, momentum=0.9, nesterov=True)
   model.compile(loss='binary_crossentropy', optimizer=sgd)

   checkpointer = ModelCheckpoint(filepath="/tmp/weights.hdf5", verbose=1, save_best_only=True)
   model.fit(X_train, y_train, nb_epoch=20, batch_size=16, show_accuracy=True, validation_split=0.2, verbose=2, callbacks=[checkpointer])

def load_trained_model(weights_path):
   model = create_model()
   model.load_weights(weights_path)

37
あなたがフルモデルだけでなく、ウェイトをロードする場合:from keras.models import load_modelその後model = load_model('model.h5')
cgnorthcutt

1
@mikael、このSO投稿のヒントを教えてください。stackoverflow.com/questions/55050339/...
HenryHub

207

重みだけでなく完全なモデルをHDF5ファイルに保存した場合、それは次のように単純です。

from keras.models import load_model
model = load_model('model.h5')

モデルのメモリフットプリントを計算するときに、モデルには実際のトレーニングデータも含まれていますか?使用可能なメモリよりも大きいモデルをどのようにロードできますか?
user798719 2017年

モデルには(明示的に)トレーニングデータは含まれていません。使用可能なメモリよりも大きいモデルをロードすることはできません(まあ、それは可能ですが、これは非常に困難であり、自分でそれを実行する必要があります...しかし、モデルが大きすぎてロードできない場合(a)より多くのメモリを取得するか、(b)より小さなモデルをトレーニングする必要があります)
Martin Thoma 2017年

@MartinThoma私はあなたが提案した方法を使用しています。私は、ロードされたモデルのうちの一つの層を取得しようとすることによって、それの重みを確認しようとしている。 encoder = autoencoder.layers[0] encoder.get_weights() しかし、私は取得しています: FailedPreconditionError: Attempting to use uninitialized value lstm_1/kernel
shubhamsingh

1
褒め言葉に感謝します:-)受け入れられた答えを強調するために:重みだけを保存する方がより堅牢であると想像できました。ケラスが変更された場合でも、ウェイトはインポートできますが、完全なものはインポートできません。一方、古いバージョンをインストールし、重みをダンプして、以前と同じようにすることができます。
マーティントーマ2018年

@ pr338受け入れた回答を更新することを検討してください。
クリス

28

基本的なKerasニューラルネットモデルを構築し、モデル(JSON)とウェイト(HDF5)を保存してロードする方法については、次のサンプルコードを参照してください。

# create model
model = Sequential()
model.add(Dense(X.shape[1], input_dim=X.shape[1], activation='relu')) #Input Layer
model.add(Dense(X.shape[1], activation='relu')) #Hidden Layer
model.add(Dense(output_dim, activation='softmax')) #Output Layer

# Compile & Fit model
model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X,Y,nb_epoch=5,batch_size=100,verbose=1)    

# serialize model to JSON
model_json = model.to_json()
with open("Data/model.json", "w") as json_file:
    json_file.write(simplejson.dumps(simplejson.loads(model_json), indent=4))

# serialize weights to HDF5
model.save_weights("Data/model.h5")
print("Saved model to disk")

# load json and create model
json_file = open('Data/model.json', 'r')
loaded_model_json = json_file.read()
json_file.close()
loaded_model = model_from_json(loaded_model_json)

# load weights into new model
loaded_model.load_weights("Data/model.h5")
print("Loaded model from disk")

# evaluate loaded model on test data 
# Define X_test & Y_test data first
loaded_model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])
score = loaded_model.evaluate(X_test, Y_test, verbose=0)
print ("%s: %.2f%%" % (loaded_model.metrics_names[1], score[1]*100))

1
これは、jsonとh5からモデルをロードする際に役立ちました。@AliExpressGeekの例を使用する場合は、model.compile()を覚えていることを確認してください。model.evaluateを呼び出す前に必要です。素晴らしい例、ありがとう!
CodeGuyRoss 2018年

6

公式ドキュメントによると https://keras.io/getting-started/faq/#how-can-i-install-hdf5-or-h5py-to-save-my-models-in-keras

できるよ :

最初に、h5pyがインストールされているかどうかをテストします。

import h5py

h5pyのインポート中にエラーが発生しない場合は、保存しておくとよいでしょう。

from keras.models import load_model

model.save('my_model.h5')  # creates a HDF5 file 'my_model.h5'
del model  # deletes the existing model

# returns a compiled model
# identical to the previous one
model = load_model('my_model.h5')

h5pyをインストールする必要がある場合http://docs.h5py.org/en/latest/build.html


3
これは、h5py2.9.0を使用するKeras2.2.4では機能しないようです。私は次のエラーを取得:Anaconda3 \ ENVS \合成を\ libに\のsite-packages \ keras \ utilsの\ io_utils.py」、行302、中__getitem __ 昇給とValueError( '読み取り専用モードでグループを作成できません')
csteel

0

私はこのようにしました

from keras.models import Sequential
from keras_contrib.losses import import crf_loss
from keras_contrib.metrics import crf_viterbi_accuracy

# To save model
model.save('my_model_01.hdf5')

# To load the model
custom_objects={'CRF': CRF,'crf_loss': crf_loss,'crf_viterbi_accuracy':crf_viterbi_accuracy}

# To load a persisted model that uses the CRF layer 
model1 = load_model("/home/abc/my_model_01.hdf5", custom_objects = custom_objects)

model.save()はありません。model.model.save()のみがあります。そして、このモデルをロードし直して、元の作成されたモデルの方法で使用すると、エラーが発生します。ロードされたオブジェクトは<keras.engine.sequential.Sequentialですが、作成するオブジェクトはkeras.wrappers.scikit_learn.KerasRegressorです。どうすれば変更できますか?

私は、[サイトの下に私の問題を解決しgithub.com/keras-team/keras-contrib/blob/master/keras_contrib/...
TRINADH NAGUBADI

私はそのリンクで404を取得しました


@TRINADH NAGUBADI、リンクを更新してください。ページはもう存在しません。
Catalina Chircu
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.