imdb.load_data（）関数の「allow_pickle = False」のときに「オブジェクト配列をロードできない」を修正するにはどうすればよいですか？

Google Colabの IMDbデータセットを使用してバイナリ分類の例を実装しようとしています。このモデルは以前に実装しました。しかし、数日後にもう一度実行しようとすると、値エラーが返されました。

私はすでにこれを解決しようとしましたが、同様の問題の既存の回答を参照しています：sketch_rnnアルゴリズムで「allow_pickle = False」のときにオブジェクト配列をロードできない方法 しかし、allow_pickle引数を追加するだけでは不十分であることがわかります。

私のコード：

from keras.datasets import imdb
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

エラー：

ValueError                                Traceback (most recent call last)
<ipython-input-1-2ab3902db485> in <module>()
      1 from keras.datasets import imdb
----> 2 (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

2 frames
/usr/local/lib/python3.6/dist-packages/keras/datasets/imdb.py in load_data(path, num_words, skip_top, maxlen, seed, start_char, oov_char, index_from, **kwargs)
     57                     file_hash='599dadb1135973df5b59232a0e9a887c')
     58     with np.load(path) as f:
---> 59         x_train, labels_train = f['x_train'], f['y_train']
     60         x_test, labels_test = f['x_test'], f['y_test']
     61 

/usr/local/lib/python3.6/dist-packages/numpy/lib/npyio.py in __getitem__(self, key)
    260                 return format.read_array(bytes,
    261                                          allow_pickle=self.allow_pickle,
--> 262                                          pickle_kwargs=self.pickle_kwargs)
    263             else:
    264                 return self.zip.read(key)

/usr/local/lib/python3.6/dist-packages/numpy/lib/format.py in read_array(fp, allow_pickle, pickle_kwargs)
    690         # The array contained Python objects. We need to unpickle the data.
    691         if not allow_pickle:
--> 692             raise ValueError("Object arrays cannot be loaded when "
    693                              "allow_pickle=False")
    694         if pickle_kwargs is None:

ValueError: Object arrays cannot be loaded when allow_pickle=False

imdb.load_dataノートブックでこの行を置き換えて、ピクルスを許可するように強制するトリックを次に示します。

(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

これで：

import numpy as np
# save np.load
np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

この問題はまだkeras gitで発生しています。それができるだけ早く解決されることを願っています。それまでは、numpyバージョンを1.16.2にダウングレードしてみてください。問題は解決したようです。

!pip install numpy==1.16.1
import numpy as np

このバージョンのnumpyのデフォルト値はallow_pickleas Trueです。

GitHubでこの問題が発生した後の正式な解決策は、imdb.pyファイルを編集することです。この修正は、numpyをダウングレードする必要なく、私にとってはうまくいきました。imdb.pyファイルをtensorflow/python/keras/datasets/imdb.py（私のフルパスは：C:\Anaconda\Lib\site-packages\tensorflow\python\keras\datasets\imdb.py-他のインストールは異なるでしょう）で見つけ、85行目を差分に従って変更します。

-  with np.load(path) as f:
+  with np.load(path, allow_pickle=True) as f:

変更の理由は、ピクル化されたファイルでのSQLインジェクションに相当するPythonを防ぐためのセキュリティです。上記の変更はimdbデータにのみ影響するため、他の場所でセキュリティを保持します（numpyをダウングレードしないことにより）。

np.load（）への引数としてallow_pickle = Trueを使用したところ、うまくいきました。

私の場合、以下で動作しました：

np.load(path, allow_pickle=True)

cheez（https://stackoverflow.com/users/122933/cheez）からの答えが最も簡単で効果的なものだと思います。セッション期間全体でnumpy関数を変更しないように、少し詳しく説明します。

私の提案は以下です。私はそれを使用して、同じ種類のエラーを示しているkerasからロイターデータセットをダウンロードしています。

old = np.load
np.load = lambda *a,**k: old(*a,**k,allow_pickle=True)

from keras.datasets import reuters
(train_data, train_labels), (test_data, test_labels) = reuters.load_data(num_words=10000)

np.load = old
del(old)

フラグの値を変更してみてください

np.load(training_image_names_array,allow_pickle=True)

上記の解決策のどれも私にとってうまくいきませんでした：私はpython 3.7.3でanacondaを実行します。私のために働いたのは

• Anaconda powershellから「conda install numpy == 1.16.1」を実行します

• ノートブックを閉じて再度開く

使用してjupyterノートに

np_load_old = np.load

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

正常に動作しましたが、spyderでこのメソッドを使用すると問題が発生します（毎回カーネルを再起動する必要があります。そうしないと、次のようなエラーが発生します：

TypeError：（）キーワード引数 'allow_pickle'に複数の値を取得しました

私はここの解決策を使用してこの問題を解決しました：

私はここに上陸し、あなたの方法を試してみましたが、理解できませんでした。

私は実際に所定のコードに取り組んでいました

pickle.load(path)

使用したので交換しました

np.load(path, allow_pickle=True)

はい、以前のバージョンのnumpyをインストールすると問題が解決しました。

PyCharm IDEを使用する人のために：

私のIDE（Pycharm）で、File-> Settings-> Project Interpreter：numpyが1.16.3であることがわかったので、1.16.1に戻します。+をクリックして検索でnumpyと入力し、「バージョンを指定」にチェックマークを付けて、1.16.1を選択し、->パッケージをインストールします。

imdb.pyへのパスを見つけて、フラグをnp.load（path、... flag ...）に追加するだけです

    def load_data(.......):
    .......................................
    .......................................
    - with np.load(path) as f:
    + with np.load(path,allow_pickle=True) as f:

私の仕事

        np_load_old = np.load
        np.load = lambda *a: np_load_old(*a, allow_pickle=True)
        (x_train, y_train), (x_test, y_test) = reuters.load_data(num_words=None, test_split=0.2)
        np.load = np_load_old

私が見つけたのは、TensorFlow 2.0（私は2.0.0-alpha0を使用しています）がNumpyの最新バージョン、つまりv1.17.0（および場合によってはv1.16.5 +）と互換性がないことです。TF2がインポートされるとすぐに、次のようなFutureWarningの膨大なリストがスローされます。

FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:541: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_qint8 = np.dtype([("qint8", np.int8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:542: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.
  _np_quint8 = np.dtype([("quint8", np.uint8, 1)])
/anaconda3/lib/python3.6/site-packages/tensorboard/compat/tensorflow_stub/dtypes.py:543: FutureWarning: Passing (type, 1) or '1type' as a synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'.

これにより、kerasからimdbデータセットをロードしようとすると、allow_pickleエラーが発生しました。

うまく機能する次のソリューションを使用しようとしましたが、TF2またはtf.kerasをインポートするすべてのプロジェクトでそれを実行する必要がありました。

np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

私が見つけた最も簡単な解決策は、numpy 1.16.1をグローバルにインストールするか、仮想環境で互換性のあるバージョンのtensorflowとnumpyを使用することでした。

この回答の私の目標は、それがimdb.load_dataの問題だけでなく、TF2とNumpyのバージョンの非互換性によって引き起こされるより大きな問題であり、他の多くの隠れたバグや問題を引き起こす可能性があることを指摘することです。

Tensorflowはtf-nightlyバージョンで修正されています。

!pip install tf-nightly

現在のバージョンは「2.0.0-dev20190511」です。

@cheezの答えがうまくいかず、関数を何度も再帰的に呼び出す場合があります。この問題を解決するには、関数を深くコピーする必要があります。関数を使用してこれを行うことができるpartialため、最終的なコードは次のようになります。

import numpy as np
from functools import partial

# save np.load
np_load_old = partial(np.load)

# modify the default parameters of np.load
np.load = lambda *a,**k: np_load_old(*a, allow_pickle=True, **k)

# call load_data with allow_pickle implicitly set to true
(train_data, train_labels), (test_data, test_labels) = 
imdb.load_data(num_words=10000)

# restore np.load for future normal usage
np.load = np_load_old

私は通常これらのものに投稿しませんが、これは非常に迷惑でした。混乱は、いくつかのKeras imdb.pyファイルがすでに更新されているという事実から生じます：

with np.load(path) as f:

のバージョンにallow_pickle=True。imdb.pyファイルをチェックして、この変更がすでに実装されているかどうかを確認してください。調整されている場合、以下は正常に機能します。

from keras.datasets import imdb
(train_text, train_labels), (test_text, test_labels) = imdb.load_data(num_words=10000)

最も簡単な方法は、エラーをスローする行でimdb.py設定を変更するallow_pickle=Trueことです。np.loadimdb.py