Python 3によるPython 2オブジェクトのunpickle化

Python 2.4で、Python 3.4を使用してpickle化されたオブジェクトをロードする方法があるかどうか疑問に思っています。

私はそれを最新の状態にするために、会社の大量のレガシーコードで2to3を実行しています。

これを行った後、ファイルを実行すると次のエラーが発生します。

  File "H:\fixers - 3.4\addressfixer - 3.4\trunk\lib\address\address_generic.py"
, line 382, in read_ref_files
    d = pickle.load(open(mshelffile, 'rb'))
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 1: ordinal
not in range(128)

競合しているpickle化されたオブジェクトを見ると、これはのdictでありdict、キーとtypeの値が含まれていますstr。

だから私の質問は：もともとPython 2.4でピクルされたオブジェクトをPython 3.4でロードする方法はありますか？

あなたは指示する必要がありますpickle.load()PythonはPythonの3つの文字列にデータをバイト文字列に変換するために、またはあなたが言うことができるどのようにpickleバイトとしてそれらを残すこと。

デフォルトでは、すべての文字列データをASCIIとしてデコードしようとしますが、そのデコードは失敗します。pickle.load()ドキュメントを参照してください：

オプションのキーワード引数はfix_imports、encoding、およびerrorsです。これらは、Python 2によって生成されたピクルストリームの互換性サポートを制御するために使用されます。エンコーディングとエラーは、Python 2によってピクルされた8ビット文字列インスタンスをデコードする方法をpickleに指示します。これらのデフォルトは、それぞれ「ASCII」と「strict」です。符号化は、バイト・オブジェクトとして、これらの8ビット文字列インスタンスを読み込むために「バイト」であることができます。

エンコーディングをに設定するとlatin1、データを直接インポートできます。

with open(mshelffile, 'rb') as f:
    d = pickle.load(f, encoding='latin1') 

ただし、文字列が誤ったコーデックを使用してデコードされていないことを確認する必要があります。Latin-1は、バイト値0-255を最初の256個のUnicodeコードポイントに直接マップするため、あらゆる入力に対して機能します。

別の方法としては、を使用してデータを読み込み、encoding='bytes'すべてのbytesキーと値を後でデコードします。

3.6.8、3.7.2、3.8.0より前のバージョンのPythonではdatetime、を使用しない限り、Python 2 オブジェクトデータのunpickle化は失敗しますencoding='bytes'。

使い方は、encoding='latin1'あなたのオブジェクトは、それにnumpyの配列が含まれているいくつかの問題が発生します。

使用encoding='bytes'する方が良いでしょう。

使用の完全な説明については、この回答を参照してくださいencoding='bytes'