Python関数をピクルする（またはコードをシリアル化する）簡単な方法はありますか？

（asyncoreを使用して）ネットワーク接続を介して関数を転送しようとしています。このような転送のためにPython関数（この場合は少なくとも、副作用がないもの）をシリアル化する簡単な方法はありますか？

理想的には、次のような機能のペアが欲しいです。

def transmit(func):
    obj = pickle.dumps(func)
    [send obj across the network]

def receive():
    [receive obj from the network]
    func = pickle.loads(s)
    func()

関数のバイトコードをシリアル化してから、呼び出し側で再構築できます。マーシャルモジュールは機能に再構築することができるシリアライズコードオブジェクトに使用することができます。つまり：

import marshal
def foo(x): return x*x
code_string = marshal.dumps(foo.func_code)

次に、リモートプロセスで（code_stringを転送した後）：

import marshal, types

code = marshal.loads(code_string)
func = types.FunctionType(code, globals(), "some_func_name")

func(10)  # gives 100

いくつかの警告：

• marshalのフォーマット（つまり、Pythonバイトコード）は、Pythonのメジャーバージョン間で互換性がない場合があります。

• cpython実装でのみ機能します。

• 関数が、ピックアップする必要があるグローバル（インポートされたモジュール、他の関数などを含む）を参照する場合、これらもシリアル化するか、リモート側で再作成する必要があります。私の例では、リモートプロセスのグローバル名前空間を示しています。

• おそらく、クロージャーやジェネレーター関数などのより複雑なケースをサポートするために、もう少し行う必要があります。

Pythonのpickleライブラリを拡張して、関数を含むさまざまな型をサポートするDillを確認してください。

>>> import dill as pickle
>>> def f(x): return x + 1
...
>>> g = pickle.dumps(f)
>>> f(1)
2
>>> pickle.loads(g)(1)
2

また、関数のクロージャー内のオブジェクトへの参照もサポートしています。

>>> def plusTwo(x): return f(f(x))
...
>>> pickle.loads(pickle.dumps(plusTwo))(1)
3

Pyroはこれを行うことができます。

最も簡単な方法は、おそらくinspect.getsource(object)（inspectモジュールを参照）、関数またはメソッドのソースコードを含む文字列を返すことです。

すべては、実行時に関数を生成するかどうかによって異なります。

そうした場合- inspect.getsource(object)動的に生成された関数はオブジェクトのソースを.pyファイルから取得するため機能せず、実行前に定義された関数のみをソースとして取得できます。

とにかく関数がファイルに配置されている場合は、レシーバーにそれらの関数へのアクセスを許可し、モジュール名と関数名のみを渡すようにしてください。

私が考えることができる動的に作成された関数の唯一の解決策は、送信前に文字列として関数を構築し、ソースを送信しeval()てから、受信側でそれを実行することです。

編集：marshalソリューションはかなりスマートに見えますが、組み込みのもの以外をシリアル化できることを知りませんでした

cloudパッケージは、（ピップは、クラウドをインストール）の依存関係を含め、任意のコードを酸洗いすることができます。https://stackoverflow.com/a/16891169/1264797を参照してください。

code_string = '' '
def foo（x）：
    x * 2を返す
def bar（x）：
    x ** 2を返す
'' '

obj = pickle.dumps（code_string）

今

exec（pickle.loads（obj））

foo（1）
> 2
バー（3）
> 9

あなたはこれを行うことができます：

def fn_generator():
    def fn(x, y):
        return x + y
    return fn

これで、モジュール名への参照transmit(fn_generator())ではfn(x,y)なく、実際の定義が送信されます。

同じトリックを使用して、ネットワーク経由でクラスを送信できます。

このモジュールで使用される基本的な関数はクエリをカバーし、さらにネットワーク全体で最高の圧縮を実現します。有益なソースコードを見てください：

y_serial.pyモジュール:: SQLiteでPythonオブジェクトをウェアハウス

"シリアライゼーション+パーシスタンス::数行のコードで、PythonオブジェクトをSQLiteに圧縮して注釈を付けます。その後、SQLを使用せずに、キーワードで年代順に取得します。データベースがスキーマレスデータを格納するための最も便利な「標準」モジュールです。"

http://yserial.sourceforge.net

Cloudpickleはおそらくあなたが探しているものです。Cloudpickleは次のように説明されます。

cloudpickleは、Pythonコードがネットワークを介して出荷され、データに近いリモートホストで実行されるクラスターコンピューティングに特に役立ちます。

使用例：

def add_one(n):
  return n + 1

pickled_function = cloudpickle.dumps(add_one)
pickle.loads(pickled_function)(42)

以下は、関数をラップしてピックル可能にするために使用できるヘルパークラスです。すでに言及されている警告marshalが適用されますが、可能な場合はいつでもピクルスを使用するように努めます。シリアライゼーション全体でグローバルまたはクロージャを保持するための取り組みは行われません。

    class PicklableFunction:
        def __init__(self, fun):
            self._fun = fun

        def __call__(self, *args, **kwargs):
            return self._fun(*args, **kwargs)

        def __getstate__(self):
            try:
                return pickle.dumps(self._fun)
            except Exception:
                return marshal.dumps((self._fun.__code__, self._fun.__name__))

        def __setstate__(self, state):
            try:
                self._fun = pickle.loads(state)
            except Exception:
                code, name = marshal.loads(state)
                self._fun = types.FunctionType(code, {}, name)