パッケージサブディレクトリのデータにアクセスする

./data/サブディレクトリのデータファイルを開く必要があるモジュールを含むpythonパッケージを書いています。現在、クラスと関数にハードコードされたファイルへのパスがあります。ユーザーのシステムのどこにインストールされているかに関係なく、サブディレクトリにアクセスできるより堅牢なコードを書きたいと思います。

いろいろな方法を試しましたが、今のところ運がありません。ほとんどの「現在のディレクトリ」コマンドは、モジュールのディレクトリではなく、システムのpythonインタプリタのディレクトリを返すようです。

これは、ささいな一般的な問題であるはずです。しかし、私はそれを理解することができないようです。問題の一部は、データファイルがファイルではない.pyため、インポート機能などを使用できないことです。

助言がありますか？

現在、パッケージディレクトリは次のようになっています。

/
__init__.py
module1.py
module2.py
data/   
   data.txt

私がアクセスしようとしていますdata.txtからmodule*.py！

次の__file__ようにして、パッケージへのパスを取得できます。

import os
this_dir, this_filename = os.path.split(__file__)
DATA_PATH = os.path.join(this_dir, "data", "data.txt")
print open(DATA_PATH).read()

これを行う標準的な方法は、setuptoolsパッケージとpkg_resourcesを使用することです。

このリンクに従って、次の階層に従ってパッケージをレイアウトし、パッケージリソースをポイントするようにパッケージセットアップファイルを構成できます。

http://docs.python.org/distutils/setupscript.html#installing-package-data

このリンクに従って、pkg_resourcesを使用してそれらのファイルを再検索して使用できます。

http://peak.telecommunity.com/DevCenter/PkgResources#basic-resource-access

import pkg_resources

DATA_PATH = pkg_resources.resource_filename('<package name>', 'data/')
DB_FILE = pkg_resources.resource_filename('<package name>', 'data/sqlite.db')

今日機能するソリューションを提供するため。これらのホイールをすべて再発明しないように、このAPIを確実に使用してください。

真のファイルシステムのファイル名が必要です。圧縮された卵はキャッシュディレクトリに抽出されます。

from pkg_resources import resource_filename, Requirement

path_to_vik_logo = resource_filename(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

指定されたリソースの読み取り可能なファイルのようなオブジェクトを返します。実際のファイル、StringIO、または同様のオブジェクトの場合があります。ストリームは「バイナリモード」です。つまり、リソース内のバイトはそのまま読み取られます。

from pkg_resources import resource_stream, Requirement

vik_logo_as_stream = resource_stream(Requirement.parse("enb.portals"), "enb/portals/reports/VIK_logo.png")

pkg_resourcesを使用したパッケージ検出とリソースアクセス

• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#resource-extraction
• https://setuptools.readthedocs.io/en/latest/pkg_resources.html#basic-resource-access

多くの場合、詳細コードがそのままでは機能しないという答えを出すのは意味がありませんが、これは例外であると思います。importlib.resources置き換えpkg_resourcesられることになっているPython 3.7が追加されました。名前にスラッシュが含まれていないパッケージ内のファイルにアクセスする場合に機能します。

foo/
    __init__.py
    module1.py
    module2.py
    data/   
       data.txt
    data2.txt

つまり、たとえば次のようにしdata2.txtてパッケージ内にアクセスできますfoo

importlib.resources.open_binary('foo', 'data2.txt')

しかし、それは例外で失敗します

>>> importlib.resources.open_binary('foo', 'data/data.txt')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python3.7/importlib/resources.py", line 87, in open_binary
    resource = _normalize_path(resource)
  File "/usr/lib/python3.7/importlib/resources.py", line 61, in _normalize_path
    raise ValueError('{!r} must be only a file name'.format(path))
ValueError: 'data/data2.txt' must be only a file name

これを配置__init__.pyしdataてパッケージとして使用しない限り、これを修正することはできません。

importlib.resources.open_binary('foo.data', 'data.txt')

この動作の理由は、「仕様によるもの」です。しかし、デザインが変わる可能性があります ...

モジュール全体の名前が必要です。ディレクトリツリーにはその詳細がリストされていません。私にとってこれはうまくいきました：

import pkg_resources
print(    
    pkg_resources.resource_filename(__name__, 'data/data.txt')
)

注目すべきことに、setuptoolsはパックされたデータファイルとの名前の一致に基づいてファイルを解決するようには見えないので、data/何があってもプレフィックスをほとんど含める必要があります。os.path.join('data', 'data.txt)代替のディレクトリセパレータが必要な場合に使用できます。ただし、ハードコードされたUNIXスタイルのディレクトリセパレータとの互換性の問題は通常ありません。

私は答えを見つけたと思います。

モジュールdata_path.pyを作成します。これを含む他のモジュールにインポートします。

data_path = os.path.join(os.path.dirname(__file__),'data')

そして、私はすべてのファイルを

open(os.path.join(data_path,'filename'), <param>)