setuptools setup.pyファイル内のinstall_requires kwargの参照requirements.txt

requirements.txtTravis-CIで使用しているファイルがあります。との両方requirements.txtで要件を複製するのはばかげているようですsetup.py。そのため、ファイルハンドルをのinstall_requireskwargに渡したいと思っていましたsetuptools.setup。

これは可能ですか？もしそうなら、私はそれをどうやってやるべきですか？

これが私のrequirements.txtファイルです：

guessit>=0.5.2
tvdb_api>=1.8.2
hachoir-metadata>=1.3.3
hachoir-core>=1.3.3
hachoir-parser>=1.3.4

あなたはそれを周りに反転し、リスト内の依存関係をすることができますsetup.pyし、単一の文字がある-ドット.で- requirements.txt代わりに。

または、アドバイスされrequirements.txtていなくても、次のハック（でテスト）を使用してファイルを解析できます（URLで外部要件を参照していない場合pip 9.0.1）。

install_reqs = parse_requirements('requirements.txt', session='hack')

ただし、これは環境マーカーをフィルターしません。

古いバージョンのpip、具体的には6.0より古いバージョンでは、これを実現するために使用できるパブリックAPIがあります。要件ファイルにはコメント（#）を含めることができ、その他のファイル（--requirementまたは-r）を含めることができます。したがって、本当に解析したい場合requirements.txtは、pipパーサーを使用できます。

from pip.req import parse_requirements

# parse_requirements() returns generator of pip.req.InstallRequirement objects
install_reqs = parse_requirements(<requirements_path>)

# reqs is a list of requirement
# e.g. ['django==1.5.1', 'mezzanine==1.4.6']
reqs = [str(ir.req) for ir in install_reqs]

setup(
    ...
    install_requires=reqs
)

一見したところrequirements.txt、setup.py、ばかげて重複、フォームは似ていますが、目的の機能が大きく異なることを理解することが重要です。

依存関係を指定するときのパッケージ作成者の目標は、「このパッケージをインストールする場所はどこでも、これらはこのパッケージが機能するために必要な他のパッケージです」と言うことです。

対照的に、展開の作成者（異なる時点で同じ人物である可能性があります）は、「ここにまとめてテストし、今インストールする必要があるパッケージのリストを示します」と言うという点で、別の仕事をしています。

パッケージ作成者はさまざまなシナリオで作成します。なぜなら、彼らは自分たちの仕事を知らない方法で使用するためにそこに出し、パッケージと一緒にインストールされるパッケージを知る方法がないからです。良い隣人となり、他のパッケージとの依存関係バージョンの競合を回避するために、彼らは、機能する可能性がある限り広い範囲の依存関係バージョンを指定する必要があります。これは何install_requiresでsetup.pyありません。

展開の作成者は、非常に異なる非常に具体的な目標（特定のコンピューターにインストールされているインストール済みのアプリケーションまたはサービスの単一のインスタンス）について記述します。デプロイメントを正確に制御し、適切なパッケージが確実にテストおよびデプロイされるようにするために、デプロイメント作成者は、インストールするすべてのパッケージの正確なバージョンとソースの場所（依存関係と依存関係を含む）を指定する必要があります。この仕様では、デプロイメントを複数のマシンに繰り返し適用したり、テストマシンでテストしたりできます。デプロイメント作成者は、同じパッケージが毎回デプロイされることを確信できます。これはa requirements.txtが行うことです。

どちらもパッケージとバージョンの大きなリストのように見えますが、これら2つには非常に異なるジョブがあることがわかります。そして、これを混同して間違いを犯すことは間違いなく簡単です！しかし、これについて考える正しい方法requirements.txtは、すべてのさまざまなsetup.pyパッケージファイルの要件によってもたらされる「質問」に対する「答え」です。手で書くのではなくsetup.py、目的のパッケージのセットに含まれるすべてのファイルを調べ、すべての要件に適合すると思われるパッケージのセットを見つけ、インストール後に「凍結」するようにpipに指示することで生成されることがよくあります。 "パッケージのリストをテキストファイルに保存します（これはpip freeze名前の由来です）。

したがって、要点：

• setup.pyまだ実行可能な最も緩やかな依存バージョンを宣言する必要があります。その仕事は、特定のパッケージが何に対応できるかを言うことです。
• requirements.txtインストールジョブ全体を定義するデプロイメントマニフェストであり、1つのパッケージに関連付けられているとは考えないでください。その役割は、デプロイメントを機能させるために必要なすべてのパッケージの完全なリストを宣言することです。
• これら2つは内容が異なり、存在する理由があるため、一方を他方に単純にコピーすることはできません。

参照：

• Pythonパッケージユーザーガイドのinstall_requiresと要件ファイル。

ファイルハンドルを受け取ることはできません。install_requires引数ができるだけで、文字列または文字列のリストです。

もちろん、セットアップスクリプトでファイルを読み取り、文字列のリストとしてに渡すことができますinstall_requires。

import os
from setuptools import setup

with open('requirements.txt') as f:
    required = f.read().splitlines()

setup(...
install_requires=required,
...)

要件ファイルは、拡張されたpip形式を使用します。これはsetup.py、一部の依存関係の元となる正確なURLを指定したり、pip freezeパッケージセット全体を既知の動作に固定するための出力を指定したりするなど、より強い制約で補完する必要がある場合にのみ役立ちます。バージョン。追加の制約が必要ない場合は、のみを使用してくださいsetup.py。requirements.txtとにかく本当に出荷する必要があると思われる場合は、1行にすることができます。

.

これは有効setup.pyで、同じディレクトリにあるのコンテンツを正確に参照します。

質問への正確な回答ではありませんが、この問題を適切に理解するには、Donald Stufftのブログ投稿（https://caremad.io/2013/07/setup-vs-requirement/）をお勧めします。私はそれを大成功に使用してきました。

つまり、requirements.txtはsetup.py代替ではなく、展開を補完するものです。でパッケージの依存関係の適切な抽象化を維持しますsetup.py。requirements.txt開発、テスト、または本番用にパッケージの依存関係の特定のバージョンをフェッチするように設定します。

たとえば、以下のリポジトリに含まれるパッケージを使用しますdeps/。

# fetch specific dependencies
--no-index
--find-links deps/

# install package
# NOTE: -e . for editable mode
.

pipはパッケージを実行setup.pyし、で宣言された特定バージョンの依存関係をインストールしinstall_requiresます。重複はなく、両方のアーティファクトの目的は保持されます。

parse_requirementspip APIは公開されておらず、サポートされていないため、使用には問題があります。pip 1.6では、その関数は実際に動いているため、既存の使用法は機能しなくなる可能性があります。

間の重複を排除するため、より信頼性の高い方法setup.pyとrequirements.txt、特定のお依存関係であるsetup.py入れた後、-e .あなたの中にrequirements.txtファイル。pipそれがより良い方法である理由について、開発者の1人からの情報は、https：//caremad.io/blog/setup-vs-requirement/から入手できます。

上記の他の回答のほとんどは、pipのAPIの現在のバージョンでは機能しません。現在のバージョンのpipでこれを行う正しい*方法は次のとおりです（執筆時点では6.0.8、これも7.1.2で機能します。バージョンはpip -Vで確認できます）。

from pip.req import parse_requirements
from pip.download import PipSession

install_reqs = parse_requirements(<requirements_path>, session=PipSession())

reqs = [str(ir.req) for ir in install_reqs]

setup(
    ...
    install_requires=reqs
    ....
)

*正解です。現在のpipでparse_requirementsを使用する方法です。上記のポスターが言ったように、pipは実際にはAPIを維持していないため、それはおそらくそれを行うための最良の方法ではありません。

Travisに現在のパッケージをインストールします。これにより、requirements.txtファイルの使用が回避されます。例えば：

language: python
python:
  - "2.7"
  - "2.6"
install:
  - pip install -q -e .
script:
  - python runtests.py

from pip.req import parse_requirements 私にとってはうまくいきませんでした、そしてそれは私のrequirements.txtの空白行のためであると思います、しかしこの関数はうまくいきます

def parse_requirements(requirements):
    with open(requirements) as f:
        return [l.strip('\n') for l in f if l.strip('\n') and not l.startswith('#')]

reqs = parse_requirements(<requirements_path>)

setup(
    ...
    install_requires=reqs,
    ...
)

ユーザーにpipのインストールを強制したくない場合は、次のようにしてその動作をエミュレートできます。

import sys

from os import path as p

try:
    from setuptools import setup, find_packages
except ImportError:
    from distutils.core import setup, find_packages


def read(filename, parent=None):
    parent = (parent or __file__)

    try:
        with open(p.join(p.dirname(parent), filename)) as f:
            return f.read()
    except IOError:
        return ''


def parse_requirements(filename, parent=None):
    parent = (parent or __file__)
    filepath = p.join(p.dirname(parent), filename)
    content = read(filename, parent)

    for line_number, line in enumerate(content.splitlines(), 1):
        candidate = line.strip()

        if candidate.startswith('-r'):
            for item in parse_requirements(candidate[2:].strip(), filepath):
                yield item
        else:
            yield candidate

setup(
...
    install_requires=list(parse_requirements('requirements.txt'))
)

次のインターフェイスは、pip 10で非推奨になりました。

from pip.req import parse_requirements
from pip.download import PipSession

だから私はそれを単純なテキスト解析に切り替えました：

with open('requirements.txt', 'r') as f:
    install_reqs = [
        s for s in [
            line.split('#', 1)[0].strip(' \t\n') for line in f
        ] if s != ''
    ]

この単純なアプローチは、要件ファイルをから読み取りますsetup.py。Dmitiry Sの回答のバリエーションです。。この回答はPython 3.6以降とのみ互換性があります。

DSごとに、requirements.txt特定のバージョン番号で具体的な要件を文書化できますが、setup.py文書化できますが、バージョン範囲が緩い抽象的な要件を文書化できます。

以下は、私の抜粋ですsetup.py。

import distutils.text_file
from pathlib import Path
from typing import List

def _parse_requirements(filename: str) -> List[str]:
    """Return requirements from requirements file."""
    # Ref: https://stackoverflow.com/a/42033122/
    return distutils.text_file.TextFile(filename=str(Path(__file__).with_name(filename))).readlines()

setup(...
      install_requires=_parse_requirements('requirements.txt'),
   ...)

distutils.text_file.TextFileコメントが削除されることに注意してください。また、私の経験では、要件ファイルにバンドルするために特別な手順を実行する必要はないようです。

行動にparse_requirements注意してください！

pip.req.parse_requirementsアンダースコアがダッシュに変わることに注意してください。これは私がそれを発見する前の数日間私を激怒させました。デモの例：

from pip.req import parse_requirements  # tested with v.1.4.1

reqs = '''
example_with_underscores
example-with-dashes
'''

with open('requirements.txt', 'w') as f:
    f.write(reqs)

req_deps = parse_requirements('requirements.txt')
result = [str(ir.req) for ir in req_deps if ir.req is not None]
print result

作り出す

['example-with-underscores', 'example-with-dashes']

これのために再利用可能な関数を作成しました。実際には、要件ファイルのディレクトリ全体を解析し、それらをextras_requireに設定します。

最新版はいつでもこちらから入手できます：https : //gist.github.com/akatrevorjay/293c26fefa24a7b812f5

import glob
import itertools
import os

# This is getting ridiculous
try:
    from pip._internal.req import parse_requirements
    from pip._internal.network.session import PipSession
except ImportError:
    try:
        from pip._internal.req import parse_requirements
        from pip._internal.download import PipSession
    except ImportError:
        from pip.req import parse_requirements
        from pip.download import PipSession


def setup_requirements(
        patterns=[
            'requirements.txt', 'requirements/*.txt', 'requirements/*.pip'
        ],
        combine=True):
    """
    Parse a glob of requirements and return a dictionary of setup() options.
    Create a dictionary that holds your options to setup() and update it using this.
    Pass that as kwargs into setup(), viola

    Any files that are not a standard option name (ie install, tests, setup) are added to extras_require with their
    basename minus ext. An extra key is added to extras_require: 'all', that contains all distinct reqs combined.

    Keep in mind all literally contains `all` packages in your extras.
    This means if you have conflicting packages across your extras, then you're going to have a bad time.
    (don't use all in these cases.)

    If you're running this for a Docker build, set `combine=True`.
    This will set `install_requires` to all distinct reqs combined.

    Example:

    >>> import setuptools
    >>> _conf = dict(
    ...     name='mainline',
    ...     version='0.0.1',
    ...     description='Mainline',
    ...     author='Trevor Joynson <github@trevor.joynson,io>',
    ...     url='https://trevor.joynson.io',
    ...     namespace_packages=['mainline'],
    ...     packages=setuptools.find_packages(),
    ...     zip_safe=False,
    ...     include_package_data=True,
    ... )
    >>> _conf.update(setup_requirements())
    >>> # setuptools.setup(**_conf)

    :param str pattern: Glob pattern to find requirements files
    :param bool combine: Set True to set install_requires to extras_require['all']
    :return dict: Dictionary of parsed setup() options
    """
    session = PipSession()

    # Handle setuptools insanity
    key_map = {
        'requirements': 'install_requires',
        'install': 'install_requires',
        'tests': 'tests_require',
        'setup': 'setup_requires',
    }
    ret = {v: set() for v in key_map.values()}
    extras = ret['extras_require'] = {}
    all_reqs = set()

    files = [glob.glob(pat) for pat in patterns]
    files = itertools.chain(*files)

    for full_fn in files:
        # Parse
        reqs = {
            str(r.req)
            for r in parse_requirements(full_fn, session=session)
            # Must match env marker, eg:
            #   yarl ; python_version >= '3.0'
            if r.match_markers()
        }
        all_reqs.update(reqs)

        # Add in the right section
        fn = os.path.basename(full_fn)
        barefn, _ = os.path.splitext(fn)
        key = key_map.get(barefn)

        if key:
            ret[key].update(reqs)
            extras[key] = reqs

        extras[barefn] = reqs

    if 'all' not in extras:
        extras['all'] = list(all_reqs)

    if combine:
        extras['install'] = ret['install_requires']
        ret['install_requires'] = list(all_reqs)

    def _listify(dikt):
        ret = {}

        for k, v in dikt.items():
            if isinstance(v, set):
                v = list(v)
            elif isinstance(v, dict):
                v = _listify(v)
            ret[k] = v

        return ret

    ret = _listify(ret)

    return ret


__all__ = ['setup_requirements']

if __name__ == '__main__':
    reqs = setup_requirements()
    print(reqs)

別の可能な解決策...

def gather_requirements(top_path=None):
    """Captures requirements from repo.

    Expected file format is: requirements[-_]<optional-extras>.txt

    For example:

        pip install -e .[foo]

    Would require:

        requirements-foo.txt

        or

        requirements_foo.txt

    """
    from pip.download import PipSession
    from pip.req import parse_requirements
    import re

    session = PipSession()
    top_path = top_path or os.path.realpath(os.getcwd())
    extras = {}
    for filepath in tree(top_path):
        filename = os.path.basename(filepath)
        basename, ext = os.path.splitext(filename)
        if ext == '.txt' and basename.startswith('requirements'):
            if filename == 'requirements.txt':
                extra_name = 'requirements'
            else:
                _, extra_name = re.split(r'[-_]', basename, 1)
            if extra_name:
                reqs = [str(ir.req) for ir in parse_requirements(filepath, session=session)]
                extras.setdefault(extra_name, []).extend(reqs)
    all_reqs = set()
    for key, values in extras.items():
        all_reqs.update(values)
    extras['all'] = list(all_reqs)
    return extras

そして使用する...

reqs = gather_requirements()
install_reqs = reqs.pop('requirements', [])
test_reqs = reqs.pop('test', [])
...
setup(
    ...
    'install_requires': install_reqs,
    'test_requires': test_reqs,
    'extras_require': reqs,
    ...
)

そんなことはお勧めしません。複数回で述べたようにinstall_requiresしてrequirements.txt、間違いなく同じリストすることになっていません。しかし、pipのプライベート内部APIに関連する誤解を招く答えがたくさんあるため、、より健全な代替案を検討する価値があります...

setuptoolsスクリプトからファイルを解析するためにpipは必要ありません。setuptoolsのは、すでにプロジェクトの中で必要なすべてのツールが含まれているトップレベルのパッケージ。requirements.txt setup.pypkg_resources

それは多かれ少なかれこのように見えるかもしれません：

#!/usr/bin/env python3

import pathlib

import pkg_resources
import setuptools

with pathlib.Path('requirements.txt').open() as requirements_txt:
    install_requires = [
        str(requirement)
        for requirement
        in pkg_resources.parse_requirements(requirements_txt)
    ]

setuptools.setup(
    install_requires=install_requires,
)

このSO質問からの私の回答をクロスポストして、別の単純なpipバージョンの証明ソリューションを求めます。

try:  # for pip >= 10
    from pip._internal.req import parse_requirements
    from pip._internal.download import PipSession
except ImportError:  # for pip <= 9.0.3
    from pip.req import parse_requirements
    from pip.download import PipSession

requirements = parse_requirements(os.path.join(os.path.dirname(__file__), 'requirements.txt'), session=PipSession())

if __name__ == '__main__':
    setup(
        ...
        install_requires=[str(requirement.req) for requirement in requirements],
        ...
    )

次にrequirements.txt、プロジェクトのルートディレクトリの下にすべての要件を投入します。

これは私がしました：

import re

def requirements(filename):
    with open(filename) as f:
        ll = f.read().splitlines()
    d = {}
    for l in ll:
        k, v = re.split(r'==|>=', l)
        d[k] = v
    return d

def packageInfo():
    try:
        from pip._internal.operations import freeze
    except ImportError:
        from pip.operations import freeze

    d = {}
    for kv in freeze.freeze():
        k, v = re.split(r'==|>=', kv)
        d[k] = v
    return d

req = getpackver('requirements.txt')
pkginfo = packageInfo()

for k, v in req.items():
    print(f'{k:<16}: {v:<6} -> {pkginfo[k]}')

さらに別のparse_requirementsハックで、環境マーカーも解析されextras_requireます。

from collections import defaultdict
from pip.req import parse_requirements

requirements = []
extras = defaultdict(list)
for r in parse_requirements('requirements.txt', session='hack'):
    if r.markers:
        extras[':' + str(r.markers)].append(str(r.req))
    else:
        requirements.append(str(r.req))

setup(
    ...,
    install_requires=requirements,
    extras_require=extras
)

sdistとbinary distsの両方をサポートする必要があります。

他の人が述べたように、parse_requirementsいくつかの欠点があるので、これはあなたが公共プロジェクトでやるべきことではありませんが、内部/個人プロジェクトでは十分かもしれません。

以下は、Romainの回答にpip 9.0.1基づく完全なハック（でテスト済み）であり、現在の環境マーカーに従って解析およびフィルタリングします。requirements.txt

from pip.req import parse_requirements

requirements = []
for r in parse_requirements('requirements.txt', session='hack'):
    # check markers, such as
    #
    #     rope_py3k    ; python_version >= '3.0'
    #
    if r.match_markers():
        requirements.append(str(r.req))

print(requirements)