GNU makeの前提条件としてHTTPからのファイルをどのように使用できますか？

私のメイクファイルの前提条件として、World Wide Webからのファイルを使用したいと思います。

local.dat: http://example.org/example.gz
    curl -s $< | gzip -d | transmogrify >$@

makeが正常に動作するのと同じように、リモートファイルがローカルファイルよりも新しい場合にのみ「変換」します。

example.gzのキャッシュコピーを保持したくありません。ファイルが大きく、生データは必要ありません。できれば、ファイルをダウンロードしないようにします。目標は、makeフラグを使用してこれらのいくつかを並行して処理することです。-j

これを解決するきれいな方法は何ですか？いくつかの方法が考えられます。

• 空のダミーファイルを保管しておき、ターゲットが再作成されるたびに更新する
• GNU makeの新しいプラグインシステムを使用するプラグイン（私は何も知りません）
• ローカルファイルシステムにHTTPサーバーをマウントする不可知論的な方法

さらに掘り下げる前に、いくつかのアドバイス、できれば具体的な例をお願いします！

Makefileで次のようなことを試してください。

.PHONY: local.dat

local.dat:
    [ -e example.gz ] || touch -d '00:00' example.gz
    curl -z example.gz -s http://example.org/example.gz -o example.gz
    [ -e $@ ] || touch -d 'yesterday 00:00' $@
    if [     "$(shell stat --printf '%Y' example.gz)" \
         -gt "$(shell stat --printf '%Y' $@)"         ] ; then \
      zcat example.gz | transmogrify >$@ ; \
    fi
    truncate -s 0 example.gz
    touch -r $@ example.gz

（注：これはMakefileであるため、インデントはスペースではなくタブです。もちろん\、継続行の後にスペースがないことも重要です-または、バックスラッシュエスケープを削除して1つ長くします。ほとんど読めない行）

このGNU makeレシピでは、最初にというファイルがexample.gz存在することを確認し（-zinで使用するためcurl）、touch存在しない場合はで作成します。タッチは00:00（当日の午前12時）のタイムスタンプで作成します。

次に、curlの-z（--time-cond）オプションを使用しexample.gzて、前回のダウンロード以降に変更されている場合にのみダウンロードします。 -z実際の日付式またはファイル名を指定できます。ファイル名を指定すると、ファイルの変更時刻が時間条件として使用されます。

その後、local.dat存在しない場合は、それよりも古いtouchことが保証されたタイムスタンプを使用して、で作成します。次のコマンドがmtimeタイムスタンプを取得するために使用する必要があるため、これは必要です。example.gzlocal.datstat

次に、example.gzタイムスタンプがよりも新しい場合local.dat、パイプexample.gzを使用transmogrifyして出力をにリダイレクトしますlocal.dat。

最後に、簿記とクリーンアップを行います。

• それは切り捨てexample.gz（あなただけのタイムスタンプではなく、ファイル全体を維持する必要があるため）
• touches example.gzと同じタイムスタンプを持つようにlocal.dat

.PHONYターゲットはlocal.dat、その名前のファイルがすでに存在する場合でも、ターゲットが常に実行されるようにします。

元のバージョンでは機能しないとコメントで指摘した@Toby Speightに感謝します。

あるいは、transmogrify最初にファイルシステムにダウンロードせずにファイルを直接パイプしたい場合：

.PHONY: local.dat

local.dat:
    [ -e example.gz ] || touch -d '00:00' example.gz
    [ -e $@ ] || touch -d 'yesterday 00:00' $@
    if [     "$(shell stat --printf '%Y' example.gz)" \
         -gt "$(shell stat --printf '%Y' $@)"         ] ; then \
      curl -z example.gz -s http://example.org/example.gz | transmogrify >$@ ; \
    fi
    touch -r $@ example.gz

注：これは大部分がテストされていないため、構文を正確に正しくするために若干の変更が必要になる場合があります。ここで重要なのはメソッドであり、コピー/ペーストの貨物カルトソリューションではありません。

私は何十年もの間、この方法のバリエーション（touchタイムスタンプファイルの作成など）を使用してきましたmake。それは機能し、通常、私は自分の依存関係解決コードをshで記述する必要を回避できます（stat --printf %Yここで同様のことをしなければなりませんでした）。

makeソフトウェアをコンパイルするための優れたツールであることは誰もが知っています... IMOは、システム管理およびスクリプトタスクのための非常に過小評価されているツールでもあります。

別の代替方法は、依存関係のチェックサムを使用して再構築をトリガーするかどうかを決定する構築システムを使用することです。私はGnu Makeで「タッチ」トリックをたくさん使用しましたが、動的依存関係を指定でき、変更されないファイルが再ビルドをトリガーしない場合は、はるかに簡単です。これがGoodMakeの使用例です。

#! /usr/local/goodmake.py /bin/sh -se

#! *.date
    # Get the last-modified date
    curl -s -v -X HEAD http://${1%.date} 2>&1 | grep -i '^< Last-Modified:' >$1

#? local.dat
    site=http://example.org/example.gz
    $0 $site.date
    curl -s $site | gzip -d | transmogrify >$1