curlを使用してWebサイトから出力を取得し、HTML出力に対して一連の文字列操作を実行するbashスクリプトを作成しました。問題は、出力をgzip圧縮して返しているサイトに対して実行した場合です。ブラウザでサイトにアクセスしても問題はありません。

curlを手動で実行すると、gzipされた出力が表示されます。

$ curl "http://example.com"

これがその特定のサイトのヘッダーです。

HTTP/1.1 200 OK
Server: nginx
Content-Type: text/html; charset=utf-8
X-Powered-By: PHP/5.2.17
Last-Modified: Sat, 03 Dec 2011 00:07:57 GMT
ETag: "6c38e1154f32dbd9ba211db8ad189b27"
Expires: Sun, 19 Nov 1978 05:00:00 GMT
Cache-Control: must-revalidate
Content-Encoding: gzip
Content-Length: 7796
Date: Sat, 03 Dec 2011 00:46:22 GMT
X-Varnish: 1509870407 1509810501
Age: 504
Via: 1.1 varnish
Connection: keep-alive
X-Cache-Svr: p2137050.pubip.peer1.net
X-Cache: HIT
X-Cache-Hits: 425

返されたデータはgzip圧縮されています。これは期待どおりにhtmlを返すためです。

$ curl "http://example.com" | gunzip

他のサイトではスクリプトがそのまま機能し、gzipを介してパイプするとその機能が損なわれるため、gunzipを介して出力をパイプ処理したくありません。

私が試したこと

1. ユーザーエージェントの変更（ブラウザーが送信するのと同じ文字列、「Mozilla / 4.0」などを試しました）
2. マンカール
3. Google検索
4. Stackoverflowの検索

すべてが空になった

何か案は？

curl--compressedフラグを設定すると、応答が自動的に解凍されます。

curl --compressed "http://example.com"

--compressed （HTTP）libcurlがサポートするアルゴリズムの1つを使用して圧縮応答を要求し、非圧縮ドキュメントを保存します。このオプションを使用し、サーバーがサポートされていないエンコードを送信すると、curlはエラーを報告します。

gzipがサポートされている可能性が最も高いですが、これを確認するには、「機能」行のどこかでlibzを実行curl -Vして探します。

$ curl -V
...
Protocols: ...
Features: GSS-Negotiate IDN IPv6 Largefile NTLM SSL libz 

ここで問題があるのは、実際には問題のWebサイトであることに注意してください。要求ヘッダーをcurl渡さなかった場合Accept-Encoding: gzip、サーバーは圧縮された応答を送信してはなりません。