Ruby:multipart / form-dataとしてHTTP経由でファイルを投稿する方法は?


112

ブラウザから投稿されたHMTLフォームのようなHTTP POSTを実行したい。具体的には、いくつかのテキストフィールドとファイルフィールドを投稿します。

テキストフィールドの投稿は簡単です。net/ http rdocsに例がありますが、ファイルと一緒に投稿する方法がわかりません。

Net :: HTTPは最良のアイデアのようには見えません。縁石はよく見えています。

回答:


102

RestClientが好きです。マルチパートフォームデータのようなクールな機能でnet / httpをカプセル化します。

require 'rest_client'
RestClient.post('http://localhost:3000/foo', 
  :name_of_file_param => File.new('/path/to/file'))

ストリーミングもサポートします。

gem install rest-client 始めましょう。


私はそれを取り戻し、ファイルのアップロードが機能するようになりました。私が今持っている問題は、サーバーが302を与え、残りのクライアントがRFC(ブラウザはそうしない)に従い、例外をスローすることです(ブラウザはこの動作について警告することになっているため)。他の代替策は縁石ですが、窓に縁石をインストールすることができませんでした。
Matt Wolfe

7
これは最初に投稿されてからAPIが少し変更され、マルチパートが次のように呼び出されます:RestClient.post ' localhost:3000 / foo '、:upload => File.new( '/ path / tofile '))github.com/を参照してください詳細については、archiloque / rest-client
クリントン

2
rest_clientは、要求ヘッダーの提供をサポートしていません。多くのRESTアプリケーションは特定のタイプのヘッダーを必要とする/予期しているため、その場合、Restクライアントは機能しません。たとえば、JIRAにはX-Atlassian-Tokenトークンが必要です。
2013

ファイルのアップロードの進捗状況を取得することは可能ですか?たとえば、40%がアップロードされます。
Ankush

1
gem install rest-clientおよびrequire 'rest_client'パーツを追加するための+1 。その情報は、あまりにも多くのルビの例から除外されています。
dansalmo 2018年

36

Nick Siegerのマルチパートポストライブラリについては、十分なことは言えません。

それは直接Net :: HTTPへのマルチパート投稿のサポートを追加し、自分の目標とは異なる目標を持つ可能性がある境界や大きなライブラリについて手動で心配する必要をなくします。

READMEからの使用方法の小さな例を次に示します

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
File.open("./image.jpg") do |jpg|
  req = Net::HTTP::Post::Multipart.new url.path,
    "file" => UploadIO.new(jpg, "image/jpeg", "image.jpg")
  res = Net::HTTP.start(url.host, url.port) do |http|
    http.request(req)
  end
end

ここでライブラリをチェックアウトできます:http : //github.com/nicksieger/multipart-post

またはそれをインストールします:

$ sudo gem install multipart-post

SSL経由で接続している場合は、次のように接続を開始する必要があります。

n = Net::HTTP.new(url.host, url.port) 
n.use_ssl = true
# for debugging dev server
#n.verify_mode = OpenSSL::SSL::VERIFY_NONE
res = n.start do |http|

3
それは私のためにそれをしました、まさに私が探していたもの、そして宝石を必要とせずに正確に何を含めるべきか。Rubyははるかに先を行っていますが、はるかに遅れています。
Trey

すごい、これは神の送りとして来ます!これを使用して、ファイルのアップロードをサポートするためにOAuth gemにモンキーパッチを適用しました。たったの5分。
Matthias

@matthias OAuth gemで写真をアップロードしようとしていますが、失敗しました。モンキーパッチの例を教えていただけますか?
Hooopo

1
パッチは私のスクリプトにかなり固有のものでしたが(クイックアンドダーティー)、それを確認してください。多分、より一般的なアプローチ(gist.github.com/974084)で解決できるかもしれません
Matthias

3
マルチパートはリクエストヘッダーをサポートしていません。したがって、たとえばJIRA RESTインターフェースを使用したい場合、マルチパートは貴重な時間の無駄になります。
2013

30

curbは優れたソリューションのように見えますが、ニーズに合わない場合は、で実行できますNet::HTTP。マルチパートフォームの投稿は、いくつかの追加ヘッダーを含む、注意深くフォーマットされた文字列です。マルチパート投稿を行う必要のあるすべてのRubyプログラマーは、独自の小さなライブラリーを作成することになり、なぜこの機能が組み込まれていないのか不思議に思います。多分それは...とにかく、あなたの読書の喜びのために、私は先に進んでここに私の解決策を与えます。このコードは、いくつかのブログで見つけた例に基づいていますが、リンクが見つからなくなったことを後悔しています。だから私は自分のためにすべての信用を取る必要があると思います...

このために書いたモジュールにはStringFileオブジェクトとオブジェクトのハッシュからフォームデータとヘッダーを生成するための1つのパブリッククラスが含まれています。たとえば、「title」という名前の文字列パラメータと「document」という名前のファイルパラメータを含むフォームを投稿する場合は、次のようにします。

#prepare the query
data, headers = Multipart::Post.prepare_query("title" => my_string, "document" => my_file)

それからあなたはただ普通POSTNet::HTTP

http = Net::HTTP.new(upload_uri.host, upload_uri.port)
res = http.start {|con| con.post(upload_uri.path, data, headers) }

または他にあなたがしたいですPOST。ポイントは、Multipart送信する必要があるデータとヘッダーを返すことです。以上です!シンプルでしょ?マルチパートモジュールのコードはmime-types次のとおりです(gem が必要です)。

# Takes a hash of string and file parameters and returns a string of text
# formatted to be sent as a multipart form post.
#
# Author:: Cody Brimhall <mailto:brimhall@somuchwit.com>
# Created:: 22 Feb 2008
# License:: Distributed under the terms of the WTFPL (http://www.wtfpl.net/txt/copying/)

require 'rubygems'
require 'mime/types'
require 'cgi'


module Multipart
  VERSION = "1.0.0"

  # Formats a given hash as a multipart form post
  # If a hash value responds to :string or :read messages, then it is
  # interpreted as a file and processed accordingly; otherwise, it is assumed
  # to be a string
  class Post
    # We have to pretend we're a web browser...
    USERAGENT = "Mozilla/5.0 (Macintosh; U; PPC Mac OS X; en-us) AppleWebKit/523.10.6 (KHTML, like Gecko) Version/3.0.4 Safari/523.10.6"
    BOUNDARY = "0123456789ABLEWASIEREISAWELBA9876543210"
    CONTENT_TYPE = "multipart/form-data; boundary=#{ BOUNDARY }"
    HEADER = { "Content-Type" => CONTENT_TYPE, "User-Agent" => USERAGENT }

    def self.prepare_query(params)
      fp = []

      params.each do |k, v|
        # Are we trying to make a file parameter?
        if v.respond_to?(:path) and v.respond_to?(:read) then
          fp.push(FileParam.new(k, v.path, v.read))
        # We must be trying to make a regular parameter
        else
          fp.push(StringParam.new(k, v))
        end
      end

      # Assemble the request body using the special multipart format
      query = fp.collect {|p| "--" + BOUNDARY + "\r\n" + p.to_multipart }.join("") + "--" + BOUNDARY + "--"
      return query, HEADER
    end
  end

  private

  # Formats a basic string key/value pair for inclusion with a multipart post
  class StringParam
    attr_accessor :k, :v

    def initialize(k, v)
      @k = k
      @v = v
    end

    def to_multipart
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"\r\n\r\n#{v}\r\n"
    end
  end

  # Formats the contents of a file or string for inclusion with a multipart
  # form post
  class FileParam
    attr_accessor :k, :filename, :content

    def initialize(k, filename, content)
      @k = k
      @filename = filename
      @content = content
    end

    def to_multipart
      # If we can tell the possible mime-type from the filename, use the
      # first in the list; otherwise, use "application/octet-stream"
      mime_type = MIME::Types.type_for(filename)[0] || MIME::Types["application/octet-stream"][0]
      return "Content-Disposition: form-data; name=\"#{CGI::escape(k)}\"; filename=\"#{ filename }\"\r\n" +
             "Content-Type: #{ mime_type.simplified }\r\n\r\n#{ content }\r\n"
    end
  end
end

こんにちは!このコードのライセンスは何ですか?また:この投稿のURLを上部のコメントに追加するとよいでしょう。ありがとう!
docwhat

5
この投稿のコードは、WTFPL(sam.zoy.org/wtfpl)の下でライセンスされています。楽しい!
コーディブリムホール10/10/14

ファイルストリームをFileParamクラスの初期化呼び出しに渡すべきではありません。to_multipartメソッドでの割り当てにより、ファイルの内容が再度コピーされますが、これは不要です!代わりに、ファイル記述子のみを渡して、そこから読み取りますto_multipart
mober

1
このコードは素晴らしいです!それが機能するので。Rest-clientとSiegers Multipart-postはリクエストヘッダーをサポートしていません。リクエストヘッダーが必要な場合は、rest-clientとSiegers Multipartの投稿で多くの貴重な時間を無駄にします。
2013

実際、@ Onnoはリクエストヘッダーをサポートするようになりました。エリックの答えに関する私のコメントを参照してください
アレクサンダーバード

24

標準ライブラリのみを使用する別のもの:

uri = URI('https://some.end.point/some/path')
request = Net::HTTP::Post.new(uri)
request['Authorization'] = 'If you need some headers'
form_data = [['photos', photo.tempfile]] # or File.open() in case of local file

request.set_form form_data, 'multipart/form-data'
response = Net::HTTP.start(uri.hostname, uri.port, use_ssl: true) do |http| # pay attention to use_ssl if you need it
  http.request(request)
end

多くのアプローチを試みましたが、これだけが私にとってうまくいきました。


3
これをありがとう。マイナーなポイントの1行目は、次のuri = URI('https://some.end.point/some/path') ようにする必要があります。 このようにしてuri.porturi.host後でエラーなしで呼び出すことができます。
davidkovsky

1
マイナーな変更が1つありますFile.openFile.read
。tempfile

1
ほとんどの場合ファイル名が必要です。これは私が追加した方法のフォームです:form_data = [['file'、File.read(file_name)、{filename:file_name}]]
ZsJoska

4
これが正解です。人々は可能な限りラッパー宝石の使用をやめ、基本に戻るべきです。
Carlos Roque、

18

これはこの投稿で利用可能な他のものを試した後の私の解決策です、私はそれを使ってTwitPicに写真をアップロードしています:

  def upload(photo)
    `curl -F media=@#{photo.path} -F username=#{@username} -F password=#{@password} -F message='#{photo.title}' http://twitpic.com/api/uploadAndPost`
  end

1
少しハックに見えますが、これはおそらく私にとって最も良い解決策です。この提案にとても感謝しています!
Bo Jeanes、

気を付けてください。media= @ ...は、curlが...を単なる文字列ではなくファイルであることを示しています。ruby構文とは少し混乱しますが、@#{photo.path}は#{@photo.path}と同じではありません。このソリューションは、最高の私見の1つです。
エフゲニー

7
これは見栄えは良いですが、@ usernameに「foo && rm -rf /」が含まれている場合、これはかなり悪くなります:-P
gaspard

8

2017年に早送りruby stdlib net/httpされ、1.9.3以降に組み込まれています

Net :: HTTPRequest#set_form):application / x-www-form-urlencodedとmultipart / form-dataの両方をサポートするために追加されました。

https://ruby-doc.org/stdlib-2.3.1/libdoc/net/http/rdoc/Net/HTTPHeader.html#method-i-set_form

フォームデータのストリーミングをIOサポート:sizeしていないを使用することもできます。

この答えが本当に誰かを助けることを願っています:)

PS私はルビー2.3.1でのみこれをテストしました


7

では、縁石を使った簡単な例を見てみましょう。

require 'yaml'
require 'curb'

# prepare post data
post_data = fields_hash.map { |k, v| Curl::PostField.content(k, v.to_s) }
post_data << Curl::PostField.file('file', '/path/to/file'), 

# post
c = Curl::Easy.new('http://localhost:3000/foo')
c.multipart_form_post = true
c.http_post(post_data)

# print response
y [c.response_code, c.body_str]

3

RestClient :: Payload :: Multipartのcreate_file_fieldを上書きするまで、restclientは機能しませんでした。

これは、作成していた:「マルチパート/フォームデータのContent-処分」それがあるべき各部分で「:フォームデータのContent-処分」を

http://www.ietf.org/rfc/rfc2388.txt

私のフォークはあなたがそれを必要とするならここにあります:git@github.com:kcrawford / rest-client.git


これは最新のrestclientで修正されています。

1

NetHttpを使用したソリューションには、大きなファイルをポストするときに最初にファイル全体をメモリにロードするという欠点があります。

それを少し遊んだ後、私は次の解決策を思いつきました:

class Multipart

  def initialize( file_names )
    @file_names = file_names
  end

  def post( to_url )
    boundary = '----RubyMultipartClient' + rand(1000000).to_s + 'ZZZZZ'

    parts = []
    streams = []
    @file_names.each do |param_name, filepath|
      pos = filepath.rindex('/')
      filename = filepath[pos + 1, filepath.length - pos]
      parts << StringPart.new ( "--" + boundary + "\r\n" +
      "Content-Disposition: form-data; name=\"" + param_name.to_s + "\"; filename=\"" + filename + "\"\r\n" +
      "Content-Type: video/x-msvideo\r\n\r\n")
      stream = File.open(filepath, "rb")
      streams << stream
      parts << StreamPart.new (stream, File.size(filepath))
    end
    parts << StringPart.new ( "\r\n--" + boundary + "--\r\n" )

    post_stream = MultipartStream.new( parts )

    url = URI.parse( to_url )
    req = Net::HTTP::Post.new(url.path)
    req.content_length = post_stream.size
    req.content_type = 'multipart/form-data; boundary=' + boundary
    req.body_stream = post_stream
    res = Net::HTTP.new(url.host, url.port).start {|http| http.request(req) }

    streams.each do |stream|
      stream.close();
    end

    res
  end

end

class StreamPart
  def initialize( stream, size )
    @stream, @size = stream, size
  end

  def size
    @size
  end

  def read ( offset, how_much )
    @stream.read ( how_much )
  end
end

class StringPart
  def initialize ( str )
    @str = str
  end

  def size
    @str.length
  end

  def read ( offset, how_much )
    @str[offset, how_much]
  end
end

class MultipartStream
  def initialize( parts )
    @parts = parts
    @part_no = 0;
    @part_offset = 0;
  end

  def size
    total = 0
    @parts.each do |part|
      total += part.size
    end
    total
  end

  def read ( how_much )

    if @part_no >= @parts.size
      return nil;
    end

    how_much_current_part = @parts[@part_no].size - @part_offset

    how_much_current_part = if how_much_current_part > how_much
      how_much
    else
      how_much_current_part
    end

    how_much_next_part = how_much - how_much_current_part

    current_part = @parts[@part_no].read(@part_offset, how_much_current_part )

    if how_much_next_part > 0
      @part_no += 1
      @part_offset = 0
      next_part = read ( how_much_next_part  )
      current_part + if next_part
        next_part
      else
        ''
      end
    else
      @part_offset += how_much_current_part
      current_part
    end
  end
end

StreamPartクラスとは何ですか?
マーリンピアース

1

また、考えられる解決策の長いリストに追加するための、nick siegerのmultipart-postもあります。


1
multipart-postはリクエストヘッダーをサポートしていません。
2013

実際、@ Onnoはリクエストヘッダーをサポートするようになりました。エリックの答えに関する私のコメントを参照してください
アレクサンダーバード

0

私は同じ問題を抱えていました(jboss Webサーバーに投稿する必要があります)。コードでセッション変数を使用するとルビーがクラッシュする(ubuntu 8.10ではルビー1.8.7)ことを除いて、縁石は私にとってはうまく機能します。

RESTクライアントのドキュメントを詳しく調べたところ、マルチパートサポートの兆候が見つかりませんでした。上記の残りのクライアントの例を試しましたが、jbossはhttp投稿がマルチパートではないと述べました。


0

multipart-post gemはRails 4 Net :: HTTPでかなりうまく機能し、他の特別なgemはありません

def model_params
  require_params = params.require(:model).permit(:param_one, :param_two, :param_three, :avatar)
  require_params[:avatar] = model_params[:avatar].present? ? UploadIO.new(model_params[:avatar].tempfile, model_params[:avatar].content_type, model_params[:avatar].original_filename) : nil
  require_params
end

require 'net/http/post/multipart'

url = URI.parse('http://www.example.com/upload')
Net::HTTP.start(url.host, url.port) do |http|
  req = Net::HTTP::Post::Multipart.new(url, model_params)
  key = "authorization_key"
  req.add_field("Authorization", key) #add to Headers
  http.use_ssl = (url.scheme == "https")
  http.request(req)
end

https://github.com/Feuda/multipart-post/tree/patch-1

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.