Ruby on Rails-CSVファイルからデータをインポートする

CSVファイルから既存のデータベーステーブルにデータをインポートしたい。CSVファイルを保存するのではなく、データを取得して既存のテーブルに挿入するだけです。Ruby 1.9.2とRails 3を使用しています。

これは私のテーブルです：

create_table "mouldings", :force => true do |t|
  t.string   "suppliers_code"
  t.datetime "created_at"
  t.datetime "updated_at"
  t.string   "name"
  t.integer  "supplier_id"
  t.decimal  "length",         :precision => 3, :scale => 2
  t.decimal  "cost",           :precision => 4, :scale => 2
  t.integer  "width"
  t.integer  "depth"
end

おかげで、これを行うための最良の方法を示すコードを教えてもらえますか。

require 'csv'    

csv_text = File.read('...')
csv = CSV.parse(csv_text, :headers => true)
csv.each do |row|
  Moulding.create!(row.to_hash)
end

yfeldblumの回答のより単純なバージョン。これはより単純で、大きなファイルでもうまく機能します。

require 'csv'    

CSV.foreach(filename, :headers => true) do |row|
  Moulding.create!(row.to_hash)
end

with_indifferent_accessやsymbolize_keysは必要なく、最初にファイルを文字列に読み込む必要もありません。

ファイル全体を一度にメモリに保持するのではなく、1行ずつ読み取り、行ごとにモールディングを作成します。

smarter_csv宝石は、特にこのユースケースのために作成されました：CSVファイルからデータを読み込み、すぐにデータベースエントリを作成します。

  require 'smarter_csv'
  options = {}
  SmarterCSV.process('input_file.csv', options) do |chunk|
    chunk.each do |data_hash|
      Moulding.create!( data_hash )
    end
  end

オプションchunk_sizeを使用して一度にN個のcsv行を読み取ってから、内部ループでResqueを使用して、すぐにレコードを作成するのではなく、新しいレコードを作成するジョブを生成できます。これにより、エントリの生成の負荷を分散できます。複数の労働者に。

参照：https : //github.com/tilo/smarter_csv

あなたが試すかもしれませんUpsert：

require 'upsert' # add this to your Gemfile
require 'csv'    

u = Upsert.new Moulding.connection, Moulding.table_name
CSV.foreach(file, headers: true) do |row|
  selector = { name: row['name'] } # this treats "name" as the primary key and prevents the creation of duplicates by name
  setter = row.to_hash
  u.row selector, setter
end

これが必要な場合は、自動インクリメントの主キーをテーブルから削除し、主キーをに設定することも検討してくださいname。または、主キーを形成する属性の組み合わせがある場合は、それをセレクターとして使用します。インデックスは必要ありません、それはそれをより速くするだけです。

これは役立ちます。コード例もあります：

http://csv-mapper.rubyforge.org/

または同じことをするための熊手タスクの場合：

http://erikonrails.snowedin.net/?p=212

データベース関連のプロセスをtransactionブロック内にラップすることをお勧めします。コードスニペットブローは、一連の言語を言語モデルにシードする完全なプロセスです。

require 'csv'

namespace :lan do
  desc 'Seed initial languages data with language & code'
  task init_data: :environment do
    puts '>>> Initializing Languages Data Table'
    ActiveRecord::Base.transaction do
      csv_path = File.expand_path('languages.csv', File.dirname(__FILE__))
      csv_str = File.read(csv_path)
      csv = CSV.new(csv_str).to_a
      csv.each do |lan_set|
        lan_code = lan_set[0]
        lan_str = lan_set[1]
        Language.create!(language: lan_str, code: lan_code)
        print '.'
      end
    end
    puts ''
    puts '>>> Languages Database Table Initialization Completed'
  end
end

以下のスニペットはlanguages.csvファイルの一部です。

aa,Afar
ab,Abkhazian
af,Afrikaans
ak,Akan
am,Amharic
ar,Arabic
as,Assamese
ay,Aymara
az,Azerbaijani
ba,Bashkir
...

この宝石を使用してください：https : //rubygems.org/gems/active_record_importer

class Moulding < ActiveRecord::Base
  acts_as_importable
end

次に、以下を使用できます。

Moulding.import!(file: File.open(PATH_TO_FILE))

ヘッダーがテーブルの列名と一致していることを確認してください

より良い方法は、rakeタスクに含めることです。/ lib / tasks /内にimport.rakeファイルを作成し、このコードをそのファイルに配置します。

desc "Imports a CSV file into an ActiveRecord table"
task :csv_model_import, [:filename, :model] => [:environment] do |task,args|
  lines = File.new(args[:filename], "r:ISO-8859-1").readlines
  header = lines.shift.strip
  keys = header.split(',')
  lines.each do |line|
    values = line.strip.split(',')
    attributes = Hash[keys.zip values]
    Module.const_get(args[:model]).create(attributes)
  end
end

その後、ターミナルでこのコマンドを実行します rake csv_model_import[file.csv,Name_of_the_Model]

私はそれが古い質問であることを知っていますが、それでもグーグルの最初の10リンクにあります。

行を1つずつ保存することは効率的ではありません。ループでデータベース呼び出しが発生するため、特にデータの巨大な部分を挿入する必要がある場合は、それを回避する方がよいからです。

バッチ挿入を使用することをお勧めします（大幅に高速化します）。

INSERT INTO `mouldings` (suppliers_code, name, cost)
VALUES
    ('s1', 'supplier1', 1.111), 
    ('s2', 'supplier2', '2.222')

このようなクエリを手動で作成し、実行するModel.connection.execute(RAW SQL STRING)（推奨しない）またはgem activerecord-import（2010年8月11日に最初にリリースされた）を使用することができます。この場合、データを配列に入れrowsて呼び出すだけです。Model.import rows

詳細はgem docsを参照してください

CSV :: Tableを使用してを使用することをお勧めしますString.encode(universal_newline: true)。CRLFとCRをLFに変換する

SmartCSVを使用する場合

all_data = SmarterCSV.process(
             params[:file].tempfile, 
             { 
               :col_sep => "\t", 
               :row_sep => "\n" 
             }
           )

これは、行"\t"が改行で区切られた各行のタブ区切りデータを表します"\n"