タグ付けされた質問 「csv」

非常に巨大なフィールドを持つcsvファイルを読み込むスクリプトがあります。 # example from http://docs.python.org/3.3/library/csv.html?highlight=csv%20dictreader#examples import csv with open('some.csv', newline='') as f: reader = csv.reader(f) for row in reader: print(row) ただし、一部のcsvファイルで次のエラーがスローされます。 _csv.Error: field larger than field limit (131072) 巨大なフィールドを持つcsvファイルを分析するにはどうすればよいですか？巨大なフィールドのある行をスキップすることは、後のステップでデータを分析する必要があるため、オプションではありません。

232 python  csv 

import csv outfile = file('test.csv', 'w') writer = csv.writer(outfile, delimiter=',', quoting=csv.QUOTE_MINIMAL) writer.writerow(['hi','dude']) writer.writerow(['hi2','dude2']) outfile.close() 次のように、各行にtest.csv追加のファイルが生成されます\r。 test.csv hi,dude\r\r\nhi2,dude2\r\r\n 期待される代わりに： hi,dude\r\nhi2,dude2\r\n なぜこれが起こっているのか、またはこれは実際に望ましい動作ですか？ 注意： この現象は、Python 2または3で発生する可能性があります。

232 python  windows  csv  newline 

MySQLデータベースにデータがあります。ユーザーにデータをCSVファイルとして取得するためのURLを送信しています。 リンクのメール、MySQLクエリなどをカバーしています。 リンクをクリックしたときに、MySQLからのレコードを含むCVSをダウンロードするポップアップを表示するにはどうすればよいですか？ レコードを取得するための情報はすべて揃っています。PHPにCSVファイルを作成させ、拡張子が.csvのファイルをダウンロードさせる方法がわかりません。

220 php  csv  download  http-headers 

複数のdata.csvファイルを含むフォルダーがあり、それぞれに同じ数の変数が含まれていますが、それぞれ異なる時刻のものです。Rにそれらをすべて個別にインポートするのではなく、同時にインポートする方法はありますか？ 私の問題は、インポートするデータファイルが約2000あり、コードを使用するだけでそれらを個別にインポートする必要があることです。 read.delim(file="filename", header=TRUE, sep="\t") あまり効率的ではありません。

219 r  csv  import  r-faq 

CSVデータを解析するためのJavaScriptコードの場所を誰かが知っていますか？

215 javascript  csv 

以下のコードを使用して、Pythonでcsvを編集しています。コードで呼び出される関数は、コードの上部を形成します。 問題：下記のコードで2行目からcsvの編集を開始したいのですが、ヘッダーを含む1行目を除外します。現在、1行目のみに関数を適用しており、ヘッダー行が変更されています。 in_file = open("tmob_notcleaned.csv", "rb") reader = csv.reader(in_file) out_file = open("tmob_cleaned.csv", "wb") writer = csv.writer(out_file) row = 1 for row in reader: row[13] = handle_color(row[10])[1].replace(" - ","").strip() row[10] = handle_color(row[10])[0].replace("-","").replace("(","").replace(")","").strip() row[14] = handle_gb(row[10])[1].replace("-","").replace(" ","").replace("GB","").strip() row[10] = handle_gb(row[10])[0].strip() row[9] = handle_oem(row[10])[1].replace("Blackberry","RIM").replace("TMobile","T-Mobile").strip() row[15] = handle_addon(row[10])[1].strip() row[10] = handle_addon(row[10])[0].replace(" by","").replace("FREE","").strip() writer.writerow(row) in_file.close() …

209 python  python-2.7  csv 

古いcsvファイルに新しい行を追加しようとしています。基本的に、Pythonスクリプトを実行するたびに更新されます。 現在、古いcsvの行の値をリストに格納してから、csvファイルを削除して、新しいリストの値で再度作成しています。 これを行うためのより良い方法はありますか？

208 python  csv  append  writer 

CSVファイルから既存のデータベーステーブルにデータをインポートしたい。CSVファイルを保存するのではなく、データを取得して既存のテーブルに挿入するだけです。Ruby 1.9.2とRails 3を使用しています。 これは私のテーブルです： create_table "mouldings", :force => true do |t| t.string "suppliers_code" t.datetime "created_at" t.datetime "updated_at" t.string "name" t.integer "supplier_id" t.decimal "length", :precision => 3, :scale => 2 t.decimal "cost", :precision => 4, :scale => 2 t.integer "width" t.integer "depth" end おかげで、これを行うための最良の方法を示すコードを教えてもらえますか。

205 ruby-on-rails  csv  import 

独自の行または行の終わりに、CSV形式のファイルにコメントを許可する公式の方法はありますか？ 私はこれとRFC 4180でウィキペディアをチェックしてみましたが、どちらもファイル形式の一部ではないと信じるようにする何も言及していないので、私にとっては不運であり、別のReadMe.txtファイルを使用して説明する必要がありますファイル。 最後に、自分のコメントを簡単に追加できることはわかっていますが、Excelのようなものをすぐにインポートして、コンシューマーがインポートプロセスをカスタマイズする必要がないことを望んでいました。 だから、考え？

203 csv  comments  standards  file-format 

pandas.to_datetimeデータの日付を解析するために使用します。datetime64[ns]日付はすべて毎日のみですが、パンダはデフォルトで日付を表します。私は日付を変換するエレガント/巧妙な方法があるかどうかを疑問に思うdatetime.dateかdatetime64[D]、私はCSVにデータを書き込む際に、日付がが付加されていない、ように00:00:00。要素ごとに手動で型を変換できることはわかっています。 [dt.to_datetime().date() for dt in df.dates] しかし、私は多くの行を持っているのでこれは本当に遅いです、そしてそれは一種のを使用する目的を無効にしpandas.to_datetimeます。dtype列全体を一度に変換する方法はありますか？またはpandas.to_datetime、毎日のデータを処理しながら時間の部分を取り除くことができるように、精度仕様をサポートしていますか？

201 python  pandas  csv  datetime  series 

csvC＃言語を使用して、行ごとにファイルに書き込もうとしています。これが私の機能です string first = reader[0].ToString(); string second=image.ToString(); string csv = string.Format("{0},{1}\n", first, second); File.WriteAllText(filePath, csv); 関数全体がループ内で実行され、すべての行がcsvファイルに書き込まれます。私の場合、次の行が既存の行を上書きし、最後にcsvファイルの最後のレコードが1つだけ取得されます。csvファイル内のすべての行を書き込むにはどうすればよいですか？

198 c#  file  csv 

パンダで大きなcsvファイル（約6 GB）を読み取ろうとすると、メモリエラーが発生します。 MemoryError Traceback (most recent call last) <ipython-input-58-67a72687871b> in <module>() ----> 1 data=pd.read_csv('aphro.csv',sep=';') ... MemoryError: これについて何か助けはありますか？

194 python  pandas  csv  memory  chunks 

約2000レコードのCSVファイルがあります。 各レコードには文字列とそのカテゴリがあります。 This is the first line,Line1 This is the second line,Line2 This is the third line,Line3 このファイルを次のようなリストに読み込む必要があります。 data = [('This is the first line', 'Line1'), ('This is the second line', 'Line2'), ('This is the third line', 'Line3')] このCSVをPythonを使用して必要なリストにインポートするにはどうすればよいですか？

192 python  csv 

私はこれをCSV形式で出力するだけの非常に単純なものを持っていますが、それはUTF-8でなければなりません。このファイルをTextEdit、TextMate、Dreamweaverで開くと、UTF-8文字が正しく表示されますが、Excelで開くと、このような愚かなことをしています。これが私のドキュメントの先頭にあるものです。 header("content-type:application/csv;charset=UTF-8"); header("Content-Disposition:attachment;filename=\"CHS.csv\""); Excel（Mac、2008）が適切にインポートしたくない場合を除いて、これはすべて望ましい効果があるようです。Excelに「UTF-8で開く」などのオプションはないので、…少しイライラしています。 多くの人々が同じ問題を抱えているにもかかわらず、私はこれに対する明確な解決策をどこにも見つけることができないようです。私が最もよく目にするのはBOMを含めることですが、その方法を正確に理解することはできません。ご覧のとおり、私はただecho、私はこのデータ、ファイルを作成していません。必要に応じてそれを行うことができます。現時点では必要がないように思えるからです。何か助けは？ 更新：BOM echo pack("CCC", 0xef, 0xbb, 0xbf);を検出しようとしているサイトからプルしたBOMをエコーし​​ようとしました。しかし、Excelはインポート時に最初のセルにこれら3つの文字を追加するだけで、特殊文字を混乱させます。

191 php  csv  utf-8  byte-order-mark 

プログラムでデータを（PHP 5.2を使用して）.csvテストファイルにエクスポートしています。 データの例：（ Numéro 1アクセント付きのeに注意してください）。データはutf-8（追加されたBOMなし）です。 このファイルをMS Excelで開くと、と表示されNuméro 1ます。 これを正しく表示するテキストエディター（UltraEdit）で開くことができます。UEは文字がであることを報告しますdecimal 233。 テキストデータを.csvファイルにエクスポートして、MS Excelで、できればインポートウィザードやデフォルト以外のウィザード設定を強制せずに正しくレンダリングできるようにするにはどうすればよいですか？

190 excel  encoding  csv  diacritics