タグ付けされた質問 「csv」

CSVファイルをパンダのDataFrameに読み込むPythonの方法は何ですか（統計操作に使用したり、異なるタイプの列を使用したりできます）？ 私のCSVファイル"value.txt"には次の内容が含まれています。 Date,"price","factor_1","factor_2" 2012-06-11,1600.20,1.255,1.548 2012-06-12,1610.02,1.258,1.554 2012-06-13,1618.07,1.249,1.552 2012-06-14,1624.40,1.253,1.556 2012-06-15,1626.15,1.258,1.552 2012-06-16,1626.15,1.263,1.558 2012-06-17,1626.15,1.264,1.572 Rでは、次を使用してこのファイルを読み取ります。 price <- read.csv("value.txt") そしてそれはRdata.frameを返します： > price <- read.csv("value.txt") > price Date price factor_1 factor_2 1 2012-06-11 1600.20 1.255 1.548 2 2012-06-12 1610.02 1.258 1.554 3 2012-06-13 1618.07 1.249 1.552 4 2012-06-14 1624.40 1.253 1.556 5 2012-06-15 1626.15 1.258 1.552 …

91 python  pandas  csv  dataframe 

現在のところ、この質問はQ＆A形式には適していません。私たちは回答が事実、参考文献、または専門知識によってサポートされることを期待しますが、この質問はおそらく議論、議論、投票、または拡張された議論を誘います。この質問を改善でき、再開できると思われる場合は、ヘルプセンターにアクセスしてください。 8年前に閉鎖。 いくつかの自由なライセンスの下で利用できる、CSVパーサーの無料の優れた実装はありますか？SuperCSV for Javaに対応するもの、たぶん移植ですか？

89 c#  csv 

大きなCSVファイルをインポートし、ファイル内の各単語の出現回数をカウントして、そのカウントを別のCSVファイルにエクスポートするPythonスクリプトがあります。 しかし、何が起こっているのかというと、そのカウント部分が終了してエクスポートが開始されるとKilled、ターミナルに表示されます。 これはメモリの問題ではないと思います（もしそうなら、メモリエラーが発生するのではなく、発生すると思いますKilled）。 プロセスに時間がかかりすぎている可能性がありますか？もしそうなら、私がこれを避けることができるようにタイムアウト期間を延長する方法はありますか？ コードは次のとおりです。 csv.field_size_limit(sys.maxsize) counter={} with open("/home/alex/Documents/version2/cooccur_list.csv",'rb') as file_name: reader=csv.reader(file_name) for row in reader: if len(row)>1: pair=row[0]+' '+row[1] if pair in counter: counter[pair]+=1 else: counter[pair]=1 print 'finished counting' writer = csv.writer(open('/home/alex/Documents/version2/dict.csv', 'wb')) for key, value in counter.items(): writer.writerow([key, value]) そして、印刷Killed後に発生finished countingし、完全なメッセージは次のとおりです。 killed (program exited with code: 137)

89 python  csv  etl  kill 

次のように、sqliteクエリをcsvファイルにエクスポートするシェルスクリプトを作成しています。 #!/bin/bash ./bin/sqlite3 ./sys/xserve_sqlite.db ".headers on" ./bin/sqlite3 ./sys/xserve_sqlite.db ".mode csv" ./bin/sqlite3 ./sys/xserve_sqlite.db ".output out.csv" ./bin/sqlite3 ./sys/xserve_sqlite.db "select * from eS1100_sensor_results;" ./bin/sqlite3 ./sys/xserve_sqlite.db ".exit" スクリプトを実行すると、出力は「out.csv」に保存されるのではなく、画面に表示されます。コマンドラインで同じ方法で動作していますが、シェルスクリプトがデータをファイルにエクスポートできない理由がわかりません。 私は何が間違っているのですか？

88 sqlite  shell  csv 

CSVファイルがあります。140万行のデータが含まれているため、そのcsvファイルの制限は約100万行であるため、Excelで開くことができません。 したがって、このファイルをMySQLワークベンチにインポートしたいと思います。このcsvファイルには次のような列が含まれています "Service Area Code","Phone Numbers","Preferences","Opstype","Phone Type" 次のような列を含む「ダミー」という名前のテーブルをMySQLワークベンチで作成しようとしています。 ServiceAreaCodes,PhoneNumbers,Preferences,Opstyp,PhoneTyp. CSVファイルの名前はmodel.csv。ワークベンチの私のコードは次のようなものです： LOAD DATA LOCAL INFILE 'model.csv' INTO TABLE test.dummy FIELDS TERMINATED BY ',' lines terminated by '\n'; しかし、私は次のようなエラーが発生しています model.CSV file not found

88 mysql  csv  import 

そのため、詳細が多く、行が不完全なデータファイル（セミコロンで区切られている）があります（AccessとSQLがチョークになります）。これは、40年間、セグメント、サブセグメント、およびサブサブセグメント（合計で約200の要素）に分割された郡レベルのデータセットです。要するに、それは巨大であり、私が単にそれを読もうとすると、それはメモリに収まらないでしょう。 だから私の質問はこれです、私はすべての郡が欲しいのですが、たった1年（そしてセグメントの最高レベル...最終的には約100,000行になります）を取得するための最良の方法は何でしょうかこのRへのロールアップ？ 現在、私はPythonで無関係な年を切り取り、一度に1行ずつ読み取って操作することでファイルサイズの制限を回避しようとしていますが、Rのみのソリューション（CRANパッケージはOK）を好みます。Rで一度に1つずつファイルを読み込む同様の方法はありますか？ どんなアイデアでも大歓迎です。 更新： 制約 私のマシンを使用する必要があるので、EC2インスタンスはありません 可能な限りRのみ。この場合、速度とリソースは問題ではありません...私のマシンが爆発しない限り... 以下に示すように、データには混合タイプが含まれていますが、後で操作する必要があります データ データは3.5GBで、約850万行17列です。 数千行（〜2k）の形式が正しくなく、17列ではなく1列しかありません これらはまったく重要ではなく、削除できます このファイルから必要なのは最大100,000行だけです（以下を参照） データ例： County; State; Year; Quarter; Segment; Sub-Segment; Sub-Sub-Segment; GDP; ... Ada County;NC;2009;4;FIRE;Financial;Banks;80.1; ... Ada County;NC;2010;1;FIRE;Financial;Banks;82.5; ... NC [Malformed row] [8.5 Mill rows] データがRに収まるように、いくつかの列を切り取り、利用可能な40年（2009-2010から1980-2020）から2つを選びたいと思います。 County; State; Year; Quarter; Segment; GDP; ... Ada County;NC;2009;4;FIRE;80.1; ... Ada County;NC;2010;1;FIRE;82.5; ... …

87 r  csv 

モジュールを使用してPythonでCSVファイルmodel.filefieldを解析するためにDjangoのにアクセスしようとしています。Windowsでは動作しますが、Macでは次のようになります。csv Exception Type: Error Exception Value: new-line character seen in unquoted field - do you need to open the file in universal-newline mode? これはコードです： myfile = customerbulk.objects.all()[0].fileup mydata = csv.reader(myfile) for email,mobile,name,civilid in mydata: print email,mobile,name,civilid

86 django  macos  csv  newline  python-2.x 

閉まっている。この質問はトピックから外れています。現在、回答を受け付けていません。 この質問を改善したいですか？ 質問を更新することがありますので、話題のスタックオーバーフローのため。 8年前に閉鎖されました。 この質問を改善する 私はSQL Server 2005たくさんのデータを取り出そうとすることに頭を悩ませてきました。300近くのテーブルを含むデータベースが提供されたので、これをMySQLデータベースに変換する必要があります。私の最初の呼び出しはbcpを使用することでしたが、残念ながら有効なCSVは生成されません-文字列はカプセル化されていないため、カンマを含む文字列（または区切り文字として使用するもの）を含む行を処理できません明らかにCSVはデータ型について何も教えてくれないので、私はまだすべてのcreatetableステートメントを手書きする必要があります。 SQL ServerとMySQLの両方に接続できるツールがあれば、コピーを実行する方がよいでしょう。ビュー、ストアドプロシージャ、トリガーなどが失われますが、あるDBから別のDBに基本型のみを使用するテーブルをコピーすることは難しくありません...そうですか？ 誰かがそのようなツールを知っていますか？整数、浮動小数点数、日時、および文字列をサポートしている限り、それがいくつの仮定を行うか、またはどのような単純化が発生するかは気にしません。とにかく多くのプルーニングや正規化などを行う必要があるため、キーや関係などを保持する必要はありませんが、初期データセットを高速で保持する必要があります。

86 mysql  sql-server  csv  sql-server-2005  bcp 

レポートをCSVファイルとして作成します。Excelでファイルを開こうとすると、セルの内容に基づいてデータ型が推測され、それに応じて再フォーマットされます。 たとえば、CSVファイルにが含まれている場合 ...,005,... 次に、Excelはそれを5として表示します。これをオーバーライドして005を表示する方法はありますか？ ユーザーがCSVファイルをダブルクリックして開くことができるように、ファイル自体に何かを実行したいと思います。 私はExcel2003を使用しています。

86 excel  csv  formatting  number-formatting 

リストをCSVファイルにエクスポートしようとしています。応答ストリームにファイルに書き込みたいところまで、すべてが機能しました。これは何もしません。 これが私のコードです： ページからメソッドを呼び出します。 $('#btn_export').click(function () { $.post('NewsLetter/Export'); }); コントローラのコードは次のとおりです。 [HttpPost] public void Export() { try { var filter = Session[FilterSessionKey] != null ? Session[FilterSessionKey] as SubscriberFilter : new SubscriberFilter(); var predicate = _subscriberService.BuildPredicate(filter); var compiledPredicate = predicate.Compile(); var filterRecords = _subscriberService.GetSubscribersInGroup().Where(x => !x.IsDeleted).AsEnumerable().Where(compiledPredicate).GroupBy(s => s.Subscriber.EmailAddress).OrderBy(x => x.Key); ExportAsCSV(filterRecords); } catch …

85 c#  jquery  asp.net-mvc  csv 

2つのcsvファイルをマージするPythonスクリプトを作成しました。次に、最終的なcsvにヘッダーを追加します。ここで報告されている提案に従ってみましたが、次のエラーが発生しましたexpected string, float found。これを修正するための最もPython的な方法は何ですか？ これが私が使用しているコードです： import csv with open('combined_file.csv', 'w', newline='') as outcsv: writer = csv.DictWriter(outcsv, fieldnames = ["Date", "temperature 1", "Temperature 2"]) writer.writeheader() with open('t1.csv', 'r', newline='') as incsv: reader = csv.reader(incsv) writer.writerows(row + [0.0] for row in reader) with open('t2.csv', 'r', newline='') as incsv: reader = csv.reader(incsv) writer.writerows(row[:1] …

85 python  csv  header 

「A.csv」というCSVファイルがあります。「A.csv」のデータを使用して「B.csv」という新しいCSVファイルを生成する必要があります。 「A.csv」の列のサブセットを使用し、1つの列の値を「B.csv」の新しい値に更新する必要があります。最終的には、B.csvのこのデータを使用して、データベースに対して検証します。 新しいCSVファイルを作成するにはどうすればよいですか？ 必要な列のデータをA.csvから「B.csv」にコピーするにはどうすればよいですか？ 特定の列に値を追加するにはどうすればよいですか？ Rubyは初めてですが、CSVを読み取って配列またはハッシュを取得できます。

84 ruby  csv 

.CSVファイル（input.csv）を調べ、テキストファイル（output.txt）にリストされているように、特定の要素（corrected.csv）で始まる行のみを書き換えるプログラムを作成しようとしています。 これは私のプログラムが今どのように見えるかです： import csv lines = [] with open('output.txt','r') as f: for line in f.readlines(): lines.append(line[:-1]) with open('corrected.csv','w') as correct: writer = csv.writer(correct, dialect = 'excel') with open('input.csv', 'r') as mycsv: reader = csv.reader(mycsv) for row in reader: if row[0] not in lines: writer.writerow(row) 残念ながら、私はこのエラーを繰り返し発生し、それが何であるかわかりません。 Traceback (most recent call last): …

84 python  csv 

PyQt4からcsv形式のテキストファイルを作成しようとしていますQTableWidget。特殊文字が含まれているため、UTF-8エンコーディングでテキストを記述したいと思います。私は次のコードを使用します： import codecs ... myfile = codecs.open(filename, 'w','utf-8') ... f = result.table.item(i,c).text() myfile.write(f+";") セルに特殊文字が含まれるまで機能します。私も試してみました myfile = open(filename, 'w') ... f = unicode(result.table.item(i,c).text(), "utf-8") ただし、特殊文字が表示されると停止します。何が間違っているのかわかりません。

83 python  csv  encoding  utf-8 

私はTensorFlowの世界に比較的慣れていないので、CSVデータをTensorFlowで使用可能なサンプル/ラベルテンソルに実際に読み込む方法にかなり戸惑っています。CSVデータの読み取りに関するTensorFlowチュートリアルの例はかなり断片化されており、CSVデータでトレーニングできるようにする方法の一部しか得られません。 これが、CSVチュートリアルに基づいてまとめたコードです。 from __future__ import print_function import tensorflow as tf def file_len(fname): with open(fname) as f: for i, l in enumerate(f): pass return i + 1 filename = "csv_test_data.csv" # setup text reader file_length = file_len(filename) filename_queue = tf.train.string_input_producer([filename]) reader = tf.TextLineReader(skip_header_lines=1) _, csv_row = reader.read(filename_queue) # setup CSV decoding …

83 python  csv  tensorflow