タグ付けされた質問 「csv」

現在、最大100万行、200列のPython 2.7の.csvファイルからデータを読み取ろうとしています（ファイルの範囲は100mbから1.6gbです）。300,000行未満のファイルに対してこれを（非常にゆっくりと）実行できますが、それを超えるとメモリエラーが発生します。私のコードは次のようになります： def getdata(filename, criteria): data=[] for criterion in criteria: data.append(getstuff(filename, criteron)) return data def getstuff(filename, criterion): import csv data=[] with open(filename, "rb") as csvfile: datareader=csv.reader(csvfile) for row in datareader: if row[3]=="column header": data.append(row) elif len(data)<2 and row[3]!=criterion: pass elif row[3]==criterion: data.append(row) else: return data getstuff関数のelse句の理由は、基準に一致するすべての要素がcsvファイルにまとめてリストされるため、時間を節約するためにそれらを通過したときにループを終了するためです。 私の質問は： これを大きなファイルで動作させるにはどうすればよいですか？ 速くする方法はありますか？ 私のコンピューターには8 …

107 python  python-2.7  file  csv 

現在のところ、この質問はQ＆A形式には適していません。私たちは回答が事実、参考文献、専門知識によってサポートされることを期待しますが、この質問はおそらく議論、議論、投票、または拡張された議論を誘います。この質問が改善され、場合によっては再開できると思われる場合は、ヘルプセンターにアクセスしてください。 7年前休業。 厳密に型指定されたデータ構造にCSVファイルをインポートする最良の方法は何ですか？

106 c#  vb.net  file  csv  import 

20000行のデータをCSVファイルからMysqlにインポートしています。 CSVの列は、MySQLテーブルの列とは異なる順序になっています。Mysqlテーブルの列に対応する列を自動的に割り当てる方法は？ 実行すると LOAD DATA INFILE'abc.csv' INTO TABLE abc このクエリは、すべてのデータを最初の列に追加します。 Mysqlにデータをインポートするための自動構文を提案してください。

106 mysql  csv  import  load-data-infile 

誰かがfgetcsvを使用してCSVファイルから配列を作成するコードを提供してくれますか？ 次のコードを使用して、単純なCSVファイルから配列を作成しましたが、フィールドの1つに複数のカンマ（アドレスなど）がある場合、正しく機能しません。 $lines =file('CSV Address.csv'); foreach($lines as $data) { list($name[],$address[],$status[]) = explode(',',$data); } *また、私のホスティングサービスではstr_getcsvがサポートされていません。 上記のコードは、次のCSVファイルの例では機能しません。最初の列は名前、2番目の列は住所、3番目の列は婚姻状況です。 Scott L. Aranda,"123 Main Street, Bethesda, Maryland 20816",Single Todd D. Smith,"987 Elm Street, Alexandria, Virginia 22301",Single Edward M. Grass,"123 Main Street, Bethesda, Maryland 20816",Married Aaron G. Frantz,"987 Elm Street, Alexandria, Virginia 22301",Married Ryan V. Turner,"123 …

106 php  arrays  csv 

与えられた 2,1016,7 / 31/2008 14：22、Geoff Dalgas、6/5/2011 22 : 21、http: //stackoverflow.com、 "Corvallis、OR"、7679,351,81、b437f461b3fd27387c5d8ab47a293d35,34 C＃を使用して上記の情報を次のように文字列に分割する方法： 2 1016 7/31/2008 14:22 Geoff Dalgas 6/5/2011 22:21 http://stackoverflow.com Corvallis, OR 7679 351 81 b437f461b3fd27387c5d8ab47a293d35 34 ご覧のように、列の1つに、<=（Corvallis、OR）が含まれています // update // C＃Regex Splitに基づく -引用符の外のコンマ string[] result = Regex.Split(samplestring, ",(?=(?:[^\"]*\"[^\"]*\")*[^\"]*$)");

105 c#  .net  csv 

CSVファイルがあり、Pythonを使用してこのファイルをsqlite3データベースに一括インポートしたい。コマンドは「.import .....」です。しかし、それはこのように機能することができないようです。sqlite3でそれを行う方法の例を誰かに教えてもらえますか？念のためwindowsを使っています。ありがとう

105 python  database  csv  sqlite 

jqを使用して、浅いオブジェクトの配列をエンコードする任意のJSONをCSVに変換するにはどうすればよいですか？ このサイトには、フィールドをハードコーディングする特定のデータモデルをカバーするQ＆Aがたくさんありますが、この質問への回答は、JSONがあれば機能しますが、スカラープロパティを持つオブジェクトの配列（deep / complex /これらを平坦化することは別の問題であるため、サブオブジェクト。結果には、フィールド名を示すヘッダー行が含まれているはずです。最初のオブジェクトのフィールド順序を維持する回答が優先されますが、これは必須ではありません。結果は、すべてのセルを二重引用符で囲むか、引用符が必要なセルのみを囲む場合があります（例： 'a、b'）。 例 入力： [ {"code": "NSW", "name": "New South Wales", "level":"state", "country": "AU"}, {"code": "AB", "name": "Alberta", "level":"province", "country": "CA"}, {"code": "ABD", "name": "Aberdeenshire", "level":"council area", "country": "GB"}, {"code": "AK", "name": "Alaska", "level":"state", "country": "US"} ] 可能な出力： code,name,level,country NSW,New South Wales,state,AU AB,Alberta,province,CA ABD,Aberdeenshire,council area,GB AK,Alaska,state,US …

105 json  csv  jq 

製品の配列をCSVファイルに変換しようとしていますが、計画はないようです。CSVファイルは1つの長い行です。これが私のコードです。 for($i=0;$i<count($prods);$i++) { $sql = "SELECT * FROM products WHERE id = '".$prods[$i]."'"; $result = $mysqli->query($sql); $info = $result->fetch_array(); } $header = ''; for($i=0;$i<count($info);$i++) { $row = $info[$i]; $line = ''; for($b=0;$b<count($row);$b++) { $value = $row[$b]; if ( ( !isset( $value ) ) || ( $value == "" ) ) …

104 php  csv 

WindowsコマンドラインでXLSファイルをCSVファイルに変換するにはどうすればよいですか。 マシンにはMicrosoft Office 2000がインストールされています。Microsoft Officeを使用できない場合は、OpenOfficeをインストールできます。

103 windows  excel  csv 

私は次のコードでいくつかのCSVファイルを操作しています： reader = csv.reader(open(filepath, "rU")) try: for row in reader: print 'Row read successfully!', row except csv.Error, e: sys.exit('file %s, line %d: %s' % (filename, reader.line_num, e)) そして、1つのファイルがこのエラーを投げています： file my.csv, line 1: line contains NULL byte 私に何ができる？グーグルはそれが不適切に.csvとして保存されたExcelファイルである可能性があることを示唆しているようです。Pythonでこの問題を回避する方法はありますか？ ==更新== 以下の@JohnMachinのコメントに従って、これらの行をスクリプトに追加してみました。 print repr(open(filepath, 'rb').read(200)) # dump 1st 200 bytes of file data …

102 python  csv 

httpリクエストを介してアクセスされ、サーバーからカンマ区切り形式で返送されるデータがあります。次のコードがあります。 site= 'www.example.com' hdr = {'User-Agent': 'Mozilla/5.0'} req = urllib2.Request(site,headers=hdr) page = urllib2.urlopen(req) soup = BeautifulSoup(page) soup = soup.get_text() text=str(soup) テキストの内容は次のとおりです。 april,2,5,7 may,3,5,8 june,4,7,3 july,5,6,9 このデータをCSVファイルに保存するにはどうすればよいですか。私は次の行に沿って何かを行ごとに繰り返すことができることを知っています： import StringIO s = StringIO.StringIO(text) for line in s: しかし、私は今、各行をCSVに適切に書き込む方法がわかりません 編集--->提案されたフィードバックに感謝します解決策はかなり単純であり、以下に見ることができます。 解決： import StringIO s = StringIO.StringIO(text) with open('fileName.csv', 'w') as f: for line …

100 python  string  file  csv  io 

行の長さを事前に知らなくても、ファイルのread_csv最初のn行だけを読み取るための組み込みの方法はありますか？読み取るのに長い時間がかかる大きなファイルがあり、たまに最初の20行だけを使用してサンプルを取得したい場合があります（すべてをロードしてその先頭をとらない方がよい）。 行の総数がわかっている場合は、次のようにfooter_lines = total_lines - nしてこれをskipfooterキーワードargに渡すことができます。私の現在の解決策はn、PythonとStringIOで最初の行を手動で取得してパンダに渡すことです。 import pandas as pd from StringIO import StringIO n = 20 with open('big_file.csv', 'r') as f: head = ''.join(f.readlines(n)) df = pd.read_csv(StringIO(head)) それはそれほど悪くはありませんが、キーワードや何かでそれを行うためのより簡潔で「パンダシック」（？）な方法はありますか？

100 python  pandas  csv  dataframe 

ブラウザでJSONデータを開くリンクがありますが、残念ながらそれを読み取る方法がわかりません。JavaScriptを使用してこのデータをCSV形式で変換し、JavaScriptファイルに保存する方法はありますか？ データは次のようになります。 { "count": 2, "items": [{ "title": "Apple iPhone 4S Sale Cancelled in Beijing Amid Chaos (Design You Trust)", "description": "Advertise here with BSA Apple cancelled its scheduled sale of iPhone 4S in one of its stores in China\u2019s capital Beijing on January 13. Crowds outside the store in …

99 javascript  json  csv 

これが私のコードです。本当にシンプルなものです... import csv import json csvfile = open('file.csv', 'r') jsonfile = open('file.json', 'w') fieldnames = ("FirstName","LastName","IDNumber","Message") reader = csv.DictReader( csvfile, fieldnames) out = json.dumps( [ row for row in reader ] ) jsonfile.write(out) 一部のフィールド名を宣言すると、リーダーはCSVを使用してファイルを読み取り、ファイル名を使用してファイルをJSON形式にダンプします。ここに問題があります... CSVファイルの各レコードは異なる行にあります。JSON出力を同じようにしたいです。問題は、すべてを1つの巨大な長い行にダンプすることです。 私は次のようなものを使用しfor line in csvfile:て、reader = csv.DictReader( line, fieldnames)各行をループするコードの下でコードを実行しようとしましたが、ファイル全体を1行で実行し、ファイル全体を別の行でループします...行がなくなるまで続行します。 これを修正するための提案はありますか？ 編集：明確にするために、現在私は持っています：（1行目のすべてのレコード） [{"FirstName":"John","LastName":"Doe","IDNumber":"123","Message":"None"},{"FirstName":"George","LastName":"Washington","IDNumber":"001","Message":"Something"}] 私が探しているもの：（2行に2つのレコード） {"FirstName":"John","LastName":"Doe","IDNumber":"123","Message":"None"} {"FirstName":"George","LastName":"Washington","IDNumber":"001","Message":"Something"} インデント/個別の行にある個々のフィールドではなく、その行の各レコード。 …

98 python  json  csv 

このコードはURLを開き、末尾にを追加し/namesてページを開き、文字列をtest1.csv次のように出力します。 import urllib2 import re import csv url = ("http://www.example.com") bios = [u'/name1', u'/name2', u'/name3'] csvwriter = csv.writer(open("/test1.csv", "a")) for l in bios: OpenThisLink = url + l response = urllib2.urlopen(OpenThisLink) html = response.read() item = re.search('(JD)(.*?)(\d+)', html) if item: JD = item.group() csvwriter.writerow(JD) else: NoJD = "NoJD" csvwriter.writerow(NoJD) しかし、私はこの結果を得ます： …

97 python  csv