過去の株価データのソース[終了]

株式市場シミュレータを作成しようとしています（おそらく、最終的に予測AIに成長しています）が、使用するデータを見つけるのに苦労しています。私は（うまくいけば無料で）過去の株式市場データのソースを探しています。

理想的には、NASDAQとNYSEのすべてのシンボルの価格とボリュームを含む非常にきめ細かい（秒または分間隔の）データセット（そして、私が冒険するならおそらく他のデータセット）です。誰かがそのような情報の出典を知っていますか？

YahooがCSV形式で履歴データを提供していることを示すこの質問を見つけましたが、リンクされたサイトの大まかな調査でそれを取得する方法を見つけることができませんでした。

また、CSVファイルで断片的なデータをダウンロードするという考えも好きではありません...最初の数千のリクエストの後にYahooが動揺して私を止めてしまうと思います。

ジャックポットに当たると思われる別の質問も発見しましたが、残念ながら、OpenTickサイトはその扉を閉ざしてしまったようです。

また、毎日すべてのシンボルのオープン/クローズ価格とボリュームのデータを使用することもできますが、入手できる場合はすべてのデータを使用します。他に何か提案はありますか？

私の2¢を追加してみましょう。ヘッジファンド用の適切でクリーンなデータを取得するのが私の仕事です。非常に多くのデータフィードと履歴データプロバイダーを見てきました。これは主に米国の株価データに関するものです。

まず、Yahooからのデータのダウンロードに煩わされないお金がある場合は、CSIデータから1日の終わりのデータを直接取得します。これが、YahooがEODデータとAFAIKを取得する場所です。APIがあり、データを任意の形式に抽出できます。データの年間サブスクリプションは数百ドルです。

無料サービスからデータをダウンロードすることの主な問題は、まだ存在している株のみを取得することです。これは生存バイアスと呼ばれ、多くの株を見ると間違った結果を与える可能性があります。上場から除外されたものではなく、はるかに。

IQFeedで調べる日中のデータをいじるには、履歴データを抽出するためのいくつかのAPIを提供しますが、これらは主にリアルタイムフィードの装備です。しかし、ここにはかなりの数のオプションがあり、一部のブローカーはAPIを介して履歴データのダウンロードを提供することさえあるので、毒を選ぶだけです。

しかし、通常、このデータはすべてそれほどクリーンではありません。実際にテストを開始すると、特定の株が欠落しているか、2つの異なるシンボルとして表示されているか、株分割が適切に考慮されていないことがわかります。配当データも必要なので、円で実行し始め、100の異なるデータソースからのデータを一緒にパッチします。したがって、「割引」データフィードから始めれば十分ですが、より包括的なバックテストを実行するとすぐに、何をすべきかに応じて問題が発生する可能性があります。たとえば、S＆P 500の株価を見てみると、それほど問題にはならず、「安価な」日中フィードでも問題ありません。

あなたが見つけられないのは無料の日中のデータです。私はあなたがいくつかの例を見つけるかもしれないということを意味します、私はどこかにMSFTティックデータが5年ぐらい浮かんでいると確信していますが、それはあなたをそれほど遠くに連れて行きません。

次に、本物（レベルIIオーダーブック、すべての取引所で発生したすべてのティック）が必要な場合は、「手頃な価格」でありながら優れたオプションがNanexです。彼らは実際にテラバイトのデータを備えたドライブを出荷します。私の記憶が正しければ、年間約3,000〜4,000ドルのデータです。しかし、私を信じてください。ひとたび良い日中データを取得することがどれほど難しいかを理解すれば、これは決して大金だとは思わないでしょう。

落胆させるのではなく、適切なデータを取得することは困難です。実際、多くのヘッジファンドや銀行は、信頼できるデータを取得するために毎月数十万ドルを費やしています。繰り返しますが、どこから始めてそこから移動することもできますが、状況を少し確認するとよいでしょう。

編集：上記の答えは私自身の経験からです。利用可能なデータフィードに関するCaltechからのこの記事は、より多くの洞察を提供し、特にQuantQuoteを推奨します。

YAHOOフィードが存在しなくなったため、この回答はもはや正確ではありません

上記のYahooのCSVアプローチを使用すると、履歴データも取得できます。次の例をリバースエンジニアリングできます。

http://ichart.finance.yahoo.com/table.csv?s=YHOO&d=0&e=28&f=2010&g=d&a=3&b=12&c=1996&ignore=.csv

基本的に：

sn = TICKER
a = fromMonth-1
b = fromDay (two digits)
c = fromYear
d = toMonth-1
e = toDay (two digits)
f = toYear
g = d for day, m for month, y for yearly

パラメータの完全なリスト：

a   Ask
a2  Average Daily Volume
a5  Ask Size
b   Bid
b2  Ask (Real-time)
b3  Bid (Real-time)
b4  Book Value
b6  Bid Size
c   Change & Percent Change
c1  Change
c3  Commission
c6  Change (Real-time)
c8  After Hours Change (Real-time)
d   Dividend/Share
d1  Last Trade Date
d2  Trade Date
e   Earnings/Share
e1  Error Indication (returned for symbol changed / invalid)
e7  EPS Estimate Current Year
e8  EPS Estimate Next Year
e9  EPS Estimate Next Quarter
f6  Float Shares
g   Day's Low
h   Day's High
j   52-week Low
k   52-week High
g1  Holdings Gain Percent
g3  Annualized Gain
g4  Holdings Gain
g5  Holdings Gain Percent (Real-time)
g6  Holdings Gain (Real-time)
i   More Info
i5  Order Book (Real-time)
j1  Market Capitalization
j3  Market Cap (Real-time)
j4  EBITDA
j5  Change From 52-week Low
j6  Percent Change From 52-week Low
k1  Last Trade (Real-time) With Time
k2  Change Percent (Real-time)
k3  Last Trade Size
k4  Change From 52-week High
k5  Percent Change From 52-week High
l   Last Trade (With Time)
l1  Last Trade (Price Only)
l2  High Limit
l3  Low Limit
m   Day's Range
m2  Day's Range (Real-time)
m3  50-day Moving Average
m4  200-day Moving Average
m5  Change From 200-day Moving Average
m6  Percent Change From 200-day Moving Average
m7  Change From 50-day Moving Average
m8  Percent Change From 50-day Moving Average
n   Name
n4  Notes
o   Open
p   Previous Close
p1  Price Paid
p2  Change in Percent
p5  Price/Sales
p6  Price/Book
q   Ex-Dividend Date
r   P/E Ratio
r1  Dividend Pay Date
r2  P/E Ratio (Real-time)
r5  PEG Ratio
r6  Price/EPS Estimate Current Year
r7  Price/EPS Estimate Next Year
s   Symbol
s1  Shares Owned
s7  Short Ratio
t1  Last Trade Time
t6  Trade Links
t7  Ticker Trend
t8  1 yr Target Price
v   Volume
v1  Holdings Value
v7  Holdings Value (Real-time)
w   52-week Range
w1  Day's Value Change
w4  Day's Value Change (Real-time)
x   Stock Exchange
y   Dividend Yield

「無料」をご希望のことは承知しておりますが、私なら、csidata.comから年間約300ドルでデータを取得することを真剣に検討しています。

yahooがデータを提供するために使用しています。

それはまともなAPIが付属しており、データは（私の知る限り）非常にクリーンです。

購読すると10年の歴史があり、その後は毎晩更新されます。

また、分割や配当など、あらゆる種類の厄介なことも処理します。データクリーニングという喜びをまだ見つけていない場合、ATS（Automated Trading System）が一部の株式を本当に安いと初めて考えるまで、これは2分割されているという理由だけで、これがどれだけ必要かを理解できません。 ：1と気づかなかった。

NASDAQとNYSEのすべてのシンボルのデータセットは、1秒または1分間隔で膨大になります。

両方の取引所に合計4000社が上場しているとしましょう（NASDAQには3200社以上の企業が上場しているため、これはおそらく非常に低い側です）。2番目の間隔のデータの場合、1日の取引時間が6.5であるとすると、会社ごとに1日あたり23400データポイント、またはその1日の合計で約93,600,000データポイントになります。年間200取引日とすると、1年間で約18,720,000,000データポイントになります。

たぶんあなたは最初に小さいセットから始めたいですか？

イントロ：
yahooからEOD（1日の終わり）の過去の価格、またはリアルタイムの価格を取得できます。EOD価格は驚くほど簡単にダウンロードできます。データの取得方法の説明とC＃コード例については、私のブログを参照してください。

データベースにリアルタイムの価格をダウンロードして保存するリアルタイムのデータフィード「エンジン」を作成しています。エンジンは当初、YahooおよびInteractive Brokersから過去の価格をダウンロードでき、MS SQL、MySQL、SQLiteなど、選択したデータベースにデータを保存できます。これはオープンソースですが、詳細は投稿します（数日以内に）ブログをリリースし始めたときの情報。

別のオプションは日食トレーダーです...それはあなたが1分程度の細かさで履歴データを記録することを可能にし、テキストファイルにローカルに価格を保存します。基本的に、Yahooからリアルタイムデータを15分の遅延でダウンロードします。より堅牢なソリューションが必要であり、データが必要な大規模なプロジェクトに取り組んでいるため、独自のデータフィードエンジン（前述）を作成することにしました。

サンプルコード：
リアルタイムデータをダウンロードする方法を示すサンプルC＃コードは次のとおりです。

public void Start()
{
    string url = "http://finance.yahoo.com/d/quotes.csv?s=MSFT+GOOG&f=snl1d1t1ohgdr";
    //Get page showing the table with the chosen indices
    HttpWebRequest request = null;
    IDatabase database =
        DatabaseFactory.CreateDatabase(
        DatabaseFactory.DatabaseType.SQLite);

    //csv content
    try
    {
        while (true)
        {
            using (Stream file = File.Create("quotes.csv"))
            {
                request = (HttpWebRequest)WebRequest.CreateDefault(new Uri(url));
                request.Timeout = 30000;
                using (var response = (HttpWebResponse)request.GetResponse())
                using (Stream input = response.GetResponseStream())
                {
                    CopyStream(input, file);
                }
            }
            Console.WriteLine("------------------------------------------------");
            database.InsertData(Directory.GetCurrentDirectory() + "/quotes.csv");

            File.Delete("quotes.csv");
            Thread.Sleep(10000); // 10 seconds
        }
    }
    catch (Exception exc)
    {
        Console.WriteLine(exc.ToString());
        Console.ReadKey();
    }
}

データベース：
データベース側ではOleDb、CSVファイルへの接続を使用してを入力しDataSet、次にを介して実際のデータベースを更新しますDataSet。これにより、Yahooから返されたCSVファイルのすべての列をデータベースに直接一致させることができます（データベースがSQLiteなどのCSVデータのバッチ挿入をサポートしていない場合）。それ以外の場合、データの挿入はワンライナーです...データベースにCSVをバッチで挿入するだけです。

URLのフォーマットの詳細については、http：//www.gummy-stuff.org/Yahoo-data.htmを参照してください。

NASDAQは、各シンボルについて10年分の過去のEODデータを提供します

http://www.nasdaq.com/aspx/historical_quotes.aspx?symbol=AAPL&selected=AAPL

このデータをダウンロードするプロセスを自動化できます。

生存率バイアスのないデータの場合、私が見つけた唯一の信頼できるソースはQuantQuote（http://quantquote.com）です

データは分、秒、またはティックの解像度で提供され、過去の株価データにリンクしています。

上記にキボットの提案がありました。私はそれらから購入する前に簡単なグーグル検索をします、あなたはキボットのデータ品質問題についての警告とともにこのようなたくさんの投稿を見つけるでしょう。それはまた、彼らの生き残りと思われるバイアスのないsp500は14年間で570シンボルしかないことを示しています。それはほとんど不可能です、sp500は毎月 1〜2シンボルずつ変化します....

残念ながら、無料の過去のティッカーデータは入手が困難です。opentickが機能しなくなったため、他のプロバイダーについては知りません。

以前の生涯で、自動取引システムを備えたヘッジファンドに勤務し、履歴データを多用しました。

ソースにはTickDataを使用しました。価格は妥当であり、データには1秒未満の解像度がありました。

私たちはKibot.comから12 日間の日中データを購入しており、品質にかなり満足しています。

ストレージ要件について：すべてのUSA株式（8000を超えるシンボル）の12年間の1分データは約100GBです。

ティックごとのデータの状況では、少し違いがあります。時間と売上高のみを記録した場合、米国のすべての株式について、1か月あたり約30GBのデータになります。入札/変更をトランザクションと一緒に保存したい場合は、月あたり約150GBを期待できます。

これがお役に立てば幸いです。他にご不明な点がございましたら、お気軽にお問い合わせください。

見つけたソースをここに追加してみましょう。

これにはcsv形式の多くの過去の株価データがあり、彼のホームページによると「カーネギーメロン大学のコンピューターサイエンス学部の助教授」であるアンディパブロによって収集されました。

最近のMathematicaは現在と過去の両方の株価へのアクセスも提供しています 。たまたまそれを入手した場合はhttp://reference.wolfram.com/mathematica/ref/FinancialData.htmlを参照してください 。

yahooを使用して毎日のデータ（はるかに管理しやすいデータセット）を取得できますが、URLを構造化する必要があります。このリンクを参照してください。小さなリクエストを大量に作成するのではなく、大きなリクエストを少なくします。多くのフリーソフトウェアがこれを使用しているので、彼らはあなたをシャットダウンするべきではありません。

編集：この男はそれを行います、おそらくあなたは彼のソフトウェアが行う呼び出しを見ることができます。

Yahooは、予備の無料データを取得する最も簡単なオプションです。eckesicleの回答に記載されているリンクは、Pythonコードで簡単に使用できますが、最初にすべてのティッカーが必要です。この例ではNYSEを使用しますが、これはさまざまな交換にも使用できます。

私はこのWikiページを使用して、次のスクリプトですべての会社のティッカーをダウンロードしました（私は非常に才能のあるPythonistではありません。このコードがあまり効率的でないのは残念です）：

import string
import urllib2
from bs4 import BeautifulSoup

global f

def download_page(url):
    aurl = urllib2.urlopen(url)
    soup = BeautifulSoup(aurl.read())

    print url

    for row in soup('table')[1]('tr'):
        tds = row('td')
        if (len(tds) > 0):
            f.write(tds[1].string + '\n')


f = open('stock_names.txt', 'w')

url_part1 = 'http://en.wikipedia.org/wiki/Companies_listed_on_the_New_York_Stock_Exchange_'
url = url_part1 + '(0-9)'
download_page(url)

for letter in string.uppercase[:26]:
    url_part2 = letter
    url = url_part1 + '(' + letter + ')'

    download_page(url)

f.close()

各ティッカーをダウンロードするために、別の非常に類似したスクリプトを使用しました。

import string
import urllib2
from bs4 import BeautifulSoup


global f

url_part1 = 'http://ichart.finance.yahoo.com/table.csv?s='
url_part2 = '&d=0&e=28&f=2010&g=d&a=3&b=12&c=1996&ignore=.csv'

print "Starting"

f = open('stock_names.txt', 'r')
file_content = f.readlines()
count = 1;
print "About %d tickers will be downloaded" % len(file_content)

for ticker in file_content:
    ticker = ticker.strip()
    url = url_part1 + ticker + url_part2
    
    try:
        # This will cause exception on a 404
        response = urllib2.urlopen(url)

        print "Downloading ticker %s (%d out of %d)" % (ticker, count, len(file_content))

        count = count + 1
        history_file = open('C:\\Users\\Nitay\\Desktop\\Historical Data\\' + ticker + '.csv', 'w')
        history_file.write(response.read())
        history_file.close()

    except Exception, e:
        pass

f.close()

この方法の主な欠点は、企業ごとに異なるデータを使用できることです。リクエストされた日付（新しくリストされた日付）にデータが存在しない企業には、404ページが表示されます。

また、この方法は予備データにのみ適していることにも注意してください-アルゴリズムを本当にテストしたい場合は、少しお金を払い、CSIDataなどの信頼できるデータサプライヤーを使用する必要があります

ブラウンモーションで偽の株式市場をモデル化しないのはなぜですか？

それを行うための豊富なリソース。簡単に実装できます。

http://introcs.cs.princeton.edu/java/98simulation/

eodData.comを使用しています。そのかなりまともな価格。1か月あたり30ドルで、米国のすべての取引所で1日、5分、60分のバーが30日間、その他のほとんどの場合、1年間のEODデータが得られます。

私は、finance.google.com（見積もり用）-またはfinance.yahoo.comをクロールします。

これらは両方とも、歴史的なものを含む世界中のほとんどの交換のためのhtmlページを返します。次に、HTMLを解析して必要なものを抽出するだけです。

私は過去にこれを行ったことがあり、大きな成功を収めています。あるいは、Perlを使用することを気にしない場合-CPANには、この作業を行ったいくつかのモジュールがあります。つまり、Google / Yahooから引用を抽出します。

詳細については、引用履歴を参照してください

私の以前のプロジェクトでは、EODDataから自由にダウンロードできるデータを使用していました。

Mergent歴史的証券データAPIをご覧ください -http ://www.mergent.com/servius