Rを使用して400万のエッジネットワークの中心性測定を計算する方法

私は、互いに通信する人々を表す有向ネットワークの400万エッジのCSVファイルを持っています（たとえば、ジョンはメアリーにメッセージを送信し、メアリーはアンにメッセージを送信し、ジョンはメアリーに別のメッセージを送信します）。私は2つのことをしたいと思います：

1. 各個人の次数、（おそらく）固有ベクトル中心性測度の次数を求めます。

2. ネットワークの視覚化を取得します。

私のラップトップには電力があまりないので、Linuxサーバーのコマンドラインでこれを実行したいと思います。そのサーバーとstatnetライブラリにRをインストールしました。私が見つかりました。この2009年のポスト私は同じことをやろうとしていると、それで問題が発生したよりも多くの有能な誰かのを。だから私は他の誰かがこれを行う方法についてのポインタを持っているのではないかと思っていました。

ちょうどあなたにアイデアを与えるために、これは私のCSVファイルがどのように見えるかです：

$ head comments.csv
    "src","dest"
    "6493","139"
    "406705","369798"
$ wc -l comments.csv 
4210369 comments.csv

持っているのはエッジリストで、ネットワークライブラリを使用してネットワークオブジェクトに変換できます。以下は架空のデータを使用した例です。

library(network)

src <- c("A", "B", "C", "D", "E", "B", "A", "F")
dst <- c("B", "E", "A", "B", "B", "A", "F", "A")

edges <- cbind(src, dst)
Net <- as.network(edges, matrix.type = "edgelist")

summary(Net)
plot(Net)

ただし、警告が必要です。非常に大規模なネットワークがあり、プロットがそれほど有益であるかどうかはわかりません。大きな糸の玉のように見えるでしょう。また、これらのライブラリがこのような大規模なデータセットをどの程度適切に処理しているかはわかりません。ネットワーク、statnet、およびergmライブラリのドキュメントをご覧になることをお勧めします。統計ソフトウェアのジャーナル（V24 / 3）は、これらのライブラリをカバーするいくつかの記事を提供しています。問題はここにあります：

http://www.jstatsoft.org/v24

ここではRが最初の選択肢だとは思わない（たぶん私は間違っている）。ネットワークファイルに適切なデータ形式でインデックスを作成して準備するには、ここで巨大な配列が必要になります。まず最初に、Jureの（上記の投稿でRobが彼に言及した）SNAPライブラリを使用してみます。C ++で記述されており、大規模ネットワークで非常にうまく機能します。

Gephi（http://gephi.org/）は、データを探索する簡単な方法かもしれません。ほぼ確実にそれを視覚化し、いくつかの計算を実行できます（ただし、しばらく使用していないため、すべての機能を思い出せません）。

700万ノードのネットワークでの過去の経験から、完全なネットワークを視覚化すると、解釈できないイメージが得られると思います。受信リンクまたは送信リンクが最も多い上位10個のノードを使用するなど、データのサブセットを使用してさまざまな視覚化を提案する場合があります。私は、gephiの使用に関するセレニウスの提案の2番目です。

ネットワークのサイズが気になる場合は、igraphRでパッケージを試すことができます。R内でパフォーマンスが低下する場合は、Pythonモジュールの方が優れている可能性があります。またはnetworkxPython用のパッケージ

ネットワークに非常に大きな接続コンポーネントが少数あると思いますか？そうでない場合は、それを別個のコンポーネントに分解して、中心性の測定値の計算をはるかに簡単にすることができます。

「sna」や「network」など、使用できるRソフトウェアパッケージはいくつかあります。snaでパフォーマンスの問題が発生している場合、必ずしも信頼できるとは限らない 1つのことは、NetworkXです。私はNetworkXが大好きで、私の分析のほとんどで使用していますが、NetworkXはほとんど純粋にPython的な実装であることを非常に誇りに思っています。これは特に高速のコンパイル済みコードをうまく活用しておらず、snaはNetworkXをかなりのマージンで追い越すことがよくあります。