タグ付けされた質問 「crawling」

一般公開されているデータセットのすばらしいリストの拡張として、公開されているソーシャルネットワークデータセット/クロールAPIのリストがあるかどうかを知りたいです。データセット/ APIへのリンクと一緒に、利用可能なデータの特性が追加されていれば、非常に便利です。そのような情報は次のとおりである必要があります。 ソーシャルネットワークの名前。 提供するユーザー情報の種類（投稿、プロフィール、友情ネットワークなど）; APIを介してコンテンツのクロールを許可するかどうか（およびレート：10 / min、1k / month、...）; データセット全体のスナップショットを単に提供するかどうか。 追加する提案やさらなる特性は大歓迎です。

26 open-source  dataset  crawling 

LinkedIn APIに接続するための新しいRパッケージを最近発見しました。残念ながら、LinkedIn APIはそもそもかなり制限されているようです。たとえば、企業の基本データしか取得できず、これは個人のデータから切り離されています。特定の会社のすべての従業員に関するデータを取得したいのですが、これはサイトで手動で行うことができますが、APIからはできません。 import.ioは、LinkedInのページネーションを認識していれば完璧です（ページの終わりを参照）。 LinkedInの現在のフォーマットに適用可能なWebスクレイピングツールやテクニック、またはより柔軟な分析を実行するためにAPIを曲げる方法を知っている人はいますか？できればRまたはWebベースですが、他のアプローチも可能です。

11 data-mining  social-network-analysis  crawling  scraping