Github Wikiを検索エンジンでクロールできるようにするにはどうすればよいですか？robots.txtはそれを禁止しているようです

W3Cリンクチェッカーを使用しているときに、Github Wikiをクロールできないことがわかりました。

https://github.com/aegif/CmisSync/wiki/Getting-started-with-CmisSync-development
Status：（N / A）Forbidden by robots.txt

検索エンジンでこのWikiを簡単に見つけてもらいたいので、これは残念です。

質問： Github Wikiを検索エンジンでクロールできるようにするにはどうすればよいですか？
それとも私は間違っていて、Githubのrobots.txtは実際には大丈夫ですか？

GitHub robots.txtは、Googlebotセクションなどで、Wikiページのクロールを明示的に禁止しています。

User-agent: Googlebot
Allow: /*/*/tree/master
Allow: /*/*/blob/master
...
Disallow: /*/*/wiki/*/*

これはサイト全体のrobotsファイルなので、回避する方法はありません。

GitHub はwikiを「プロジェクトに関する長い形式のコンテンツを共有する」場所として説明しているため、これは興味深い選択です。デフォルトでは、パブリックWikiはすべてのユーザーが編集できるため、おそらくスパマーからの強引な保護です。

GitHub wikiは、それをサポートするエンジンで検索できます。https://github.com/robots.txtの最初の2行をご覧ください。

# If you would like to crawl GitHub contact us at support@github.com.
# We also provide an extensive API: https://developer.github.com/

これはおそらく、さまざまなwiki形式などを解析するためのものです。

たとえば、Googleで「openrefine broker protocol」を検索すると、最初のヒットはGithubプロジェクトwikiのページです。