githubはプロジェクトの言語をどのように理解しますか？

私は最近、JavaScriptとC ++の両方でgithubプロジェクトに取り組んでいて、githubがプロジェクトにC ++のタグを付けていることに気づきました。単一の言語を選択する必要がある場合、C ++コードはJavaScriptライブラリとしてコンパイルされるため、これはおそらく正しい指定ですが、これは私に不思議に思いました... githubは各プロジェクトにタグを付ける言語をどのように判断しますか？

2013年4月の更新、nuclearsandwich（GitHubサポートチームまたは「supportocat」）による：

• ヘルプページ「私のリポジトリは間違った言語としてマークされています」では、構文の強調表示とリポジトリ統計のファイル言語を決定するために言語学者ライブラリを使用することに言及しています。言語学者は、特定のベンダーのファイルとディレクトリを除いて、特定のファイル名とパスを統計から除外します。

• ヘルプページ「私の好きな言語が認識されないのはなぜですか？」は次のように付け加えます。

目的の言語がシンタックスハイライトを受信して​​いない場合は、言語学者ライブラリに貢献して追加することができます。

（元の回答、2012年10月）

GitHubサポートに関するこのスレッドはそれを説明しています：

各拡張子のファイルサイズを合計するだけです。最大のものが「勝ち」ます。

どちらもプロセスが遅くなるため、ファイルを開いてコンテンツを解析することは避けたいと思います...しかし、これがこのような競合を解決する唯一の方法である可能性があります。

これは100％正確ではないため、次のように追加する必要がありました。

私も、推測が間違っている場合に備えて、単純な手動オーバーライドスイッチに投票します。

注：Mark Rushakoffが彼の回答（賛成）で述べているように、それ以来、言語学者プロジェクト（2011年6月からオープンソース）で推測が改善されました。
ただし、まだ問題があることがわかります：GitHub言語学者の問題。
詳細については、こちらをご覧ください。

言語が検出されると、PygmentsラッパーであるAlbinoに渡され、実際の構文の強調表示が行われます。

また、.gitattributesファイルに言語学者ディレクティブを追加できます。

現在、Githubの言語学者プロジェクトは、このGithubブログ投稿（この質問が最初に尋ねられてから数か月後に出てきた）で説明されているように、言語統計を決定するために使用されるものです。

まず、Linguistオーバーライドを使用して、リポジトリ内のファイルに対して検出された言語をオーバーライドできることを知ってください。

さて、一言で言えば、

1. 各リポジトリは、言語統計の最初の言語でタグ付けされています。
2. 言語統計は、検出された各プログラミング言語またはマークアップ言語のファイルの合計サイズをカウントします。Vendored、ドキュメント、および生成されたファイルはカウントされません。
3. 各ファイルの言語は、オープンソースプロジェクトの言語学者によって検出されます。

言語学者はどのように言語を検出しますか？

言語学者は、次の戦略に順番に依存し、完全に一致するものが見つかるとすぐに言語を返します（単一の言語が返される戦略）。

1. 探しEmacsやVimのモードライン。
2. 既知のファイル名。一部のファイル名は特定の言語に関連付けられています（think Makefile）。
3. シバンを探してください。#!/bin/bashシバンのあるファイルはシェルとして分類されます。
4. 既知のファイル拡張子。言語には、一連の拡張機能が関連付けられています。ただし、この戦略には多くの矛盾があります。矛盾する結果（C ++、C、Objective-Cを考えてください.h）は、後続の戦略によって洗練されます。
5. ヒューリスティックルールのセット。彼らは通常、ファイルの内容に対する正規表現に依存して、言語を識別しようとします（たとえば、^[^#]+:-Prologの場合）。
6. サンプルファイルでトレーニングされた単純ベイズ分類器。最後の戦略、最低の精度。ベイズ分類器は常に言語のサブセットを入力として受け取ります。すべての言語に分類することを意図したものではありません。分類子によって検出された最適な一致が返されます。

ベンダーなしのドキュメントファイルとは何ですか？

言語学者は、一部のファイルをベンダーと見なします。つまり、言語統計には含まれていません。これらには、jQueryなどのサードパーティライブラリが含まれ、vendor.yml構成ファイルで定義されています。Linguistオーバーライドを使用して、リポジトリ内のファイルをベンダーまたはベンダー解除することもできます。

同様に、ドキュメントファイルはで定義されてdocumentation.ymlおり、言語学者のオーバーライドを使用して変更できます。

生成されたファイルはどのように検出されますか？

言語学者は、ファイルのパスとコンテンツの両方を使用して、生成されたファイルを検出するための単純なルールに依存しています。生成されたファイルは言語統計にカウントされず、github.comのdiffに表示されません。

プログラミングとマークアップ言語はどうですか？

言語学者では、各言語にタイプが与えられます。これらのタイプは、メインの構成ファイルにありlanguages.ymlます。プログラミング言語とマークアップ言語のみが統計にカウントされます。

言語学者をいじくり回した後、私はこれに気づきました。

シバンを含むファイルの場合、言語を決定するときにシバンが考慮されますが、他のトークンに対して均等に重み付けされているよう です。Shebangはファイルの言語を明確に定義する必要があるため、これは大きなエラーのようです。

これにより、強調表示で問題が発生する可能性があります。

ファイル拡張子は私の頭に浮かぶ最初のものです。