履歴書データに基づいてジョブ分類を実行するには、どのアルゴリズムを使用する必要がありますか？

Rですべてを行っていることに注意してください。

問題は次のようになります。

基本的に、履歴書（CV）のリストがあります。一部の候補者は以前に実務経験があり、いくつかはそうではありません。ここでの目標は、CVのテキストに基づいて、それらを異なる職種に分類することです。私は、候補者が経験を持たない/学生である場合に特に興味があり、卒業後にこの候補者がどの職種に属する可能性が高いかを予測する必要があります。

質問1：機械学習アルゴリズムを知っています。ただし、NLPを実行したことはありません。インターネットでLatent Dirichletの割り当てに出会いました。しかし、これが私の問題に取り組むための最良のアプローチであるかどうかはわかりません。

私の元のアイデア： これを教師付き学習問題にします。ラベル付けされたデータがすでに大量にあると仮定します。つまり、候補者のリストのジョブセクターに正しくラベル付けされています。MLアルゴリズム（つまり、最近傍...）を使用してモデルをトレーニングし、これらのラベルのないデータを入力します。これらのデータは、実務経験がない/学生である候補であり、所属するジョブセクターを予測しようとします。

質問2の更新：履歴書のすべてを抽出してテキストファイルを作成し、各履歴書が非構造化文字列を含むテキストファイルに関連付けられるようにテキストファイルを作成することをお勧めします。テキストマイニング手法をテキストファイルに適用し、データを構造化するか、テキストファイルから使用される用語の頻度マトリックスを作成しますか？たとえば、テキストファイルは次のようになります。

I deployed ML algorithm in this project and... Skills: Java, Python, c++ ...

これは私が「非構造化」、つまりすべてを1行の文字列に折りたたむことによって意味したものです。

このアプローチは間違っていますか？私のアプローチが間違っていると思われる場合は私を修正してください。

質問3：難しい部分は、キーワードを識別して抽出する方法です。tmRでパッケージを使用しますか？tm パッケージはどのアルゴリズムに基づいていますか？NLPアルゴリズムを使用する必要がありますか？はいの場合、どのアルゴリズムを調べる必要がありますか？ご覧になる良いリソースをいくつか教えてください。

どんなアイデアでも素晴らしいでしょう。

チェックアウトこのリンクを。

ここでは、非構造化テキストを読み込んでワードクラウドを作成します。この戦略を適用して、ワードクラウドを作成する代わりに、使用する用語の頻度マトリックスを作成できます。アイデアは、構造化されていないテキストを受け取り、何らかの形で構造化することです。Document Term Matricesを使用して、すべてを小文字（または大文字）に変更し、ストップワードを削除し、各職務の頻出用語を見つけます。単語をステミングするオプションもあります。単語をステミングすると、さまざまな形式の単語を同じ単語として検出できます。たとえば、「programmed」と「programming」は「program」にステム処理できます。これらの頻出用語の出現を、MLモデルトレーニングの重み付き機能として追加することができます。

また、これを頻繁なフレーズに適合させて、職務ごとに2〜3語の共通グループを見つけることもできます。

例：

1）ライブラリをロードし、サンプルデータをビルドする

library(tm)
library(SnowballC)

doc1 = "I am highly skilled in Java Programming.  I have spent 5 years developing bug-tracking systems and creating data managing system applications in C."
job1 = "Software Engineer"
doc2 = "Tested new software releases for major program enhancements.  Designed and executed test procedures and worked with relational databases.  I helped organize and lead meetings and work independently and in a group setting."
job2 = "Quality Assurance"
doc3 = "Developed large and complex web applications for client service center. Lead projects for upcoming releases and interact with consumers.  Perform database design and debugging of current releases."
job3 = "Software Engineer"
jobInfo = data.frame("text" = c(doc1,doc2,doc3),
                     "job" = c(job1,job2,job3))

2）次に、テキストの構造化を行います。次のことを行うためのより速い/より短い方法があると確信しています。

# Convert to lowercase
jobInfo$text = sapply(jobInfo$text,tolower)

# Remove Punctuation
jobInfo$text = sapply(jobInfo$text,function(x) gsub("[[:punct:]]"," ",x))

# Remove extra white space
jobInfo$text = sapply(jobInfo$text,function(x) gsub("[ ]+"," ",x))

# Remove stop words
jobInfo$text = sapply(jobInfo$text, function(x){
  paste(setdiff(strsplit(x," ")[[1]],stopwords()),collapse=" ")
})

# Stem words (Also try without stemming?)
jobInfo$text = sapply(jobInfo$text, function(x)  {
  paste(setdiff(wordStem(strsplit(x," ")[[1]]),""),collapse=" ")
})

3）コーパスのソースとドキュメントの用語マトリックスを作成します。

# Create Corpus Source
jobCorpus = Corpus(VectorSource(jobInfo$text))

# Create Document Term Matrix
jobDTM = DocumentTermMatrix(jobCorpus)

# Create Term Frequency Matrix
jobFreq = as.matrix(jobDTM)

これで、頻度行列jobFreqができました。これは（3 x x）行列、3つのエントリ、X個の単語です。

ここからどこへ行くかはあなた次第です。特定の（より一般的な）単語のみを保持し、モデルの機能として使用できます。もう1つの方法は、「java」が「ソフトウェアエンジニア」で80％発生し、「品質保証」で50％しか発生しないなど、各ジョブの説明で使用する単語の割合を単純にすることです。

ここで、「保証」に1つの「r」があり、「発生」に2つの「r」がある理由を調べてみましょう。

キーワードを抽出し、それらの分類子をトレーニングするだけです。これですべてです。

CVのテキストのほとんどは、実際にはスキルに関連していません。たとえば、「Javaの経験があり、非常に効率的です」という文を検討してください。ここでは、7ワードのうち1ワードのみがスキル名であり、残りは分類の精度を低下させるノイズにすぎません。

ほとんどのCVは実際には構造化されていません。または、構造が自由すぎる。または、セクションに通常とは異なる名前を使用します。または、テキストに変換されたときに構造を保持しないファイル形式。構造化されていないテキストから日付、時刻、名前、住所、さらには人々の意図を抽出した経験はありますが、スキル（または大学など）のリストは抽出できません。

CVをトークン化し（場合によってはステム化）、定義済みのリストから単語のみを選択し（LinkedInなどを使用してこのリストを取得できます）、特徴ベクトルを作成し、いくつかの分類子（SVMとNaive Bayesなど）を試してください。

（注：LinkedInのプロファイルを50を超えるクラスに90％以上の精度で分類するために同様のアプローチを使用したため、単純な実装でも十分に機能すると確信しています。）

これは難しい問題です。それを処理する方法はたくさんあります。履歴書は半構造化文書として扱うことができると思います。文書に最小限の構造を持たせることが有益な場合があります。履歴書には表形式のデータが表示されると思います。これらを属性値のペアとして扱うことができます。たとえば、属性「スキルセット」の用語のリストを取得します。

重要な考え方は、「スキル」、「教育」、「公開」などのキーフレーズのリストを手動で構成することです。次のステップは、何らかの方法で構造を活用することにより、これらのキーフレーズに関連する用語を抽出することですテーブルとして）またはこれらのキーフレーズの周りの用語の近接性を利用することにより、たとえば、「Java」という単語が「スキル」という用語に近接しているという事実は、その人がJavaに熟練していることを示します。

これらの情報を抽出した後、次のステップは、これらの各キーフレーズの特徴ベクトルを構築することです。その後、ドキュメントをさまざまなフィールド（キーフレーズごとに1つ）を持つベクトルとして表すことができます。たとえば、プロジェクトと教育という2つのフィールドで表される次の2つの履歴書について考えてみましょう。

Doc1：{project：（java、3）（c、4）}、{education：（computer、2）、（physics、1）}

Doc2：{project：（java、3）（python、2）}、{education：（maths、3）、（computer、2）}

上記の例では、頻度とともに用語を示しています。もちろん、用語を抽出する際に、ストップワードを止めて削除する必要があります。例から、履歴書がDoc1である人はD2の人よりもCの方が熟練していることが明らかです。実装に関しては、ドキュメントをLuceneのフィールドベクトルとして表現するのは非常に簡単です。

さて、次のステップは、与えられた職務の履歴書のランク付きリストを取得することです。実際、クエリ（ジョブ仕様）をフィールドベクトルとしても表す場合、それはかなり簡単です。索引付き履歴書のコレクションからLuceneを使用して、候補者（履歴書）のランク付けされたリストを取得するだけです。

私はオンラインの求人サイトで働いており、履歴書に基づいて求人を推奨するソリューションを構築しています。私たちのアプローチでは、人の役職（または学生で知られている場合は望ましい役職）、履歴書から抽出したスキル、および場所（ほとんどの人にとって非常に重要）を取得し、それに基づいて仕事との一致を見つけます。

ドキュメントの分類に関しては、同様のアプローチをとります。標準履歴書モデルとして履歴書ごとにtf idfマトリックスを計算し、その人の役職とスキル（検索するスキルのリストを定義する必要がある）のみを抽出し、それをMLにフィードすることをお勧めしますアルゴリズム。knnとSVMを試してみることをお勧めします。後者は高次元のテキストデータで非常にうまく機能します。線形SVMは、非線形よりも優れた性能を発揮する傾向があります（RBfカーネルを使用するなど）。妥当な結果を出力できる場合は、自然言語パーサー\チャンカー、および正規表現に一致するカスタムビルドフレーズを使用して機能を抽出します。