24,000カテゴリのクラスをエンコードする方法は？

私は現在、ゲノミクスのロジスティック回帰モデルに取り組んでいます。共変量として含めたい入力フィールドの1つはgenesです。既知の遺伝子は約24,000あります。計算生物学にはこのレベルの変動性を持つ多くの機能があり、数十万のサンプルが必要です。

• もしLabelEncoder()24K遺伝子なら
• そしてOneHotEncoder()それら...

24,000列は、2.2 GHzクアッドコアi7 CPUに対してケラスのトレーニング時間を無理にするのでしょうか？

もしそうなら、私がこれで取ることができるエンコーディングへの異なるアプローチはありますか？

どういうわけか、モデルのレイヤーをこの機能専用にする必要がありますか？

これは、24Kの入力ノードが必要であることを意味しますか？

はい、24k機能でワンホットエンコーディングを使用するには、24k入力ノードが必要です。ただし、これはKeras（または他のディープラーニングライブラリ）の問題ではありません。自然言語処理では、同じ球場で語彙サイズの単語にワンホットエンコーディングを使用することがよくあります。

「ディープ」モデルを使用している場合、非表示レイヤーの1つがデータの次元数を減らすことに注意する必要があります。通常、個別の前処理ステップは必要ありません。

訓練時間は無理であってはなりません。

カテゴリ変数のエンティティ埋め込み（元のページャー）は、ここでの非常に適切なアプローチです。こちらかこちらをお読みください。私は実際にあちこちからコードを配置し、完全に実行する実装を作成しました。このgitリポジトリを参照してください。これは、ニューラルネットワークを使用して、非常に高いカーディカルカテゴリ変数を簡単に処理します。私はOHEの長所と短所をリストしません、あなたはそれをググってください、しかし主な欠点の1つは特に。非常に高い基数カテゴリー変数がある場合、それはフィーチャースペースを不必要に劇的に増やしますが、これは私の意見では理想的ではありません。そしてさらに重要なことに、私の知る限り、OHEは、カテゴリ間の意味的な関係が存在する場合、それを考慮しません。ただし、エンティティの埋め込みは、NLPでの単語の埋め込みの概念であり、カテゴリをエンコードするために学習されている重みは、カテゴリ内の関係をキャプチャする可能性があります。

一般に、その遺伝子の数は、有意な特徴のはるかに小さなセットに減らす必要があります。次に、削減された機能セットをモデルで使用できます。たとえば、主成分分析（PCA）は最も一般的な削減手法の1つであり、遺伝子発現データに使用されています。

「生物学および医学でデータを統合するための機械学習：原則、プラクティス、および機会」 Zitnikaら。遺伝子のさまざまな特徴工学技術をカバーしています。