ILPを使用しないリレーショナルデータマイニング


9

分類モデルを作成する必要があるリレーショナルデータベースの巨大なデータセットを持っています。通常、この状況では、帰納論理プログラミング(ILP)を使用しますが、特殊な状況により、それはできません。

これに取り組むもう1つの方法は、外国との関係があるときに値を集計しようとすることです。しかし、私はいくつかの名目上の属性について何千もの重要で異なる行を持っています(例:いくつかの異なる薬の処方に関連する患者)。そのため、名目属性の個別の行ごとに新しい属性を作成せずにそれを行うことはできません。さらに、これを行うと、ほとんどの新しい列にNULL値が含まれます。

何千もの新しい列を作成するピボットなどの手法に頼らずにリレーショナルデータベースをデータマイニングできる非ILPアルゴリズムはありますか?


2
ルールマイニングはどうですか?あなたの目的が何であるか私にははっきりしません。
adesantos 2014年

良い質問ですが、複数のStack Exchangeフォーラムに表示されていることに気づきました... stackoverflow.com/questions/24260299/… ; 私はそのようなことについての執事ではないが、私たちはそれをすることになっているとは思いません
Hack-R

あなたは何をしている分類に関してもう少し具体的にすることができればまた、それは非常に参考になる、バリアあなたにしているとの出会いと、理想的な世界では、を見ていくつかのサンプルデータをご提供
ハック-R

回答:


1

まず、いくつかの注意点

なぜ優先プログラミング(サブ)パラダイム*、帰納論理プログラミング(ILP)を使用できないのか、または何を分類しようとしているのかわかりません。より詳細な情報を提供することは、おそらくはるかに良い答えにつながるでしょう。特に、関連付けられているプログラミングパラダイムに基づいて分類アルゴリズムの選択にアプローチすることは少し珍しいためです。実世界の例が機密情報である場合は、架空ではあるが類似の例を作成してください。

ILPなしのビッグデータ分類

そうは言っても、ILPを除外した後、検討セットには他に4つのロジックプログラミングパラダイムがあります。

  1. アブダクティブ
  2. 回答セット
  3. 拘束
  4. 機能的

ロジックプログラミング以外の何十ものパラダイムとサブパラダイムに加えて。

機能論理プログラミング例えば、ILPの拡張が存在すると呼ばれる誘導機能論理プログラミング狭く反転(狭窄機構すなわち反転)に基づいて、。このアプローチは、ILPのいくつかの制限を克服し、(少なくとも一部の学者によれば)表現の点でアプリケーションに適しているため、問題をより自然な方法で表現できるという利点があります。

データベースの詳細とILPの使用に直面する障壁について詳しく知らなければ、これで問題が解決するのか、それとも同じ問題に悩むのかわかりません。そのため、まったく異なるアプローチも捨てます。

ILPは、データマイニングへの「古典的」または「命題」アプローチとは対照的です。これらのアプローチには、ディシジョンツリー、ニューラルネットワーク、回帰、バギング、その他の統計的手法など、機械学習の骨子が含まれます。データのサイズが原因でこれらのアプローチをあきらめるのではなく、ハイパフォーマンスコンピューティング(HPC)を使用してこれらのメソッドを大規模なデータセットで使用する多くのデータサイエンティスト、ビッグデータエンジニア、統計家の仲間入りをすることができます(また、リレーショナルデータベースのビッグデータを分析するために必要な計算リソースと時間を削減するために利用できるサンプリングやその他の統計的手法)。

HPCには、複数のCPUコアの利用、高メモリと多数の高速CPUコアを備えたサーバーの柔軟な使用による分析のスケールアップ、高性能データウェアハウスアプライアンスの使用、クラスターまたは他の形式の並列コンピューティングの使用などが含まれます。 mデータを分析する言語または統計スイートがわからないが、例として、このCRANタスクビューには、命題アルゴリズムをスケールアップできるR言語のHPCリソースが多数リストされています。

弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.