8
カスタムオブジェクトをデータセットに保存する方法
Sparkデータセットの紹介によると: Spark 2.0を楽しみにして、特にデータセットにいくつかのエキサイティングな改善を計画します。...カスタムエンコーダー-現在、さまざまなタイプのエンコーダーを自動生成していますが、カスタムオブジェクトのAPIを開きたいと考えています。 カスタムタイプを保存しようとするとDataset、次のようなエラーが発生します: データセットに保存されているタイプのエンコーダーが見つかりません。プリミティブ型(Int、Stringなど)および製品型(ケースクラス)は、sqlContext.implicits._のインポートによってサポートされます。他の型のシリアル化のサポートは、将来のリリースで追加されます または: Java.lang.UnsupportedOperationException:...のエンコーダーが見つかりません 既存の回避策はありますか? この質問は、コミュニティWiki回答のエントリポイントとしてのみ存在することに注意してください。質問と回答の両方を自由に更新/改善してください。