タグ付けされた質問 「scala」

Scalaでファイルを読み取るには、 Source.fromFile("file.txt").mkString 文字列をファイルに書き込む同等で簡潔な方法はありますか？ ほとんどの言語はそのようなものをサポートしています。私のお気に入りはGroovyです。 def f = new File("file.txt") // Read def s = f.text // Write f.text = "file contents" 1行からコードの短いページまでのプログラムにコードを使用したいと思います。ここでは、独自のライブラリを使用する必要はありません。現代の言語では、何かをファイルに簡単に書き込むことができると思います。 これに似た投稿がありますが、それらは私の正確な質問に答えないか、古いScalaバージョンに焦点を当てています。 例えば： Scalaでファイル全体を読みますか？ Scalaでファイルに書き込む方法は？

144 scala  scala-2.9 

違いは何である==と.equals()スカラ座では、いつどの使用するには？ 実装はJavaと同じですか？ 編集：関連する質問は、の特定のケースについて話しAnyValます。より一般的なケースはAnyです。

144 scala  equality  scala-java-interop 

AWS EC2ガイドを使用してSparkをインストールしました。bin/pysparkスクリプトを使用してプログラムを正常に起動し、sparkプロンプトを表示し、クイックスタートクワイエドを正常に実行することもできます。 ただし、私はINFO、各コマンドの後にすべての詳細ログを停止する方法を理解することができません。 各ノードからだけでなく、アプリケーションを起動するフォルダー内のlog4j.propertiesファイル内の以下のコード（コメントアウト、OFFに設定）でほぼすべての可能なシナリオを試しconfましたが、何も実行されていません。INFO各ステートメントを実行した後も、ログステートメントが出力されます。 私はこれがどのように機能することになっているのか非常に混乱しています。 #Set everything to be logged to the console log4j.rootCategory=INFO, console log4j.appender.console=org.apache.log4j.ConsoleAppender log4j.appender.console.target=System.err log4j.appender.console.layout=org.apache.log4j.PatternLayout log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n # Settings to quiet third party logs that are too verbose log4j.logger.org.eclipse.jetty=WARN log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO これが私が使用するときの私の完全なクラスパスSPARK_PRINT_LAUNCH_COMMANDです： Sparkコマンド：/ライブラリ/Java/JavaVirtualMachines/jdk1.8.0_05.jdk/Contents/Home/bin/java -cp：/root/spark-1.0.1-bin-hadoop2/conf：/root/spark-1.0.1 -bin-hadoop2 / conf：/root/spark-1.0.1-bin-hadoop2/lib/spark-assembly-1.0.1-hadoop2.2.0.jar：/root/spark-1.0.1-bin-hadoop2/lib /datanucleus-api-jdo-3.2.1.jar:/root/spark-1.0.1-bin-hadoop2/lib/datanucleus-core-3.2.2.jar:/root/spark-1.0.1-bin-hadoop2 /lib/datanucleus-rdbms-3.2.1.jar -XX：MaxPermSize = 128m -Djava.library.path = …

144 python  scala  apache-spark  hadoop  pyspark 

次のように生成されたDataFrameがあります。 df.groupBy($"Hour", $"Category") .agg(sum($"value") as "TotalValue") .sort($"Hour".asc, $"TotalValue".desc)) 結果は次のようになります。 +----+--------+----------+ |Hour|Category|TotalValue| +----+--------+----------+ | 0| cat26| 30.9| | 0| cat13| 22.1| | 0| cat95| 19.6| | 0| cat105| 1.3| | 1| cat67| 28.5| | 1| cat4| 26.8| | 1| cat13| 12.6| | 1| cat23| 5.3| | 2| cat56| 39.6| | 2| …

143 sql  scala  apache-spark  dataframe  apache-spark-sql 

どのような場合にArray（Buffer）とList（Buffer）を使用する必要があります。私が知っている唯一の違いは、配列は不変で、リストは共変であるということです。しかし、パフォーマンスと他のいくつかの特性はどうですか？

142 arrays  list  scala  scala-collections 

私はスパークでCSVを読み取り、それをDataFrameとして変換し、HDFSに保存したいと思います df.registerTempTable("table_name") 私が試してみました： scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") 私が得たエラー： java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:277) at org.apache.spark.sql.parquet.ParquetRelation2$MetadataCache$$anonfun$refresh$6.apply(newParquet.scala:276) at scala.collection.parallel.mutable.ParArray$Map.leaf(ParArray.scala:658) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply$mcV$sp(Tasks.scala:54) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:53) at scala.collection.parallel.Task$$anonfun$tryLeaf$1.apply(Tasks.scala:53) at scala.collection.parallel.Task$class.tryLeaf(Tasks.scala:56) at scala.collection.parallel.mutable.ParArray$Map.tryLeaf(ParArray.scala:650) at …

140 scala  apache-spark  hadoop  apache-spark-sql  hdfs 

RDD（org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]）をデータフレームに変換するにはどうすればよいですかorg.apache.spark.sql.DataFrame。を使用してデータフレームをrddに変換しました.rdd。処理した後、データフレームに戻したい。これどうやってするの ？

139 scala  apache-spark  apache-spark-sql  rdd 

ケースクラスに多くのフィールドがあり、それらの名前が長い場合、多くの場合、次のように各行に各フィールドを記述することをお勧めします。 case class Person ( name: String, age: Int ) これはC / C ++ struct定義に似ており、ケースクラスが大きくなっても完全に読み取り可能です。しかし、IntelliJ IDEAのデフォルトのScalaプラグインは自動的にインデントを変更します： case class Person ( name: String, age: Int ) 奇妙に見えますが、Scalaスタイルガイドでは、ケースクラスのインデントについては何も触れられていません。 この動作を変更する可能性のあるIDE設定には何も見つかりませんでした。上記のように自動インデントを機能させるか、ケースクラスの自動インデントを無効にするオプションはありますか？

138 scala  intellij-idea  indentation  case-class 

現在のところ、この質問はQ＆A形式には適していません。事実、参考文献、専門知識によって回答が裏付けられることを期待していますが、この質問は、討論、議論、投票、または拡張ディスカッションを求める可能性があります。この質問が改善され、場合によっては再開できると思われる場合は、ヘルプセンターにアクセスしてください。 8年前に閉鎖。 Scalaに最適なビルドツールはどれですか？それぞれの長所と短所は何ですか？プロジェクトで使用するものを決定するにはどうすればよいですか？

138 scala  maven  sbt 

私は、ファイル持っているdata.xmlではsrc/test/resources/。 FileReaderテストdata.scalaでそのファイルを新しいファイルに読み込むにはどうすればよいsrc/test/scala/ですか？

137 scala  sbt 

Scalaで逆ソートを行う最良の方法は何ですか？以下は少し遅いと思います。 list.sortBy(_.size).reverse sortByを使用する便利な方法はありますか？を使用する必要はありませんsortWith。

137 scala 

試しましたdf.orderBy("col1").show(10)が、昇順でソートしました。df.sort("col1").show(10)また、降順で並べ替えます。私はstackoverflowを調べましたが、見つかった回答はすべて古くなっているか、RDDと呼ばれていました。スパークでネイティブデータフレームを使用したいと思います。

137 scala  apache-spark  apache-spark-sql 

Scalaのストリーム、ビュー（SeqView）、イテレータの違いは何ですか？これは私の理解です： それらはすべて遅延リストです。 ストリームは値をキャッシュします。 イテレータは一度しか使用できませんか？最初に戻って値を再度評価することはできませんか？ ビューの値はキャッシュされませんが、何度でも評価できますか？ それで、ヒープ領域を節約したい場合は、イテレータ（リストを再度トラバースしない場合）またはビューを使用する必要がありますか？ありがとう。

136 scala  scala-collections 

最後のバージョンのscala（2.10.3）REPLでは、タイプexitしてREPLを終了できます。ただし、Scala 2.11.0ではこれは機能しません。 $ scala Welcome to Scala version 2.11.0 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51). Type in expressions to have them evaluated. Type :help for more information. scala> exit <console>:8: error: not found: value exit exit ^ scala>

135 scala  scala-2.11 

Scalaではオーバーロードされたコンストラクターをどのように提供しますか？

135 scala