タグ付けされた質問 「hive」

休業。この質問は意見に基づいています。現在、回答を受け付けていません。 この質問を改善してみませんか？この投稿を編集して、事実と引用で回答できるように質問を更新してください。 4年前休業。 この質問を改善する 私の経歴-Hadoopの世界で生後4週間。ClouderaのHadoop VMを使用して、Hive、Pig、Hadoopに少し手を加えました。Map-ReduceとGFSに関するGoogleのペーパー（PDFリンク）を読んでいること。 という事は承知しています- Pigの言語Pig Latinは、宣言的なプログラミングスタイルのようなSQLからのシフト（プログラマーの考え方に適合）であり、Hiveのクエリ言語はSQLによく似ています。 豚はHadoopの上に座っており、原則としてドライアドの上に置くこともできます。私は間違っているかもしれませんが、HiveはHadoopと密接に関連しています。 Pig LatinコマンドとHiveコマンドの両方がコンパイルされ、MapジョブとReduceジョブが実行されます。 私の質問-1つ（たとえば、Pig）が目的を果たすことができるときに両方を持つことの目標は何ですか？それは、PigがYahoo! FacebookのHiveですか？

256 hadoop  hive  apache-pig 

HadoopまたはHBaseまたはHiveを使用する利点は何ですか？ 私の理解では、HBaseはmap-reduceの使用を回避し、HDFSの上に列指向のストレージを備えています。Hiveは、HadoopおよびHBase用のSQLに似たインターフェースです。 また、HiveとPigの比較についても知りたいです。

185 hadoop  hbase  hive  apache-pig 

テーブルの列で両方が実行されることはわかっていますが、各操作はどのように異なりますか。

129 hadoop  hive 

Hiveの外部テーブルと内部テーブルの違いを誰かに教えてもらえますか？テーブルを落とすときに違いが出るのは知っています。データの意味がわかりません。メタデータは内部で削除され、メタデータのみが外部テーブルで削除されます。誰かがノードに関して私を説明できますか？

110 hadoop  hive  hiveql 

SET varname = valueHive QLで同等のSQLを探しています 私はこのようなことができることを知っています： SET CURRENT_DATE = '2012-09-16'; SELECT * FROM foo WHERE day >= @CURRENT_DATE しかし、それから私はこのエラーを受け取ります： 文字「@」はここではサポートされていません

102 hive  hiveql 

「テーブル」がすでにHiveにあると仮定すると、他のデータベースのように、そのテーブルの「CREATE」ステートメントを取得できる簡単な方法はありますか？

90 sql  hive  hiveql 

コマンドプロンプトから、使用しているHiveのバージョンを確認するにはどうすればよいですか。以下は詳細です- Puttyを使用して、ハイブテーブルに接続し、テーブル内のレコードにアクセスしています。それで、私がしたことは、Puttyを開き、ホスト名を入力leo-ingesting.vip.name.comして、クリックしましたOpen。次に、ユーザー名とパスワードを入力してから、Hivesqlにアクセスするためのいくつかのコマンドを入力しました。以下は私がしたことのリストです $ bash bash-3.00$ hive Hive history file=/tmp/rkost/hive_job_log_rkost_201207010451_1212680168.txt hive> set mapred.job.queue.name=hdmi-technology; hive> select * from table LIMIT 1; では、コマンドプロンプトから、使用しているハイブのバージョンとHadoopのバージョンを見つける方法はありますか？

88 hadoop  hive 

Hiveで利用可能なストレージ形式でいくつかのテストを実行し、主要なオプションとしてParquetとORCを使用しています。ORCをデフォルトの圧縮で1回、Snappyで1回含めました。 私はParquetがORCと比較して時間/空間の複雑さが優れていると述べている多くの文書を読みましたが、私のテストは私が経験した文書と反対です。 私のデータのいくつかの詳細に従います。 Table A- Text File Format- 2.5GB Table B - ORC - 652MB Table C - ORC with Snappy - 802MB Table D - Parquet - 1.9 GB 私のテーブルの圧縮に関する限り、寄木細工は最悪でした。 上記の表を使用したテストでは、次の結果が得られました。 行カウント操作 Text Format Cumulative CPU - 123.33 sec Parquet Format Cumulative CPU - 204.92 sec ORC Format Cumulative …

88 hadoop  hive  parquet  snappy  orc 

DataFrameSparkをHiveに直接保存することは可能ですか？ 変換してDataFrameからRddテキストファイルとして保存してから、ハイブにロードしてみました。しかし、私は直接dataframeハイブに保存できるかどうか疑問に思っています

85 scala  apache-spark  hive  apache-spark-sql 

違いは何であるINNER JOINとはLEFT SEMI JOIN？ 以下のシナリオでは、なぜ2つの異なる結果が得られるのですか？ INNER JOIN結果セットはたくさん大きいです。誰かが説明できますか？にtable_1のみ表示される名前を取得しようとしていますtable_2。 SELECT name FROM table_1 a INNER JOIN table_2 b ON a.name=b.name SELECT name FROM table_1 a LEFT SEMI JOIN table_2 b ON (a.name=b.name)

82 sql  hql  hive 

を実行するhiveと、次のエラーが表示されます [hadoop@a74f90aecdad tmp]$ hive SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/hive/lib/log4j-slf4j-impl-2.10.0.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.25.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.apache.hadoop.conf.Configuration.set(Configuration.java:1357) at org.apache.hadoop.conf.Configuration.set(Configuration.java:1338) at org.apache.hadoop.mapred.JobConf.setJar(JobConf.java:536) at org.apache.hadoop.mapred.JobConf.setJarByClass(JobConf.java:554) at org.apache.hadoop.mapred.JobConf.<init>(JobConf.java:448) …

9 hive