タグ付けされた質問 「hadoop」

私はしばらくの間ServerFaultを読むことを楽しんでおり、Hadoopに関するかなり多くのトピックに出会いました。グローバルな観点からそれが何をするかを見つけるのに少し苦労しました。 だから私の質問は非常に簡単です：Hadoopとは何ですか？それは何をするためのものか ？それは何のために使われますか？なぜそれはお尻を蹴るのですか？ 編集： Hadoopが使用されたユースケースのデモンストレーション/説明がある人がいたら、それは素晴らしいでしょう。

28 hadoop 

私はメインネームノードと同じマシンにセカンダリネームノードを展開しました。 これは、パフォーマンスと耐久性の理由から間違っています（セカンダリネームノードはホットスペアではありませんが、必要なメタデータのコピーがあります）。namenodeの移動方法に関するドキュメントを見つけましたが、セカンダリnamenodeの移動については何もありません。 経験のある人はこれを安全に行う方法を知っていますか？

11 hadoop  hbase  cloudera 

私はまだHadoopの初心者で、今回は106GBのファイルを処理しようとしていました。以前-copyFromLocalはその大きなファイルを自分のHadoop DFSにコピーしていましたが、ファイルが大きいため、現在のコピーステータスについての手掛かりがなく、長い間待たなければなりませんでした。 このコマンドで現在のファイルコピーのステータスを表示する方法はありますか？ よろしくお願いします！

10 hadoop  hdfs 

誰かがこの問題に少し光を当てることができるかどうか見てみましょう。 翌日サーバーのインストールを行っています。私のクライアントは、マスターサーバーとして2つのサーバーと5つのワーカーサーバーとしてHortonworks HDPをデプロイしたいと考えています。これらすべての要件の1つは、NTPを有効にすることです。しかし、私が持っている情報はこれだけです。ローカルサーバーがNTPサーバーとして機能することを望んでいるか、7つのサーバーすべてがクライアントとして機能することを望んでいるかについて、彼は私に言っていません。OSはCentos 6.6または6.7になります。 だから私の質問は： これは本番環境ではなく、「テスト」環境に似ていることを考慮に入れて、これらのマシンでNTPを構成するための選択肢はどれですか。7つすべてがクライアントとして機能しているか、1〜2つのサーバーと5つのクライアントとして機能していますか。

9 centos  ntp  hadoop 

以下は、i3マシンを使用した私のDIY 6ノードHadoopクラスターのリンクです。 ほこりからデザインを保護し、熱伝達を改善するための最良の方法は何ですか？ラックをほこりから保護するために、ラックの4つの側面をカバーするには何を使用すればよいですか？

9 hardware  cluster  hadoop  physical-environment 

問題 最初の目的は、HBaseをスタンドアロンで実行することでした。HBaseが起動すると、ip：60010 / master-statusへの移動は成功します。 2番目の目的は、明確なZooKeeperクォーラムを実行することです。ZooKeeperがダウンロードされ、開始されました。 netstat -nato | grep 2181 tcp 0 0 :::2181 :::* LISTEN off (0.00/0/0) conf/hbase-env.sh以下のように変更されました。 # Tell HBase whether it should manage it's own instance of Zookeeper or not. export HBASE_MANAGES_ZK=false HBaseが開始されると、HBaseを回避するためにZooKeeperが開始されます。 ただし、HBaseを起動すると、次のエラーが発生します。 Could not start ZK at requested port of 2181. ZK was started at …

8 linux  hadoop  hbase  zookeeper  cloudera 

Hadoopクラスターのセットアップに使用できるいくつかのハードウェアの評価フェーズにいます。このハードウェアは修復され（hp G6サーバーw / Smartアレイ410 / iコントローラー）、おそらく使用する必要があります...まだ使用していません。410 / iコントローラでは、hadoopが要求するJBOD構成が許可されていないことを読みました。このステートメントを確認できる人はいますか？か否か ？回避策は、すべてのディスクでraid0を構成することであると思われますが、誰かが確認したり、他の構成方法がありますか？ロブありがとう

8 hp  hp-proliant  hadoop  hp-smart-array  storage