データセンターの水冷が普及していないのはなぜですか?


19

私がデータセンターについて読んだり聞いたりしたことから、水冷を使用するサーバールームはそれほど多くなく、最大のデータセンターはどれも水冷を使用していません(間違っている場合は修正してください)。また、水冷ラックサーバーはほとんど存在しませんが、水冷を使用して通常のPCコンポーネントを購入するのは比較的簡単です。

一方、水を使用すると(IMO)が発生する可能性があります。

  1. 特に直接冷却施設を作成できる場合(つまり、施設が川や海の近くにある場合)、大規模なデータセンターの消費電力を削減します。

  2. ノイズを減らし、データセンターで作業する人間の痛みを軽減します。

  3. サーバーに必要なスペースを削減します。

    • サーバーレベルでは、ラックサーバーとブレードサーバーの両方で、スペースを無駄にして空気が内部を通過できるようにするよりも、水冷チューブを通過させる方が簡単だと思います。
    • データセンターレベルでは、サーバーへのメンテナンスアクセスのためにサーバー間の路地を維持する必要がある場合、空気に使用されている床下および天井レベルの空きスペースを削除できます。

では、なぜ水冷システムは、データセンターレベルでもラック/ブレードサーバーレベルでも普及していないのでしょうか。

それは:

  • サーバーレベルで水冷はほとんど冗長ではありませんか?

  • 水冷施設の直接コストは、通常のデータセンターに比べて高すぎますか?

  • そのようなシステムを維持することは困難です(川の水を使用する水冷システムを定期的に掃除することは、もちろんファンを掃除機で掃除するよりもはるかに複雑で高価です)?

回答:


29

水+電気=災害

水冷は、空冷よりも大きな電力密度を可能にします。そのため、余分な密度のコスト節約を把握してください(スペースに非常に制約がある場合を除いて、ほとんどありません)。次に、水災害のリスクのコストを計算します(たとえば、1%*施設のコスト)。次に、単純なリスクと報酬の比較を行い、環境に合っているかどうかを確認します。


そして、施設を水冷に適応させることは本当に困難で費用がかかります。彼らは、以下の集水施設で漏れに対応する必要があります。多くのDCには、下から電力が供給されます。
マット14

「水冷」は通常、電気導体でも酸化剤でもない水ではなくオイルを使用します
エイドリアンメアリー

@AdrianMaire Waterの比熱は4.2です。ほとんどのオイルは1.5〜2.0の範囲に収まります。これは、熱の移動の効率が水の半分に満たないことを意味します。熱交換器、配管、ポンプはすべて2〜3倍大きくする必要があります。YouTubeでミネラルオイルが入った水槽にコンピューターを入れた1人を除いて、「水冷」システムがオイルを使用するのを見たことはありません。
クリスS

水槽のコンセプトは、データセンターに適用@ChrisS edgesense.com/libvirtblog/2014/3/30/...
xverges

そのため、非導電性オイルを使用してください。ルートの質問には答えていませんが、代わりにセマンティックの詳細に焦点を当てています。
-MarcusJ

22

だから私はサーバーの部分で私の答えを破ります:

  • 水と空気および鉱物油の物理的性質
  • 水使用のリスクと歴史的な悪い経験
  • データセンターを冷却する総コスト
  • 従来の液体冷却システムの弱点

他と比較した水の物理的性質

最初にいくつかの簡単なルール:

  • 液体は気体よりも多くの熱を運ぶことができます
  • 液体抽出物の蒸発により多くの熱が発生する(冷蔵庫で使用)
  • 水は、すべての液体の中で最高の冷却特性を備えています。
  • 移動する流体は、移動しない流体よりも熱をよく抽出します
  • 乱流はより多くのエネルギーを移動する必要がありますが、層流よりも熱を効率よく抽出します。

水と鉱物油を空気と比較する場合(同じ体積の場合)

  • 鉱油は空気よりも約1500倍優れています
  • 水は空気の約3500倍優れています

  • オイルはあらゆる条件で不良な電気伝導体であり、高電力変圧器の冷却に使用されます。

  • その正確なタイプに応じて油は溶媒であり、プラスチックを溶解することができます
  • 水が純粋でない場合(ミネラルを含む...)
  • 水は良い電解質です。そのため、水と接触した金属は特定の条件下で溶解します。

さて、私が上で言ったことについてのコメント:比較は大気圧で行われます。この状態では、水はプロセッサーの最大温度を超える100°Cで沸騰します。したがって、水で冷却すると、水は液体のままです。鉱油やフレオンなどの有機化合物(冷蔵庫で使用されるもの)で冷却することは、一部のアプリケーション(発電所、軍用車両など)の冷却の古典的な方法ですが、プラスチックと直接接触する油の長期使用は行われていませんIT部門で。そのため、サーバーパーツの信頼性への影響は不明です(Green Evolutionは、そのことを語っていません)。液体を動かすことは重要です。熱を除去するために不動の液体内の自然な動きに依存することは非効率的であり、パイプなしで液体を正しく導くことは困難です。これらの理由により、

技術的な問題

空気を移動させるのは簡単であり、漏れは安全性への脅威ではありません(効率性を高めるため)。多くのスペースを必要とし、エネルギーを消費します(デスクトップ消費の15%がファンに費やされます)

液体を動かすのは面倒です。パイプ、冷却したいすべてのコンポーネントに取り付けられた冷却ブロック(冷板)、タンク、ポンプ、フィルターが必要です。さらに、液体を除去する必要があるため、このようなシステムの保守は困難です。ただし、必要なスペースは小さく、エネルギーも少なくて済みます。

もう1つの重要な点は、冷却ファンを備えた空中システムに基づいてマザーボード、デスクトップ、およびサーバーを設計する方法について、多くの研究と標準化が行われていないことです。また、結果の設計は、液体ベースのシステムには適していません。formfactors.orgの詳細情報

リスク

  • 設計が不十分な場合、水冷システムが漏れることがあります。ヒートパイプは、漏れのない液体ベースのシステムの良い例です(詳細はこちらをご覧ください
  • 一般的な水冷システムは、高温のコンポーネントのみを冷却するため、他のコンポーネントには空気の流れが必要です。したがって、1つではなく2つの冷却システムがあり、空冷システムのパフォーマンスが低下します。
  • 標準設計では、水漏れは金属部品と接触すると多くの損傷を引き起こす大きなリスクがあります。

備考

  • 純水は電気の悪い伝導体です
  • 電子部品のほぼすべての部分は、非導電性コーティングでコーティングされています。はんだパッドのみではありません。数滴の水は無害です
  • 既存の技術ソリューションにより水リスクを軽減できます

冷却空気は、水を収容する能力(湿度)を低下させるため、結露の危険性があります(電子機器にとっては悪い)。したがって、空気を冷却するときは、水を取り除く必要があります。これにはエネルギーが必要です。人間の通常の湿度レベルは湿度の約70%であるため、冷却後に人々の空気中に水を戻す必要がある可能性があります。

データセンターの総コスト

データセンターの冷却を検討する場合、データセンターのすべての部分を考慮する必要があります。

  • 空気の調整(フィルタリング、過剰な湿度の除去、移動)...
  • 冷気と熱気が混ざらないようにしてください。そうしないと、効率が低下し、ホットスポット(十分に冷却されないポイント)のリスクがあります。
  • 過剰な熱を抽出するシステムが必要であるか、熱生成密度を制限する必要がある
  • あなたはすでに部屋から熱を除去するためのパイプを持っているかもしれません(屋根まで運ぶため)

データセンターのコストは、その密度(平方メートルあたりのサーバーの量)と消費電力によって決まります。(他のいくつかの要因も考慮されますが、この説明では考慮されません)データセンターの総面積は、サーバー自体、冷却システム、ユーティリティ(電気...)、およびサービスルームで使用される面積に分割されます。ラックごとにより多くのサーバーがある場合、より多くの冷却が必要であり、冷却のためにより多くのスペースが必要です。これにより、データセンターの実際の密度が制限されます。

習慣

データセンターは非常に複雑なものであり、多くの信頼性が必要です。データセンターのダウンタイムの原因の統計によると、ダウンタイムの80%は人為的エラーが原因です。

最高レベルの信頼性を実現するには、多くの手順と安全対策が必要です。そのため、歴史的にデータセンターでは、すべての手順が空冷システムに対して行われ、データセンターから禁止されていない限り、水は最も安全な使用に制限されています。基本的に、水がサーバーと接触することは不可能です。

これまで、事実を変えるのに十分な水冷ソリューションを提供できる企業はありませんでした。

概要

  • 技術的には水が良い
  • サーバー設計とデータセンター設計は水冷に適合していません
  • 現在の保守および安全手順では、サーバー内部での水冷の使用が禁止されています
  • データセンターで使用するのに十分な商用製品はありません

2
狂信的によく考えられた答え、非常に洞察力に富んだ。
アレックスKeySmith 16年

3
水は、すべての液体の中で最高の冷却特性を備えています。 これは単に本当ではありません。事例比較についてはこちらをご覧ください。水銀は水の熱伝導率の12倍以上を持っています。
-Xalorous

9

水冷式のラックがいくつかありますが(HP製のものですが、実際に製造されているかどうかはわかりません)、最近では水冷式の直接冷却は少し古くなっています。ほとんどの新しい大規模なデータセンターは、ラックを押し込む吸引トンネルを使用して構築されています。これにより、周囲の空気が引き込まれ、機器を通過する際に収集された熱が放出または再利用されます。つまり、システムは非常に特定のラック/サイズを使用するように制限され、予備のラックスペースを前面で「空白」にする必要がありますが、冷却はまったくなく、膨大なエネルギー、複雑さ、およびメンテナンスを節約します。


この吸引ベースの冷却システムを説明する例/ソースはありますか?
クリスシアーズ

@ChrisSears-この場所を見てください。大規模にこれを行う最初の場所でした。theregister.co.uk/2008/05/24/switch_switchnap_rob_roy
Chopper3

HVACの用語で@ChrisSearsは、システムを通しての引き分けです。比較的静的なプレナムから描画する場合、ドロースルーが推奨されます。空気を引き込むのに必要なエネルギーは、空気を遮られた経路に通すよりも少なくて済みます。
-Xalorous

@ Chopper3説明するドロースルーシステムは、プレナムからラックを通り、空調された空気をHVACシステムに引き込み、そこで空調されてプレナムに戻されます。。同じ機能は、ホット行/コールド行のセットアップで機能します。空気の戻りは熱い列の上にあり、供給は冷たい列にあります。現在(2016年)のベストプラクティスは、床空間に空調空気を供給するプレナムのようです。ラックの上からダクトで送られた空気を戻します。多くの場合、ラックは密閉されています(通気口はありません)。ラック間のスペースはほとんど無条件でした。ただし、湿度制御には調整が必要です。
-Xalorous

6

水は普遍的な溶媒です。十分な時間があれば、すべてを食べ尽くします。

また、水冷は、データセンターにかなりの(そしてコストのかかる)レベルの複雑さを追加します。

ほとんどのデータセンターで火災抑制システムは、いくつかの、非常に具体的な理由のために水を含まない、水の被害は、多くのケースでの火災の被害よりも大きくすることができるとデータセンターは、(電源のバックアップ用発電機などで)稼働時間を任務としているので、 、これは、何かに電力を供給して(火事の場合)、水を噴出するのがかなり難しいことを意味します。

データセンターにある種の複雑な水冷システムがあり、火災の際にゴーストをあきらめていると想像できますか?いいね。


3

短い答えは、かなり複雑になるということです。スペースの問題ではありません。

対処する大量の水(配管、流出など)がある場合、多くのリスクが追加されます...水と電気がうまく混ざりません(または、見方によっては混ざりすぎます)それ)。

水に関する他の問題は湿度です。大規模な場合、すべての空調システムをループに放り込みます。それから、蒸発による鉱物の蓄積があり、ここで私が考えなかった他の多くのことは疑いようがありません。


3

データセンターの冷却に水を使用するのではなく、電気と非常によく混ざる鉱油を使用する必要があります。http://www.datacenterknowledge.com/archives/2011/04/12/green-revolutions-immersion-cooling-in-action/を参照してください

ソリューションは新しいものですが、テクノロジーはかなり古いものですが、既存のラックを新しいタイプのラックに交換する必要があるため、このタイプの既存のデータセンターへの変更は非常に困難になります...


3
申し訳ありませんが、水冷式のラックがあります。水が満たされた日はそこにいましたが、通常の水で浄化されていました。
Chopper3

WOW -そして、どのようにこの作業はありますか?-あなたは詳細を持っていますか?
silviud

HPでリバッジされたラックです(元の製造元が誰なのか、リタールかもしれませんが、2年ほど前に販売していましたが、まだ販売されているかどうかを確認します。
Chopper3

ありがとう-h10010.www1.hp.com/wwpc/us/en/sm/WF06a/見つけた …...価格を見てください
...-silviud

はい、それは1つです、彼らがまだ私がいる英国でそれらを販売するかどうかはわかりませんが、米国のサイトを見るとは決して思いませんでした。多くのサーバーが必要な限られたスペースでそれらを使用しました。
チョッパー3

2

データセンターで水を使用しないことに対する大きな阻害要因は、ほとんどの水冷システムが原始的であるという事実です。それらはすべて、サーバーをラック内の水源に接続するために迅速に接続する必要があり、それらは特にDCに数千台あるため、障害の原因となります。また、サーバーの保守が難しくなり、ほとんどの場合、ファンが必要です。だから、複雑に追加されています。

人間側では、ほとんどの施設管理者は変化に抵抗します。彼らは空冷に非常に熟練しており、液体への移行はそれらのスキルを時代遅れにします。さらに、すべての施設OEMは、完全な製品ラインのやり直しを意味するため、変更に抵抗します。

変更には、a)より優れた液体冷却設計、b)変更を強制する法律のみが含まれます。


1

ただし、カスタムエンジニアリングコンポーネントが必要なため、OVH(世界最大のデータセンター企業の1つ)は10年以上にわたって水冷を使用しています。

あなたは彼らのラックを見ることができるこのリンクをチェックしてください:http//www.youtube.com/watch? v = wrrZxmfevoE

古典的な企業の主な問題は、そのような技術を使用するために研究開発を行う必要があることです。


DCのの多くは必ずしもモデルに適合しない、「独自のサーバーを持って」います。
マット14

0

水冷式デイターセンターは、水を浄化できれば、エネルギー効率が非常に高く、コストを節約できます。しかし、それらが密接に接触している場合、危険はさらに大きくなります。1)水分/湿度レベル
2)電気に対する水。


2
より効率的な補強水冷について何か言及はありますか?水を汲み上げるのにもっと多くのエネルギーが必要なようで、ファンを使って水を大気中に放出します。閉ループ冷却システムの水は、水分/湿度レベルにどのように影響しますか?
クリスS

@Chris S、空気の熱伝達係数は10〜100 W / m2Kで、水は500〜10,000 W / m2Kです。これは、あなたが、その後大規模な熱交換器の他の場所に作ることができることを大きな密度の利点を提供します。優れた並列性を実現するために、自動車の冷却システムを検討してください。
ジョディC

@ジョディ、水を汲み上げるのにより多くのエネルギーを投入し、より大きなラジエーターに余分な空気を押し込むためにより多くのエネルギーを投入する必要があります。ラジエーターはどこかに行かなければなりません。余分なエネルギーはコストを持っていること、などのギヤを冷却水、高いメンテナンスを行います。また、伝達係数は媒体内で適用されます。うまくいけば、あなたはCPUを示唆していないと水が直接接触します。独自の導電率定格を持つ封じ込めデバイスが存在する可能性があります。効率には、選択した媒体の熱伝達係数以上のものがあります。
クリスS

@クリスS、いいえ、あなたはそれにもっとエネルギーを入れません。ポンピングコストは最小限であり、熱交換器の面積が大きいため、高密度のフィン配列を押し進めるために高出力ファンを必要としません。空冷装置の問題の一部は、できるだけ多くの表面積を同時に詰め込もうとしている狭い空間に大量の空気を強制的に送らなければならないことです。これは、ヒートパイプクーラーがデスクトップで普及している理由の1つです。1Uで40mm 15krpmのファンを積み上げると、すばやく追加されます。
ジョディC

@Chris S、たとえば、CPUあたり4ea 40mm 20cfmのファンでは、ファンだけで35Wを見ているのに対して、6Wで単一の120MM 105CFMです。Eheim 1048は135W TDPに十分であり、10Wの電力を消費します。そのため、システムの効率が16Wになりました。
ジョディC

0

実際、水は使用するのに最適な液体ではない場合があります。指摘したように、それは時間とともにあらゆるものを分解します。確かに水は冷却用途に適していますが、万能ではありません。しかし、鉱油も影響を与える可能性がありますが、選択するのに最適なオプションではありません。

水とは異なり、非腐食性であり、熱伝達流体として使用するために特別に設計された特別な熱伝達オイルが利用できます。Parathermはすでにこれらの多種多様な製品を製造しています。

問題は、閉ループ熱交換器に物を引っ掛けることであり、私たちは多数について話している。

このソリューションはすでに作成されていますが、エレクトロニクス環境では使用されておらず、農業機械に由来しています。名前を付けるには、油圧。クイックスナップホースエンドは漏れ防止です。何らかの理由で接続が外れた場合、オスとメスの両方の端の自己閉鎖も閉じます。最悪の場合、接続を解除しても1〜2個の小さな液滴しかありません。

そのため、その部分を削除できます。ただし、冷却が必要なすべてのチップ/回路に適合する適切な銅部品を設計することは、困難な作業です。液体冷却の場合のように、過剰な熱を取り除く必要があるすべての部品をカバーする必要があります。すべてのラックが適切な量の液体を循環させ、障害を防ぐために、比較的高圧のポンプ、圧力センサー、および還元器が必要です。電子シャットオフバルブも必要です。そもそも意図が異なっていても、これらのパーツはすでに作成されているため、これは新しいことではありません。多くの小型ファンには冗長性の利点があるため、シングルポイント障害の可能性を防ぐために、複数のポンプユニットが望まれます。

それとは別に、それが実際の閉ループサイクルである場合、大量の空気ではなく低粘度の熱伝達流体を動かすと、自然に成果が得られます。

実際には、複数の方法があります。まず、空調コストとファンの運転コストが削減されます。これらのコストを過小評価しないでください。小さいファンでも数ワットの電力を消費でき、しばらくするとファンは故障します。油圧ポンプは、このアプリケーションに関連する低圧を考慮して、文字通り24時間年中無休で稼働し、膨大な数のファンを置き換えます。次に、サーバーグレードのチップは悪用に耐えることができ、デスクトップ製品と比較して非常に高い温度で実行できます。それでも、それらをより涼しく保ち、予想される寿命はより長くなりますが、これらのものの価格を考えれば決して過小評価されることはありません。ほこりや湿気を防ぐための空気ろ過はもう必要ありません。

これらの要素は、この種の冷却技術の欠点をはるかに上回っています。ただし、初期投資は高くなります。確かに、このソリューションはより高密度のサーバー設定を提供できますが、現時点では、投資はデータセンターによって単純に考慮されていません。既存の冷却ソリューションの再構築には時間がかかり、時は金なりです。かさばるヒートシンクやファンも必要ないため、保守も非常に簡単です。潜在的な障害ポイントの数を減らすこと(1つのファンがその1つである)に留意する必要があります。また、オペレーターからの介入なしに冗長ポンプを作動させることができます。また、ファンも熱を発します。各ユニットに20のファンがあり、出力が5ワット以下のユニットを考えます。最終結果は、なんとかして取り除くためにさらに100ワットの熱になります。ポンプと駆動モーターも熱を発生させ、ラックユニット内ではありません。むしろ、ターゲットシステムから分離および分離されます。短絡の場合、たとえば電源のアクティブエレメントが短絡すると、この種の液体冷却は実際に十分な熱を移動できるため、延焼の可能性が低くなります。火の近くに新鮮な空気を移動することは最良のアイデアではありません。また、プラスチック部品は溶け、プラスチック部品は燃えやすい。伝熱流体は、ファンが溶けてしまう可能性のある温度でうまく動作し、潜在的に別の短絡源となる可能性があります。また、プラスチック部品は溶け、プラスチック部品は可燃性です。伝熱流体は、ファンが溶けてしまう可能性のある温度でうまく動作し、潜在的に別の短絡源となる可能性があります。また、プラスチック部品は溶け、プラスチック部品は可燃性です。伝熱流体は、ファンが溶けてしまう可能性のある温度でうまく動作し、潜在的に別の短絡源となる可能性があります。

液体冷却は危険ですか?安全性の観点から、小さなファンの山ははるかに危険だと思います。寿命の観点から、液体冷却は私の意見でははるかに好まれています。唯一の欠点は、スタッフのトレーニングと初期投資です。それとは別に、それははるかに実行可能なソリューションであり、ミッドランでもうまく支払います。


-4

うまく機能しますが、数千台のマシンをセットアップするには高価で時間がかかり、多くのスペースを必要とします。さらに、その必要はありません。ゲーミングリグには、互いに詰め込むための多くの方法があります。まともな換気を備えたものならどれでも、70fの気流があれば、100%実行してもほとんどうまくいかないので、問題なく動作します。


2
ゲーム用リグ?何と関係があるのか​​、これはSERVERfault
Chopper3 14

3
Stack Exchangeを初めて使用するようですが、大歓迎です。議論を歓迎するフォーラムとは異なり、Stack Exchangeは専門知識に基づいた客観的な回答を指向していることに注意してください。データセンター非常に高価であり、とにかく数千台のマシンをセットアップするのは時間がかかります。スペースについて言えば、水冷は1Uで簡単にセットアップできます。サーバーとゲーム用PCを比較するので、ブレードとは何か、または高密度コンピューティングとは何かを知っていますか?「まともな換気/ 70°Fの気流」については、データセンターに行ったことはありませんか?
Arseni Mourzenko
弊社のサイトを使用することにより、あなたは弊社のクッキーポリシーおよびプライバシーポリシーを読み、理解したものとみなされます。
Licensed under cc by-sa 3.0 with attribution required.