冷却分配ユニット ガイド: データセンターにおける CDU の仕組み

冷却分配ユニットの実際の機能

すべての水冷サーバー ラックには、決して混合しない 2 つの水ループが必要です。設備ループは、チラープラント、ドライクーラー、または冷却塔から水または水とグリコールの混合物をラックの列に運びます。二次ループとも呼ばれるテクノロジー ループは、CPU、GPU、メモリに取り付けられたコールド プレートを介して、よりクリーンで厳密に制御された流体を直接循環させます。の 冷却分配ユニットはこれら 2 つのループの間にあります 4 つのジョブを同時に実行します。

まず、2 つの流体を物理的に接触させることなく、プレート熱交換器を介して二次ループから設備ループに熱を交換します。 2 番目に、制御された流量 (通常はラックあたり 1 分あたりのリットルで測定) で二次流体をサーバー マニホールドに送り込みます。 3 番目に、二次ループから粒子を濾過してコールド プレート内の狭いチャネル (0.3 ミリメートル程度の場合もあります) を保護します。 4 番目に、温度、圧力、流量、漏れの状態を監視し、データ センターのビル管理システムに報告します。

二次ループは密閉されており、施設ループと比較して体積が小さいため、建物の原水よりも厳密で予測可能な温度で動作できます。そのため、コールド プレート冷却は、空冷では到達できないチップの熱設計電力値をサポートできます。安全な動作温度内に保つために毎分数千立方フィートの気流が必要なラックは、代わりに毎分数十リットルの循環液で冷却できます。これが、現在液体冷却が加速器密度の実用的な上限を超えると考えられている理由の大部分を占めています。

CDU が何ではないのかを正確に知る価値があります。これは冷却装置ではなく、何もないところから低温を生成するものでも、機械プラントに代わるものでもありません。これはプラントとラックの間に設置される移送および制御デバイスであり、その役割は、熱交換器の反対側で設備ループが何を行っているかに関係なく、チップに接触する流体が狭い安定した帯域内に留まるようにすることです。

CDU がデータホールに到達するまでの短い歴史

冷却分配ユニットは商用データセンターでは稼働しませんでした。プレート熱交換器を介して施設給水から隔離された密閉二次ループというコア設計は、数十年前の高性能コンピューティング実験室や産業プロセス冷却用途で始まりました。そこでは、敏感な機器には、建物の冷水ライザーから出てくるものではなく、化学的に制御されたきれいな水が必要でした。スーパーコンピューティング センターは、プロセッサが一般的な企業のサーバー ルームよりも高温かつ高密度で動作するため、このアプローチを早期に採用しました。

GPU ベースのコンピューティングが研究分野から主流のクラウドおよびエンタープライズ インフラストラクチャに移行するにつれて、同じ分離原理が、これまで液体ループに触れたことのないデータセンター オペレーターを対象とした製品カテゴリに再パッケージ化されました。かつては 1 台のスーパーコンピューター設置用にカスタム設計されたスキッドでしたが、定義された容量階層、プラグアンドプレイ マニホールド、および工場から組み込まれたリモート モニタリングを備えた、標準化されたラックマウント型またはフロアスタンディング型の製品になりました。この標準化が、液体冷却が国立研究所の特殊ツールにとどまらず、商業規模で実行可能になった主な理由です。

インロー、インラック、サイドカー CDU タイプの比較

冷却分配ユニットは通常 3 つの物理フォーマットで販売されており、その選択は床面積からケーブル配線、冗長計画に至るまですべてに影響します。

ラック内ユニットは、必要な二次ループの設置面積が最小限で済み、列の残りの部分に触れずに単一のキャビネットに追加できるため、改造には魅力的ですが、ホール全体で定期的な保守が必要なポンプ、フィルター、熱交換器の数が増加します。インローユニットは、多くのコロケーションプロバイダーが好む中間点に当たります。単一ユニットの障害が影響するのはポッド全体ではなく、少数のキャビネットのみであり、ユニットは通常、隣接するラックに迷惑をかけずに前面から引き出して保守できるためです。

新しい AI トレーニング クラスターでは、サイドカーおよびルームレベルのユニットがより一般的な選択肢になりつつあります。これは、ポンピングと熱交換を集中化することで、ラックあたりの可動部品の数が減り、漏れ検出ゾーンが簡素化されるためです。ただし、二次ループ配管の規模が大きくなり、より長い配電ネットワーク全体にわたるより慎重な圧力バランスが必要になります。多くの場合ラックあたり 100 kW 以上の範囲にある非常に高密度のトレーニング ポッドに移行するオペレーターは、機械設計チームがメンテナンス アクセス、スペアパーツ、モニタリングを数十のキャビネット レベルのユニットに分散させるのではなく 1 か所に集中できるため、このフォーマットに引き寄せられる傾向があります。

液体から液体への CDU アーキテクチャと液体から空気への CDU アーキテクチャ

CDU は物理フォーマット以外にも、熱を遮断する方法も異なります。液体から液体への CDU は、新築でより一般的な構成であり、プレート熱交換器を介して施設の冷水または凝縮水ループと直接熱を交換します。液体から空気への CDU は、代わりにラジエーターとファン アセンブリを通じて熱を室内空気に排出します。つまり、設備の水接続がまったく必要ありません。

液体間の利点

このアーキテクチャは、空気よりも水の方が単位流量当たりはるかに多くの熱を運ぶため、はるかに高い密度に拡張でき、二次ループを室内の空気条件から完全に切り離すため、パフォーマンスがはるかに予測可能になります。これは、ラック列で利用可能な冷水プラントまたはドライクーラー ループをすでに備えている施設にとっての標準的な選択肢です。

液体から空気への利点

このアーキテクチャは、新しい冷水配管を列に接続することが現実的ではない改修状況や、施設の水ループがまったくない小規模なエッジ サイトに役立ちます。そのトレードオフとして、液体から空気へのユニットは最終的な熱遮断が室温に依存しているため、暑い部屋では能力と効率が多少低下し、追加の熱が室内に戻され、その熱を室内の空調システムが除去する必要があります。

DC 油圧パワーユニットがループに適合する場所

購入者が遭遇する混乱の一部は、産業機械用に構築された水力発電ユニットと冷却分配ユニット内のポンプパッケージを混同することから生じます。あ 直流油圧パワーユニット 冷却の文脈では、直流 (最も一般的には 24 V または 48 V) で動作し、完全な三相 AC ポンプ パッケージが大きすぎるか使用できない場合に、小型または端に配置された液体冷却スキッドの流体循環を駆動する、コンパクトなポンプ、モーター、リザーバー アセンブリを指します。

DC 駆動ポンプ モジュールは 3 つの状況で最も頻繁に使用されます。1 つはオンサイトに DC 発電所のみを備えたテレコム エッジ キャビネット、安定した三相電源のない遠隔地向けに構築されたコンテナ化またはモジュラー データ センター、および瞬間的な AC 電力伝送中に循環流体を維持する必要がある冗長スタンバイ ポンプ アセンブリです。このような場合、DC 油圧パワー ユニットは CDU 内の筋肉として機能し、冷却液をマニホールドとコールド プレートに移動させ、CDU の制御ボードがバルブ位置、バイパス混合、および温度設定値を管理します。

DC ポンプ アーキテクチャを中心に構築された適切に設計された CDU には、通常、小型のバッテリまたはスーパーキャパシタ バッファが含まれているため、自動転送スイッチがユーティリティ フィード間を移動するのにかかる数百ミリ秒の間であってもポンピングは停止しません。これは、短時間のポンプ中断でも、完全にロードされた GPU コールド プレート上に局所的なホット スポットが発生する可能性があるためです。特に通信事業者は、キャビネット内のすべての機器に対して長い間 48V DC プラントに依存してきました。その同じ DC バスを冷却ポンプまで拡張することで、冷却ハードウェアを動作させるためだけに別個の AC 給電を行う必要がなくなります。

冷却スキッド用の DC 油圧パワーユニットのサイズ設定

サイジングは、ポンプの選択と同じ基本的な物理学に従います。システムの圧力降下に対する必要な流量が必要なモーター出力を決定し、DC 電圧と消費電流がその出力値から導出されます。単一のラックをサポートする小さなエッジ冷却スキッドには、150 ワット未満の DC ポンプしか必要としない可能性がありますが、フル ポッド用の DC バスを中心に構築された大型のサイドカー ユニットには、一連のポンプとはるかに大きなリザーバーが必要になる可能性があります。その時点で、多くのオペレータは、標準の三相 AC ポンピングと比較して DC アーキテクチャが依然として意味があるかどうかを評価します。

DCポンプモジュール特有の信頼性に関する考慮事項

DC 油圧パワー ユニットは、無人またはスタッフの少ないエッジ サイトに配備されることが多いため、冗長性とリモート診断は、スタッフが配置されたデータ ホールよりもさらに重要になります。単一のリザーバを共有するデュアル冗長ポンプ ヘッド、完全に故障する前にモータ ベアリングの故障にフラグを立てることができる電流引き込み監視、およびユニットを物理的に検査するオンサイト IT スタッフが現場にいない場合でも、標準インターフェイスを介してステータスを報告できるコントローラを探してください。

最新の CDU 内のコアコンポーネント

• プレート式熱交換器: 流体を混合することなく施設ループとテクノロジーループの間で熱を伝達します。通常はろう付けされたステンレス鋼またはチタンプレートです。
• 冗長ポンプ: ほとんどの場合、N1 構成で配備されるため、単一のポンプの故障によって冷却が中断されることはありません。
• 微粒子フィルターは、流体がコールド プレート チャネルに到達する前に、25 ～ 50 ミクロンまでの破片を捕捉すると評価されています。
• 設備の水の変動に関係なく、戻り流体と供給流体を混合して、一定の技術ループ温度に達する 3 方向調整バルブ。
• 各ラック分岐に流量計と差圧センサーを備え、詰まりを早期に検出します。
• 漏れ検出ケーブルまたはポイントセンサーは、エンクロージャの最下点およびマニホールド接続の下に配置されます。
• 密閉された二次ループの熱膨張を吸収するための膨張タンクまたはブラダー。
• データセンターの監視スタックと統合するための、ネットワーク接続 (通常は Modbus TCP または SNMP) を備えたコントローラー。
• 設備ループ側と技術ループ側の両方に隔離バルブがあるため、列全体を排水することなくユニットの保守や交換が可能です。
• 現場での設定値調整とアラーム確認のためのローカル ヒューマン マシン インターフェイス パネル (通常は小型のタッチスクリーン)。

これらのコンポーネントはそれぞれ、全体的な信頼性において異なる役割を果たしており、コスト削減のためにいずれかのコンポーネントを省略すると、前もっての節約ではなく、メンテナンスやダウンタイムの問題として後で現れる傾向があります。特に遮断バルブは予算設計では見落とされることが多く、遮断バルブがないと定期的なポンプ交換が列の二次ループ全体の排水と補充を必要とするイベントになってしまいます。

冷却分配ユニットの正しいサイズ設定

CDU のサイズを小さくすることは、オペレーターが犯す最も一般的かつ最もコストのかかる間違いです。設計負荷時に机上では適切に見えるユニットでも、最新の GPU クラスターがトレーニング バースト中に生成する一時的な電力スパイクに対処できないことがよくあるためです。サイズを決定する際には 3 つの数字が最も重要です。

総熱負荷と定格容量の関係

列内のすべての水冷コンポーネントの熱設計電力を合計し、将来のラックのアップグレードに備えて少なくとも 20% の安全マージンを適用します。正確に今日の負荷で定格されたユニットには、顧客が 18 か月後により高いワット数のアクセラレータ世代に交換するときに余裕がありません。また、事後的に CDU を改造することは、最初から追加のマージンを指定するよりもはるかに混乱をもたらします。

接近温度

これは、熱交換器に入る設備水と熱交換器から出るテクノロジーループ水との温度差です。適切に設計されたユニットでは通常 2 ～ 3 ℃であるより厳しいアプローチ温度は、設備の水が温かくなった場合でも CDU がチップに冷たい水を供給できることを意味します。これは、ドライクーラーが非常に冷たい水を生成できない気候や季節では非常に重要です。対照的に、アプローチ温度が広いと、それを補うために施設のプラントはより低温で動作する必要があり、建物全体での冷却エネルギーの使用量が増加します。

ラックあたりの流量

ほとんどのコールド プレート メーカーは、アクセラレータごとに必要な流量を指定しており、多くの場合、GPU ごとに 1 ～ 3 リットル/分の範囲になります。これにラック内の加速器の数を掛けて、CDU の定格ポンプ曲線がマニホールド、チューブ、およびクイックディスコネクト継手全体の圧力降下に対してその流量を維持できることを確認します。これは、クイックディスコネクトだけでもシステム全体の圧力損失のかなりの部分を占める可能性があるためです。チームがコールド プレートの圧力降下だけを考慮してポンプのサイズを設定し、マニホールドやフィッティングの損失を追加するのを忘れることはよくあります。そのため、システムが完全に構築されると、予想される流量よりも低い流量が表示されます。

部分ロードの動作

クラスターが最大定格電力で継続的に動作することはほとんどありません。アイドル期間、バッチ ジョブ スケジュールのギャップ、およびメンテナンス ウィンドウはすべて部分的な負荷状態を生み出します。可変速ポンプを備えた CDU は、実際の熱負荷に関係なく、フル流量で動作させるのではなく、これらの期間中にスロットル ダウンしてエネルギーを節約できます。実際の使用パターンを考慮すると、固定速度のポンプ設計は可変速設計と比較して、測定可能な量のエネルギーを無駄にします。

流体化学とろ過の要件

二次ループ流体は単なる水道水ではありません。ほとんどのオペレーターは、屋外またはエッジ展開で凍結防止が必要な場合、腐食防止剤パッケージを含む脱イオン水、またはプロピレングリコール混合物を使用します。未処理の液体やろ過が不十分な液体は、コールド プレートの早期故障の主な原因です。これは、スケールの蓄積と生物学的増殖により、時間の経過とともに内部チャネルの直径が減少し、チップと冷却剤の間の熱抵抗が上昇するためです。

通常、オペレーターは二次ループ液の pH、導電率、溶存酸素を四半期ごとにテストしており、多くの CDU ベンダーは現在、冷却性能が低下する前に液の交換が必要な場合に通知するインライン導電率センサーを統合しています。冷却装置メーカーが発行したガイダンスによると、連続濾過を備えた適切に維持されたループは、液体を完全に交換するまでに 3 ～ 5 年間実行でき、高密度 GPU ポッドを実行しているコロケーション オペレーターが共有するフィールド データで確認されています。

二次ループで使用される一般的な流体の種類

ろ過のベストプラクティス

実際には、層状の濾過アプローチが最も効果的です。CDU 入口にある粗いストレーナで大きな破片を捕捉し、流体がマニホールドに到達する前に配置された約 25 ～ 50 ミクロンのより細かい微粒子フィルターと、メイン ループの動作中であっても流体の少量の側流を継続的に研磨するバイパス濾過ループです。この多層アプローチにより、ほとんどの汚染はコールド プレートに到達する前に捕捉されます。コールド プレートでは、内部のチャネルが狭いため、小さな粒子であっても実際の詰まりのリスクが生じます。

CDU 導入のための冗長性モデル

単一の CDU シャーシ内のポンプの冗長性は、列全体のユニット レベルの冗長性とは別の考慮事項であり、ほとんどの仕様では、収益を生み出すコンピューティングをサポートする導入には、デュアル内部ポンプと少なくとも N 1 ユニットの予備の両方が必要です。内部ポンプの冗長性は CDU 自体の動作を継続しながら 1 つのポンプの故障から保護するのに対し、ユニットレベルの冗長性は熱交換器、コントローラ、またはバルブ トレインを含む CDU 全体の故障から保護するため、この違いは重要です。

2N アーキテクチャは、各列に完全に複製された CDU と独立した配管パスがあり、最も回復力が高いものの、冷却分配層の資本コストが約 2 倍になるため、短時間の冷却中断でも長時間実行されるトレーニング ジョブや実稼働ワークロードの許容できない損失が発生する施設向けに予約される傾向があります。

監視、制御、ビル管理システムとの統合

最新の CDU は、機械デバイスであると同時にデータ ソースでもあります。今日導入する価値のあるすべてのユニットは、流量、両方のループの供給温度と戻り温度、差圧、ポンプ速度と消費電流、フィルターの状態、漏れの状態を中央監視プラットフォームに報告します。このテレメトリは施設のデータセンター インフラストラクチャ管理ソフトウェアに入力され、オペレーターは冷却パフォーマンスと IT 負荷を直接関連付けることができます。

設定する価値のあるアラームしきい値

単純な高温および低温アラームを超えて、適切に運営されている施設では、絶対的なしきい値を超えるかなり前に、問題に向かうゆっくりとした変化を捉える変化率アラームが設定されています。たとえば、流量が数週間にわたって徐々に低下する場合、多くの場合、ハードな低流量アラームがトリガーされるずっと前に、フィルタが容量に近づいていることを示し、その傾向を早期に捉えることで、高負荷期間中の計画外のフィルタ交換を回避できます。

IT負荷データとの統合

CDU テレメトリをサーバーの消費電力データに直接結び付ける施設では、温度が上昇した後にのみ対応するのではなく、スケジュールされたワークロードに先立って冷却需要を予測する予測モデルを構築できます。これは、ジョブが計算負荷の高いフェーズと通信負荷の高いフェーズの間を移動するときに消費電力が数秒以内に劇的に変動する可能性がある AI トレーニング クラスターにとって特に価値があり、これらの変動を予測できる CDU 制御ループは、事後的に温度にのみ反応するループよりも明らかに優れたパフォーマンスを発揮します。

エネルギー効率と施設の総電力使用量への影響

液体冷却は空気よりも効率的に熱を移動させるため、重要な IT 負荷を CDU が稼働するラックに移す施設では、機械プラントが空気の移動に費やすエネルギーが減り、総消費電力の多くが直接コンピューティングに費やされるため、施設全体の電力使用効率が目に見えて改善されることが一般的です。 CDU 内の可変速度ポンプは、負荷に関係なく固定速度で動作させるのではなく、現在の熱負荷が実際に必要とする量だけをポンプで送り出すことにより、寄生エネルギーの使用をさらに削減します。

CDU とドライクーラーまたはフリー冷却ループを組み合わせた施設では、CDU の厳密なアプローチ温度制御により、適度に温かい施設の水からでも有効な冷却が可能になるため、機械式冷却装置がまったく必要ない年間の時間を延長することもできます。冷却装置メーカーや学術データセンター効率研究者が発表した事例研究によると、寒冷地の通信事業者は、低接近温度のCDUと適切に調整されたドライクーラー制御戦略を組み合わせることで、自由冷却時間を有意義に延長できたと報告している。

よくある設置と試運転の間違い

1. 二次ループに冷却剤を充填する前に、二次ループの窒素圧力テストをスキップします。これにより、ループが稼働するまで小さな漏れが検出されなくなります。
2. 新しい配管を完全に洗い流すことができず、製造時の破片が残り、後にコールド プレート チャネルを詰まらせます。
3. 漏れセンサーを床レベルにのみ配置し、オーバーヘッドマニホールド接続部の滴下ポイントを欠如しています。
4. 拡張タンクのサイズを小さくすると、コンピューティング負荷が最大になるとループが加熱するため、圧力スパイクが発生します。
5. 理論上の設計降下ではなく、実際の圧力降下に対するポンプ曲線の性能を検証していない。
6. クイックディスコネクトフィッティングを間違った方向で接続すると、流れが制限されたり、適切なドライブレークシールが妨げられたりする可能性があります。
7. 金属配管の接合と接地の要件を見落とすと、時間の経過とともに異種金属の接合部で電気腐食が発生する可能性があります。
8. 試運転時にベースラインの流量と圧力の測定値を文書化しないと、後で段階的なパフォーマンスのドリフトを診断することが非常に困難になります。

正常な CDU のための継続的なメンテナンス スケジュール

一般的な CDU パフォーマンス問題のトラブルシューティング

時間の経過とともに低下する流量

流量が徐々に低下する場合は、ほとんどの場合、フィルタが容量に近づいているか、ループ内のどこかで早期にスケールが蓄積していることを示しています。通常、フィルタ交換のスケジュールを立てる前に、フィルタ ハウジング全体の差圧を確認することが原因を確認する最も早い方法です。

接近温度の上昇

設備の供給温度とテクノロジー ループの供給温度の差がユニットの定格アプローチよりも大きくなる場合は、熱交換器のプレートが設備側またはテクノロジー側で汚れているか、列内の他の場所のバルブが部分的に閉じているためにユニットへの設備の流れが低下している可能性があります。

断続的な漏れ警報

迷惑な漏れアラームは、実際の液体漏れではなく、湿気の多い部屋の冷気供給ラインに形成される結露によって発生することがよくあります。通常、露出した冷たい配管を断熱し、部屋の湿度制御を確認することで、ループをまったく開く必要がなく、この問題は解決します。

予期しないポンプの循環

制御された速度で安定して動作するのではなく、ポンプが急速にオンとオフを繰り返す場合は、通常、過小な膨張タンクまたはループ内に閉じ込められたエアポケットが原因で、コントローラーの設定値帯域を超えて圧力が変動していることを示しています。

CDU と浸漬冷却の連携

サーバー全体が誘電性流体に浸漬されている浸漬冷却タンクでは、流体が吸収する熱を排除する方法が必要であり、冷却分配ユニットはまさにこの目的に一般的に使用されています。この構成では、CDU の二次ループは、コールド プレートではなくタンクに接続された熱交換器を通して誘電性流体を循環させますが、一次ループはコールド プレート展開の場合と同じ方法で設備の給水に接続します。

設計の主な違いは、誘電性流体は一般に水よりも熱伝導率が低く、粘度が高いため、水ベースのコールド プレート ループ用にサイズ設定されたポンプと熱交換器が浸漬ループに自動的に適しているわけではなく、ベンダーは通常、誘電性流体の特性に合わせて特別に調整された別個の CDU モデル ラインを提供していることです。

購入単価以外のコスト要因

冷却分配ユニットの定価は、総導入コストの一部にすぎません。配管、マニホールド、クイックディスコネクト継手、断熱材、漏れ封じ込めトレイ、試運転作業が総支出に占める割合が同程度かそれ以上になることがよくあり、特に既存の上げ床や頭上経路が液体配管を念頭に置いて設計されていない改修プロジェクトでは顕著です。継続的なコストには、液体の交換、フィルターの消耗品、ポンプ自体が消費する電力が含まれます。これは施設の総電力のほんの一部ですが、それでも長期的な運用予算に含める価値があります。

マルチフェーズの構築を計画している施設では、複数の小型ユニットを順番に設置するよりも、将来のフェーズに備えて余裕のある大型のサイドカー CDU を設置する方が経済的であることがよくあります。これは、配管と試運転の労力が、単一ユニットの物理的なサイズよりも個別の設置イベントの数に応じて大きくなるからです。

市場がどこに向かっているのか

液体冷却の採用は、ニッチな高性能コンピューティング ツールから AI トレーニングと推論インフラストラクチャの主流の要件に急速に移行しました。これは、現在ではチップあたり 700 ～ 1000 ワットを定期的に超えるアクセラレータの熱設計電力数値によって直接推進されています。この変化により、冷却分配ユニットのベンダーは、より大型のサイドカーおよびルームレベルのユニット、より厳しいアプローチ温度、および電力移行中の継続動作のためのオンサイトのバッテリーおよび電力インフラストラクチャとより簡単に統合できる DC 駆動モジュールを含むポンプ アーキテクチャを推進しています。

つい最近 3 年前に空冷を標準化した施設は、現在、次々と CDU を収容するために特別に機械室を改修しており、かつてはコンピューター室のエアハンドラー用に確保されていた床面積が、代わりに液冷インフラストラクチャに割り当てられることが増えています。また、ベンダーはより標準化されたマニホールドおよびクイックディスコネクト インターフェイスに集中しており、新しい世代のサーバーが導入されるたびにカスタム エンジニアリングの負担が軽減され、オペレータが同じ水冷列内で複数のメーカーのハードウェアを混在させることが容易になります。