GB200 NVL72 ラック内部構造
48U 液冷ラック — コンポーネント配置・接続・データフロー
スケールアップ (銅・NVLink) とスケールアウト (光・Ethernet) の全体像
2026年3月 — Blackwell 世代ベース
接続構造 — スケールアップ (銅) + スケールアウト (光)
Spectrum-X スイッチラック (42U)
- SN5600 #1〜#4 (各2U) — 64× OSFP 800G | 51.2Tb/s | Leaf/Spine
- 管理 SW (SN2201) + パッチパネル
- ケーブル管理 + PDU + 空きスロット
Leaf-Spine (Clos) | End-of-Row 配置
SuperPOD 比率: GPU 8ラック : SW 2-4ラック
光TRCOHR / LITE (OSFP 400G) ファイバーGLW 製造FN (EMS)
GPU ラック (48U 液冷)
- 管理スイッチ ×2 (2U)
- コンピュートトレイ ×10 (10U) — 4GPU + 2CPU + 4 ConnectX-7 + 2 BlueField-3
- NVSwitch トレイ ×9 (9U) — NVSwitch ×2 / 72ポート/chip / 7.2TB/s
- コンピュートトレイ ×8 (8U) — 4GPU + 2CPU + 4 ConnectX-7
- 電源シェルフ ×8 (8U) 各33kW
- CDU (4U) 250kW 液冷
- ケーブル管理 (7U)
72GPU + 36CPU + 72NIC + 18NVSwitch | 120kW全液冷 | 48U
背面 NVLink5.0 銅
APH Paladin HD + SkewClear | 5,000本 (3.2km) | 72GPU 全結合 130TB/s | 1ホップ ~200ns | 増幅なし
前面→光TR→ファイバー→Spectrum-X (スケールアウト) / 背面→APH 銅→NVSwitch (スケールアップ)
信号経路 — GPU SerDes → 基板 → APH Paladin → SkewClear → NVSwitch (増幅なし)
前面 (光出力 ◀)
- 光TR (OSFP) ×4 — COHR / LITE
- ConnectX-7 #1〜#4 — NVIDIA NIC
- BlueField-3 #1, #2 — NVIDIA DPU
- NVMe ×5 / PCIe5
背面 (銅出力 ▶)
- APH Paladin HD #1〜#4 — 72差動ペア 224G PAM4
- 液冷マニホールド
- バスバー 48V 1400A
- NVLink 直接信号 (増幅なし)
Bianca 基板 (左)
- B200 #1, #2 — NVLink PHY ×18 SerDes / PCIe PHY / C2C PHY / HBM3e 192GB
- Grace CPU #1 — ARM 72コア / LPDDR5x 512GB
- C2C 直結 900GB/s
Bianca 基板 (右)
- B200 #3, #4 — 同左
- Grace CPU #2 — 同左
- C2C 直結 900GB/s
前面: ConnectX-7→光TR (COHR/LITE)→ファイバー (GLW)→Spectrum-X SN5600 | 背面: GPU→基板→APH Paladin→SkewClear 銅→NVSwitch | HBM3e: MU/SNDK
18トレイ = 72GPU + 36CPU + 72NIC + 72光TR + 36DPU | NVLink 1,296 全結合 | OSFP 72本
NVSwitch トレイ (1U × 9台) — ラック中段
前面 (ポートなし)
前面パネル — LED のみ。アクセスはメンテ用途。
背面 (コネクタ出口)
銅ケーブル → Compute トレイ背面
NVSwitch ASIC ×2 / トレイ
- NVLink 5.0 ポート ×72
- 各 100GB/s 双方向
- 合計 7.2 TB/s
- クロスバースイッチ — 全ポート↔全ポート、非ブロッキング
Flyover ケーブル (トレイ内) = ASIC ↔ 背面 APH コネクタ直結
APH Paladin HD ×4 / トレイ
- 36差動ペア × 224G PAM4
- ブラインドメイト
9トレイ合計: NVSwitch 18チップ / NVLinkポート 1,296 = GPU の 1,296 ポート (72×18) と完全一致
APH 独占ポイント
- Paladin HD 224G コネクタ ×4/トレイ
- SkewClear EXD 銅ケーブル 5,000 本+
- NVLink カートリッジ 4基 (背面 7U に収容)
- 背面のみにコネクタ集約 → 前面はメンテナンスアクセス用 → ブラインドメイトで工具不要
電源シェルフ (1U × 8台) — ラック下段
1台の構成 — PSU モジュール ×6
各 5.5 kW / AC→48V DC 変換 / ホットスワップ対応
6 × 5.5kW = 33kW / シェルフ | 8シェルフ × 33kW = 264kW 供給能力 (120kW 実消費、4+4 冗長)
給電アーキテクチャ
- 規格: OCP ORv3 HPR (High Power Rack)
- 入力: AC → 48V DC 変換
- 配電: バスバー (ラック背面縦走) → 各トレイにブラインドメイト接続 → トレイ挿入で自動電源接続
- 冗長: 8シェルフ = 4基稼働 + 4基冗長 / シェルフ単位でホットスワップ
バスバー電源分配
- ラック背面を縦に走る銅バスバー
- 1,400A 大電流対応
- 各トレイにブラインドメイト接続 → トレイ挿入で自動電源接続 → ケーブル配線不要
- 48V DC 配電で損失最小化 (従来12V比で電流1/4・損失1/16)
CDU — 冷却分配ユニット (4U × 1台)
構成
- ポンプ #1 (プライマリ) / #2 (冗長) — 冷媒循環、ホットスワップ
- 熱交換器 — ラック内冷媒ループ ↔ 施設冷水ループ / 250kW 熱処理能力
- 冗長 PSU 内蔵 / 管理インターフェース
施設冷水 (入力) → CDU → 温水戻り (出力)
冷却フロー
- 施設冷水 (Facility Water) — DC 冷却塔から供給
- CDU (熱交換 + ポンプ循環)
- ラック内マニホールド (両サイド縦走)
- コールドプレート (Direct-to-Chip) — GPU/CPU/NVSwitch に直接接触
全液冷・ファンレス
Direct-to-Chip 液冷のポイント
- GPU・CPU・NVSwitch 全チップに冷媒が直接接触 (コールドプレート経由) → ファンレス・静音
- 120kW/ラック = エアコン冷却の限界 (30kW) の4倍 → 液冷が唯一の選択肢
- Supermicro CDU 4U = ラック内で完結するセルフコンテインド型
- デュアルポンプ冗長 + ホットスワップ = 冷却停止なしでメンテナンス
- 施設冷水温度: 35-45°C 対応 (従来冷却塔で十分、チラー不要)
管理スイッチ (2U) ・ ケーブル管理 (7U)
管理スイッチ ×2 (最上部 2U)
- Spectrum 管理スイッチ #1, #2 (各1U) — 48× 1GbE RJ45 + 4× 100GbE QSFP28
- 用途: テレメトリ・温度監視・ファームウェア更新
- Spectrum-X (スケールアウト) とは別物
ケーブル管理 (背面 7U)
- NVLink カートリッジ #1〜#4 — 各 ~1,250本 銅ケーブル収容
- APH SkewClear EXD twinax | Paladin HD ブラインドメイト両端
4基合計: 5,000本+ (総延長3.2km)。残りUはマニホールド配管等。
48U 完全内訳
| 管理スイッチ | 2U |
| コンピュートトレイ | 18U (10+8) |
| NVSwitch トレイ | 9U |
| 電源シェルフ | 8U |
| CDU | 4U |
| ケーブル管理 | 7U |
| 合計 | 48U |
ラック構造の特徴
- 全コンポーネントがブラインドメイト接続 → 電源・冷媒・NVLink 全て工具不要で自動接続
- 構造鉄骨 100lbs+ (嵌合力 6,000lbs 対応) → 5,000本のケーブル接続に耐える剛性
- 全液冷・ファンレス (空冷パーツゼロ) → 120kW の排熱を処理
データフロー全体像 — スケールアップ vs スケールアウト
スケールアップ (ラック内 72GPU 間) — 全て銅
GPU A → NVLink 5.0 (18本, 1.8TB/s) → APH Paladin 銅コネクタ → SkewClear 銅ケーブル → NVSwitch (1ホップ) → 銅ケーブル → GPU B
- 帯域: 1.8 TB/s / GPU | レイテンシ: ~200ns | トポロジ: 全結合 (72GPU = 1つの巨大GPU)
- 関連銘柄: APH (Paladin コネクタ + SkewClear ケーブル独占) / MU・SNDK (HBM3e)
スケールアウト (ラック間) — 光ファイバー
GPU → PCIe Gen5 → ConnectX-7 NIC (前面 OSFP) → 光トランシーバー → 光ファイバー → Spectrum-X SN5600 (別ラック) → 光 → 別ラックの NIC → GPU
- 帯域: 400 Gb/s / NIC ポート | プロトコル: RoCE / InfiniBand | トポロジ: Leaf-Spine
- 関連銘柄: COHR/LITE (TR) / FN (製造受託) / GLW (光ファイバー) / APH (一部コネクタ)
- 接続数: 18トレイ × 4 NIC = 72本 / ラック
スケールアップ (銅 1.8TB/s) はスケールアウト (光 400Gb/s = 0.05TB/s) の 36倍高速 → テンソル並列はラック内、パイプライン並列はラック間。
世代別 投資テーマの変化
APH (Amphenol) — 全世代で恩恵、形態が変化
- BW: Paladin HD + SkewClear 銅 5,000本/ラック独占
- VR: B2B コネクタ (ミッドプレーン) ケーブル消滅 → コネクタ単価UP + NVL576 新需要
- RU+: ミッドプレーン継続 + NVL576 ラック間銅。銅の地位は盤石
LITE / COHR — Pluggable→CPO で明暗
- BW: Pluggable 光TR (400G) → COHR/LITE 両方が供給。市場拡大期
- VR: CPO 移行 → LITE の ELS が主要候補。COHR は Pluggable 在庫リスク
- RU+: 全面 CPO → LITE 成長加速 (シリコンフォトニクス)。COHR: InP 劣勢リスク
MU / SNDK — HBM が継続成長
- Blackwell: HBM3e 192GB/GPU
- Vera Rubin: HBM4 → 容量・帯域UP
- GPU 増 = HBM 増。全世代で安定成長
GLW / FN — インフラ層は安定
- GLW: 光ファイバーは全世代で必須
- FN: TR 製造受託 → CPO モジュールへ移行
- DC 増設が続く限り安定成長
結論: APH = 全世代堅い / LITE = CPO で加速 / COHR = 移行リスク / MU・GLW = 安定成長
接続構造の世代変化 — スケールアップ/アウトの進化
| Blackwell (2024-25) | Vera Rubin (2026) | Rubin Ultra+ (2027+) |
|---|
| スケールアップ (銅) |
| NVLink帯域 | 5.0 / 1.8TB/s/GPU | 6.0 / 3.6TB/s/GPU (2x) | 7→8 / 7+TB/s 推定 |
| NVSwitch | 9トレイ×2 = 18チップ | 9トレイ×4 = 36チップ (2x) | 第7→第8世代 |
| APH | Paladin HD + SkewClear 銅5,000本 | B2B コネクタ (基板直結) ケーブル0本 | 独占継続 + NVL576 ラック間銅 |
| 組立 | ~90分 (手作業結線) | ~5分 (18倍高速) | さらに短縮 |
| スケールアウト (光) |
| NIC | ConnectX-7 (OSFP 400G) | ConnectX-8 + CPO | ConnectX-8→10 (3.2Tb/s) |
| 光形態 | Pluggable TR (COHR/LITE) | CPO 移行 (LITE ELS 候補) | 全面 CPO (Pluggable 廃止) |
| SW | Spectrum-X SN5600 | Spectrum-X Photonics | Spectrum-7 (204T) |
ケーブル 5,000本 → ミッドプレーン (0本) → 8ラック統合 | Pluggable 光 → CPO → 全面 CPO | APH は銅で全世代独占
信号経路の世代変化 — GPU→NVSwitch 経路の進化
Blackwell (2024-25)
B200 GPU
NVLink PHY
×18 SerDes
→
基板配線
(Bianca PCB)
→
APH
Paladin HD
72差動 224G PAM4
→
APH
SkewClear 銅
5,000本
→
NVSwitch
×2/トレイ
72ポート 7.2TB/s
増幅なし = APH 独占の根拠 / ~200ns 1ホップ / 総延長3.2km
前面: ConnectX-7→光TR(COHR/LITE)→GLW→Spectrum-X | 背面: GPU→基板→APH→SkewClear→NVSwitch
Vera Rubin (2026)
R100 GPU
NVLink PHY
×36 SerDes 3.6TB/s
→
PCB
ミッドプレーン
(ケーブルなし)
→
APH
B2B コネクタ
基板直結
→
NVSwitch
×4/トレイ
帯域2倍 36チップ
ケーブル完全廃止 / 組立 90分→5分 / ミッドプレーンで信号完結 / APH: B2B コネクタに移行
前面: ConnectX-8→CPO 光エンジン (LITE ELS)→GLW→Spectrum-X Photonics
最大の変化: 5,000本の銅ケーブル (3.2km) が消滅 → PCB ミッドプレーン1枚に統合 / APH は形態が変化するが独占は継続 / 光は Pluggable→CPO で LITE 有利
NVSwitch トレイの世代変化 — チップ数・接続方式の進化
Blackwell — NVSwitchトレイ (1U)
- NVSwitch #1, #2 — NVLink 5.0 / 72ポート / 7.2 TB/s / クロスバー非ブロッキング
- 接続: APH Paladin HD ×4 (背面) → SkewClear 銅 → ケーブルカートリッジ(7U) → コンピュートトレイ
- Flyover ケーブル (トレイ内) = ASIC↔背面 APH コネクタ直結
- 9トレイ合計: 18チップ / 1,296ポート / 銅 5,000本
Vera Rubin — NVSwitchトレイ (1U)
- NVSwitch #1〜#4 — NVLink 6.0 / 帯域2倍
- 接続: APH B2B コネクタ → PCB ミッドプレーン直結
- ケーブル完全廃止 (0本)
- ケーブルカートリッジ 7U 不要
- 9トレイ合計: 36チップ (2倍) / ポート数2倍
| 項目 | Blackwell | Vera Rubin | Rubin Ultra+ |
|---|
| NVSwitch/トレイ | 2チップ | 4チップ (2x) | 次世代 ASIC |
| 合計チップ数 | 18 (9×2) | 36 (9×4) | 第7→第8世代 |
| GPU 間接続 | 銅ケーブル 5,000本 | PCB ミッドプレーン (0本) | ミッドプレーン継続 |
| APH コネクタ | Paladin HD + SkewClear | B2B コネクタ (基板直結) | 独占継続 |
| ケーブル管理 | カートリッジ 4基 (7U) | 不要 (7U 空き) | 不要 |
| 組立時間 | ~90分 | ~5分 (18倍) | さらに短縮 |
電源・冷却の世代変化 — 消費電力増大と冷却技術の進化
| Blackwell (2024-25) | Vera Rubin (2026) | Rubin Ultra+ (2027+) |
|---|
| 電源 |
| 消費電力 | 120 kW/ラック | 150+ kW (推定) | 200+ kW (推定) |
| シェルフ | 8台×6 モジュール×5.5kW (AC→48V DC) | 大容量化 | NVL576 = 8ラック 1.6MW+ / SMR 検討段階 |
| 供給能力 | 264kW (4+4 冗長) | 増強 | 次世代 PSU 規格 |
| 配電 | バスバー 48V 1,400A / OCP ORv3 HPR | 48V DC 継続 / 冗長維持 | 電力効率がボトルネック化 |
| 冷却 |
| 方式 | Direct-to-Chip 液冷 | D2C 強化 | 浸漬液冷への移行? |
| CDU | 4U×1台 (250kW) デュアルポンプ | 300kW+? 流量・ポンプUP | D2C の限界域 → 浸漬 |
| 特徴 | コールドプレート直接接触 / 全液冷ファンレス | NVSwitch 4チップ化で発熱増 / 7U 廃止で配管余裕 | サーバー全体を冷媒に浸漬 / DC 設計の根本変化 |
| 施設冷水 | 35-45°C 対応 | 要件変化の可能性 | Vertiv 等 冷却インフラ需要増 |
電力 120kW→150kW+→200kW+ | 冷却 D2C→強化→浸漬 | 電力・冷却が DC 建設の最大制約 → インフラ投資 (VRT, 電力会社) に直結
ケーブル管理・ラック構成の世代変化 — 7U の行方
Blackwell — ケーブル管理 (背面 7U)
- NVLink カートリッジ #1〜#4 — 銅 ~1,250本
- 4基合計: 5,000本+ / 総延長 3.2km
- APH SkewClear EXD twinax / Paladin HD コネクタ両端
- 背面7U占有 = ラックの15% / 組立ボトルネック
Vera Rubin — ケーブル管理不要
7U 空き (再配分可能)
- ミッドプレーンに統合 → ケーブルカートリッジ廃止
- 7U 分の空間が解放
- 活用候補: 追加 NVSwitch / 冷却配管拡張 / 追加 GPU / ストレージ
| 項目 | Blackwell | Vera Rubin |
|---|
| 管理スイッチ | 2U | 2U |
| コンピュートトレイ | 18U (10+8) | 18U |
| NVSwitch トレイ | 9U | 9U (×4 チップ) |
| 電源シェルフ | 8U | 8U (大容量化) |
| CDU | 4U | 4U (強化) |
| ケーブル管理 | 7U | 空きスロット 7U (再配分) |
サーバーファン需要の変化 — 液冷移行の影響
NVL72 (120kW) はファンレス全液冷。だがサーバーファン市場は「まだ成長中」 — 構造変化の全体像。
市場規模の推移
- サーバーファン市場: 2022 ~$12億 / 2024 $18.6億 (AI で過去最高) / 2025 $19.7億 / 2035 予測 $35億 (CAGR 5.9%)
- DC 液冷市場 (比較): 2026 $66億 → 2033 $384億 (CAGR 28.7%、ファンの5倍)
液冷の浸透率
| 年 | DC 全体 | AI 訓練サーバー |
|---|
| 2024 | 10% | 15% |
| 2025 | 20-33% | 50%+ |
| 2026 | 30% | 74% |
| 2027+ | 33%+ | 80% |
DC 全体の70%はまだ空冷 (2026)。液冷急増は AI のみ。汎用・ストレージ・NW は空冷継続。
ファン需要の時系列変化
- 〜2023年 (液冷前): サーバー1台にファン6〜18個。ほぼ全サーバー空冷。ファン=必須部品
- 2024-2025年 (転換期): NVL72 等液冷 AI サーバー本格出荷 → このラックからはファンが消える。ただし全 DC 出荷の90%→70%はまだ空冷。市場はまだ成長 (AI 以外が補う)
- 2026-2027年 (液冷拡大期): AI 訓練サーバーの74-80%が液冷化 → AI ラックのファン需要はほぼゼロに。汎用は引き続き空冷。市場成長率が鈍化し始める
- 2028-2030年 (分岐点): 液冷が DC 全体の33%超。空冷サーバー絶対数も頭打ち → ファン市場は横ばい〜微減
市場規模: $18-20億 (2024-25) | AI 向けは2024年から減少開始 | 全体は2027-28年から成長鈍化 | 完全には消えない (汎用・施設冷却で残る)