DGX Spark (ARM64 + CUDA 13.0)

このマシンは NVIDIA DGX Spark。

• アーキテクチャ: ARM64 (aarch64)
• CUDA: 13.0
• GPU: NVIDIA GB10 (sm_121, Blackwell)
• VRAM: 119.7 GB（CPU と共有のユニファイドメモリ）

メモリ管理（最重要）

121GB のメモリは CPU と GPU で共有するユニファイドメモリで、使い切るとマシンごと落ちる。実際に flash-attn と gptqmodel を MAX_JOBS=10 で同時ソースビルドして DGX Spark がクラッシュし、さらに flash-attn 単体を MAX_JOBS=4 NVCC_THREADS=1 TORCH_CUDA_ARCH_LIST=12.1 に絞ってもクラッシュして再起動した実績がある。

• flash-attn のソースビルドはこのマシンで禁止。flash-attn 依存のパッケージ（exllamav3 など）は aarch64 のプリビルド wheel が出るまで導入しない。どうしても必要ならユーザーの明示承認を得て MAX_JOBS=1 で試す
• その他の CUDA 拡張のソースビルド（gptqmodel、exllamav2 など）は MAX_JOBS=2 から MAX_JOBS=4、NVCC_THREADS=1 に制限する。gptqmodel 5.8.0 は MAX_JOBS=4 で数分でビルドできた
• 重いビルドは 1 パッケージずつ順番に実行し、複数パッケージの同時ビルドをしない
• ビルドとモデルロード・GPU ベンチマークを並行して走らせない
• 長時間処理の開始前と途中で free -h を確認し、available が 30GB を切ったら並列度を下げるか処理を止める
• GPU メモリもユニファイドメモリから取られるため、大きなモデルのロード中は CPU 側の余裕も同時に減る前提で計画する