roobrief

ハードウェア

ローカルLLM向けハードウェアの勢力図:NVIDIA・AMD・Intel、容量の次は「帯域」

ローカルLLM向けのハードウェアは、メモリの「容量」だけでなく「帯域」も合わせて見る必要がある。

クラウドAPIのコストやデータ保護の観点から、AIモデルを自分のPCで動かしたい開発者が増え、NVIDIA、AMD、Intelがそれぞれ異なる形の開発者向け機器を出している。仕様を並べると気づくことがある。メモリが同じ128GBでも、データを読み出す速さ(帯域)は製品によって大きく違い、この速さがAIの文章生成の速さを左右するという点だ。

最初に用語を整理しておく。VRAMはグラフィックスカード専用のメモリ、統合メモリはCPUとGPUが1つのメモリを共有する方式だ。帯域はメモリがデータをやり取りする速度(GB/s)、推論は完成したモデルで答えを生成することを指す。

一覧

製品 メモリ 帯域 報じられた価格
NVIDIA DGX Spark(GB10) 128GB 統合 273GB/s 4,699ドル(約74万円、2月に値上げ)
NVIDIA RTX PRO 6000 Blackwell 96GB VRAM 1,792GB/s 発売時は約8,565ドル(140万円)、最近はマーケットプレイスで16,000ドル(約250万円、在庫切れ)
AMD Ryzen AI Halo(Ryzen AI Max+ 395) 128GB 統合 理論値で約256GB/s 3,999ドル(約63万円、発売状況は未確認)
Intel Arc Pro B60 / B70 24GB / 32GB 確認できず 確認できず

価格は変動が激しく、情報源によっても異なる。購入前に公式サイトや販売店で最新の価格と在庫を確認する必要がある。

NVIDIA:どちらも使えるが性格が違う

  • DGX Sparkは小さな筐体に128GBの統合メモリを載せた製品だ。大きなモデルをまるごと載せるには向くが、帯域273GB/sはAppleのM4 Max(約400GB/s)より低いという指摘がある。価格はメモリ供給不足を理由に、2月に3,999ドルから4,699ドルへ上がったと伝えられた。
  • RTX PRO 6000 Blackwellは、通常のPCに挿す96GBのワークステーション向けGPUだ。帯域はSparkの6倍以上で、同じモデルがはるかに速く動くが、価格もはるかに高い。このクラスには定価がなく、販売店によって価格が異なり、最近は大きく上がっている。

AMD:128GBの統合メモリ、鍵は設定

  • AMDは今年のCESで開発者向けミニPC Ryzen AI Haloを紹介した。128GBの統合メモリを備え、ROCmがあらかじめ入っている。発売は6月と予告されていたが、実際に発売されたかは確認できなかった。
  • 同じチップ(Ryzen AI Max+ 395)を使うPCは他社からも出ている。初期設定ではGPUに割り当てられるメモリが少なく、自分で設定する必要がある。Windowsでは128GBのうち最大96GBまでGPUに割り当てられる。
  • コミュニティでは、70B級以上のモデルではROCmよりVulkanバックエンドのほうが良いという報告が多い。これはブログレベルのベンチマークなので、自分の用途で直接比べるのが望ましい。

Intel:大容量はサーバー向け、開発者向けは実験段階

  • Intelの大容量メモリ製品 Crescent Islandは、160GBのLPDDR5Xを載せたデータセンター向け推論GPUだ。サンプル出荷は今年下期、一般提供は2027年と見込まれており、個人の開発者が買う製品ではない。
  • 個人が使えるのは **Arc Pro B60(24GB)とB70(32GB)**のカードだ。llama.cpp(SYCL、Vulkan)やvLLMで動かせたという報告がある一方、ドライバーのエラーやメモリ不足に遭ったという報告もある。
  • そのため、「Intelが大容量の統合メモリチップで開発者市場を攻める」という表現は現時点では当てはまらない。開発者が今手に入れられるのはArc Proカードで、ソフトウェア面ではOpenVINOがllama.cppバックエンドをプレビュー段階で出している程度だ。

開発者に起こりうる変化

以下は報道をもとにした筆者の推測と助言だ。

  • まずモデルの大きさ、次に速度。 モデルがメモリに載らなければ速度は意味がない。動かしたいモデルが入るか容量を確認し、そのあと帯域を比べる順番が合っている。
  • 同じ容量でも体感は違う。 128GBの統合メモリ製品どうしでも、96GBのVRAMカードと比べても、文字が出てくる速さには大きな差が出る。
  • ソフトウェアの対応を確認する。 CUDAが最も手軽で、ROCmやIntel(SYCL、OpenVINO)は設定の手間がよく挙げられる。使うツール(Ollama、llama.cpp、vLLM)がそのハードウェアに対応しているか先に確認したい。
  • 価格の変動が大きい。 メモリの供給不足で価格が上がったという報道がある。クラウドAPIのコストと比べるときは、現在の価格と実際の使用量で計算し直すのがよい。

今後の注目点

Ryzen AI Haloの実際の発売と価格、Sparkの後継モデルと価格の動き、IntelのCrescent Islandの日程、そしてROCmとOpenVINOの対応状況。

円換算は10月14日の為替レート(1ドル≒158円)によるおおよその値だ。

出典

出典: www.servethehome.com

← 戻る