AIのコンピュート・ギャップ：企業は測れないままインフラを買い進めている

VentureBeatのQ2調査（対象107社）は、企業のAIインフラ投資がその経済性を把握する能力を大きく上回っていることを示した。調査対象のうち本番運用が組織横断で進むのは21%にとどまり、GPUの83%は稼働率50%以下と低利用が目立つ一方、計算コストを厳密に追えるのは44%だけだ。つまり投資は速いが「見える化」は遅れているという構図だ。
現在の実行基盤はGoogle CloudやAzure、AWSなどハイパースケーラーとモデルAPIが中心（Google Cloud 48%、Gemini 41%、OpenAI 40%）で、専用AIクラウドの採用はほぼゼロだが、今後12か月で45%がAI特化クラウドを評価する計画を挙げるなど再プラットフォーム化の意向が強い。さらに64%が12か月内にプロバイダーを切り替え・追加する予定で、選定理由は既存スタックとの統合（41%）や総所有コスト（35%）が優先され、トークン当たり価格は8%にとどまる。
加えて推論のボトルネックがGPUからメモリ帯域（KVキャッシュ）へ移る課題は未だ注目度が低く、約18%は制約を認識していないか対応していない。示唆としては、ハードウェアを増やすだけではギャップは埋まらず、TCOの可視化と利用率改善、メモリ設計を見据えた評価が転換期の鍵になる点が挙げられる。