【衝撃】AI推論のスループットが3.24倍に！DPU活用で実現する次世代インフラの全貌

DPU上でのAI推論が実現する3倍超スループットのニュース概

米ネットワーク機器大手のエフファイブのソフトウェアをエヌビディアのブルーフィールドさんデータプロセッシングユニット上で稼働させる構成が、人工知能推論の高負荷試験においてホストシーピーユー上で動作するゲートウェイの三点二四倍のスループットを記録しました。
この性能差は負荷の条件によって異なり、軽い負荷の環境では両者の性能に大きな差はありませんでした。
大規模言語モデルの推論処理では会話が長くなり処理するリクエストが増えるほどキャッシュに必要なメモリーが増加します。
ソフトウェアの機能を利用することで推論先のグラフィックスプロセッシングユニットの負荷やキャッシュの状態を考慮したリクエストの振り分けが可能になります。
従来のロードバランサーをホストシーピーユーで動かす構成では通信処理にもリソースが割り当てられますが、データプロセッシングユニットを活用することでトラフィック管理やセキュリティ処理を効率的に実行できます。
別の試験では出力トークンの処理速度の向上や最初のトークンが返るまでの時間の短縮、さらにシーピーユー使用量の削減が確認されています。
マルチテナント運用においては利用者ごとのトークン数の計測やポリシーに応じたモデルへの振り分け、ネットワークの分離機能なども提供されます。
導入効果を見極めるためにはリクエストの集中度や入力トークン数、キャッシュの利用状況などを把握することが重要となります。

AI推論におけるDPU活用とスループット向上の注目ポイント

1. エフファイブのBNKをエヌビディアのDPU上で運用した高負荷試験で、ホストCPU処理と比べ3.24倍の推論スループットを記録した。
2. BNKはGPU負荷やキャッシュ状況に応じて適切にリクエストを分散し、ホストCPUの通信負荷を減らすことで処理速度を高める。
3. 性能向上幅は負荷条件で変動するため、導入検討時は自社の入力トークン数やリクエスト集中度に合わせた効果測定が重要となる。

AI推論基盤のボトルネック解消とインフラ進化の分析・解説

AI推論のボトルネックが計算資源からデータ伝送・管理へと移行しつつある今、DPU上でネットワーク制御を完結させる手法は、インフラ設計の転換点となります。従来、ホストCPUが担っていた通信処理やトラフィック管理を専用のDPUへオフロードすることで、AI処理のための計算リソースを最大化するアプローチは、単なる高速化を超えた「推論基盤の経済性」を左右する重要なパラダイムです。特に大規模モデルでのKVキャッシュ利用状況に応じた動的リクエスト振り分けは、GPUの稼働効率を極限まで引き出すための不可欠な最適化技術と言えるでしょう。

今後、推論基盤の差別化要因は「計算能力」から、マルチテナント環境を維持しつついかに低遅延でモデルへリクエストを流し込めるかという「データオーケストレーション能力」へと急速に移ります。近い将来、このDPU活用モデルがエンタープライズAI基盤の標準となり、CPU負荷を最小化する設計が推論単価を決定づける最重要指標として定着するはずです。結果として、ネットワークと計算資源が高度に融合した独自のAIインフラを構築できる企業が、AI運用のコスト競争力で圧倒的な優位性を握ることになるでしょう。

まとめ

F5のソフトウェアをエヌビディアのDPU上で稼働させることで、高負荷時のAI推論スループットが従来比3.24倍に向上したというニュースです。通信処理をオフロードしGPUの負荷やキャッシュ状態に応じた最適なリクエスト振り分けを実現する本技術は、AIインフラのコスト競争力を左右する重要な転換点になりそうですね。今後のエンタープライズAI基盤における標準として、私たちの運用コスト削減にどう寄与していくのか大いに期待したいところです。

関連トピックの詳細はこちら