Clarifai、AI推論エンジンを発表　処理速度2倍、コスト40％削減を実現

Contents

概要
ポイント
詳しい記事の内容はこちらから
- 参照元について

概要

Clarifaiは、AIモデルの実行速度を2倍にし、コストを40%削減できる新しい推論エンジンを発表しました。
このシステムは、さまざまなモデルやクラウドホストに適応可能で、同じハードウェアでより多くの推論処理能力を引き出すために最適化技術を使用しています。
CEOのマシュー・ザイラーは、CUDAカーネルや高度な予測デコーディング技術など、複数の最適化手法を採用していると述べています。
第三者のベンチマークテストにより、スループットとレイテンシの業界最高記録が確認されました。
新しい推論エンジンは、すでに訓練されたAIモデルの推論処理を効率化するもので、エージェント型および推論型モデルに特に有効です。
Clarifaiは元々コンピュータビジョンサービスとしてスタートし、AIブームにより、GPUやデータセンターの需要が急増する中、計算オーケストレーションに注力しています。
この新製品は、複数のステップを必要とするエージェント型モデルに特化した最初の製品です。
AIインフラに対する圧力が高まる中、ClarifaiのCEOは、データセンターのハードウェア増設に加えて、既存のインフラを最適化する方法にも注力すべきだと考えています。
また、モデルの改善やアルゴリズムの革新がギガワット級のデータセンターの必要性を軽減する可能性があるとも述べています。