【速報】マイクロソフト、学習効率最大12.3倍の視覚言語基盤モデルMAI-Base-2を発表
マイクロソフトのMAI-Base-2ニュース概要
マイクロソフト人工知能部門は、パラメータ数が二兆八千億に達する視覚言語基盤モデルの事前学習完了を発表しました。
他社のベースモデルと比較して、学習効率を示すフロップス効率が四点二倍から十二点三倍高いと報告されています。
モデルは専門家ネットワーク方式を採用しており、一万六千基のグラフィックス処理用半導体を用いて事前学習が実施されました。
学習効率の向上を支えた技術として、最適化手法であるミューオンの採用や、トークンを効率的に処理する仕組みなどが導入されています。
さらに、勾配の急増を局所的に抑える方式によって、データの不具合を発見することが可能になりました。
今後は事後学習を進めるとともに、ファウンドリーを通じてパートナー向けにモデルの重みを提供する計画が進められています。
視覚言語基盤モデルの注目ポイント
- マイクロソフトは、パラメータ数2.8兆の視覚言語基盤モデル「MAI-Base-2」の事前学習完了を発表しました。
- 同モデルは、最適化手法「Muon」やMoE方式の採用などにより、従来比で4.2〜12.3倍の高い学習効率を実現しています。
- 今後は事後学習を進め、「マイクロソフト・ファウンドリー」を通じてパートナー企業へモデルの重みをライセンス提供する計画です。
MAI-Base-2技術の分析・解説
今回の発表の本質は、単なるモデルの巨大化ではなく、計算効率の劇的な向上にあります。
小規模実験から本番を予測する手法や新規の最適化技術の導入は、開発コストを圧縮しつつ性能を最大化する新たな標準を示すものです。
今後は、オープンソースではなく特定パートナー向けに提供されるビジネスモデルが業界の主流を揺さぶる可能性があります。
自社インフラとデータを垂直統合したこの戦略は、他社とのエコシステム競争において強力な優位性をもたらすはずです。
※おまけクイズ※
Q. マイクロソフトが発表した視覚言語基盤モデル「MAI-Base-2」の事前学習において、学習効率の向上を支えた最適化手法は何？
ここを押して正解を確認
正解：ミューオン（Muon）
解説：記事の概要および注目ポイントで言及されており、最適化手法としてミューオン（Muon）が採用されています。
まとめ
マイクロソフトが発表した超巨大な視覚言語モデルは、圧倒的な学習効率を実現しており、開発コストに悩む私たちにとっても非常に心強いニュースですね。今後はパートナー向け提供が中心になるとのことですが、AI開発の新たな標準として業界にどう影響するのか、今後の動向から目が離せません。
関連トピックの詳細はこちら
