Mistral AI

詳細情報

Mistral AIは2023年4月にArthur Mensch・Guillaume Lample・Timothée Lacroix（DeepMindおよびMeta FAIRの出身者）によって設立され、米国外で最も注目されるAIラボのひとつとなった。同社の定義的な戦略的選択は初期モデルをオープンウェイトダウンロードとして公開することであった。2023年9月にリリースされたMistral 7BはほとんどのベンチマークでLLaMA 2 13Bと同等またはそれ以上の性能を示し、はるかに小型かつ高速で動作することでパラメータ効率に関するMistralの評判を確立した。 2023年12月にリリースされたMistralのMixtral 8x7Bは、スパースなMixture-of-Experts（MoE）アーキテクチャをオープンウェイトモデルの世界に大規模に導入した。8つのエキスパートサブネットワークのうち2つだけをトークンごとにアクティブにすることで、Mixtralは推論計算コストのわずかな割合でGPT-3.5クラスのパフォーマンスを実現した——これは業界全体のその後のモデル設計に影響を与えた重要な技術的マイルストーンである。2024年4月にリリースされたMixtral 8x22Bはこのアプローチをより大きなパラメータバジェットに拡張した。 Microsoftは2024年6月にMistralに戦略的投資を行い、同社を約60億ユーロと評価してMistralのモデルをAzure AI Studioに統合した。このパートナーシップによりMistralはトレーニングと推論サービングの両方でMicrosoftのグローバルAzure H100 GPUクラスターインフラにアクセスできるようになった。Mistralはさらにa16z・Nvidia・Salesforce Venturesからも資金を調達しており、総調達額は10億ドルを超えている。 EUソブリンティの側面はMistralのポジショニングの中心である。同社は欧州の政策立案者から、競争力ある最先端AI開発がEUの規制枠組みの中で実現できることの証拠として頻繁に言及される。オープンライセンスアプローチはEUの技術透明性への嗜好と合致している。同社はパリをAIハブとして位置づけるフランス政府の取り組みに参画し、そのモデルは米国本社のAIプロバイダーへの代替を求める欧州企業に利用されている。 計算依存の面では、Mistralのトレーニングはクラウドパートナーからアクセスする大規模なNVIDIA H100クラスターで実行される。同社が大規模なモデルファミリーと商用APIサービス（La Plateforme）に向けてスケールするにつれて、GPU容量への需要は比例して増加し——欧州のアイデンティティにもかかわらず——他のフロンティアラボと同じH100/H200調達パイプラインに置かれている。H100輸送を特定の地域に制限する輸出規制はMistralの業務に直接影響しないが、同社が事業を行う競争環境を形成している。