第418回では、6月22日に公開されたSakana AIの「Fugu」と上位版「Fugu Ultra」を取り上げました。単一の大規模モデルではなく、複数のAIモデルやエージェントを課題に応じて組み合わせ、ひとつのAPIとして提供するマルチエージェント・オーケストレーションが特徴として紹介されました。参加者は、複雑な課題で高い性能を引き出す一方、単体のモデルとは性質が異なる点を確認しました。
性能面では、コーディングや科学・学術分野のベンチマークで、比較対象の最上位モデルに並ぶ、または上回るとされる結果が話題になりました。特にFugu UltraはSWE-bench Proなどで強さが示される一方、人間らしい応答には課題があるとの説明もありました。複数のモデルを並行して使うためトークン消費が大きく、通常利用では性能とコストの両面から単一モデルの方が適する場合もあると話しました。
仕組みを理解する手がかりとして、Sakana AIの研究「Conductor」と「Trinity」も取り上げました。課題を分解して適切なエージェントへ指示を振り分けることや、複数モデルの出力をまとめて検証することなどが紹介されました。また、ベータ利用者の評価として、コードレビューでのバグ発見、論文調査や再現実験、セキュリティ評価などの事例を確認しました。利用プランと従量課金、FuguとFugu Ultraを試す際に考慮したいコストについても意見を交わしました。