こんにちは、小野崎です。
昨日（2024.05.14）、全世界でリリースされた、OpenAI社の新LLM「GPT-4o」。
早速、弊社のAIプロダクト「Coolied-AI-5」に組み込んで利用してみました！
＜＜ 驚き ＞＞
1.速さ
2倍高速とアナウンスされてますが、感覚的にそれ以上の速度になった感があります。これは、Coolied-AI-5を稼働させている環境（Azure VM）による部分もあると思いますが、いずれにせよ、「速い！ ノンストレス！」
2.安価
昨日（といっても、GPT-4o組み込み完了が14:30なので、約1/3日）の弊社内利用のデータですが、138,000トークンで、1.09ドル。実測でGPT-4 Turboの1/2以下です。
「安い！」
3.生成品質
社内のAIプロジェクトメンバに聞いても、「まだ実感しきれていない」という声が多く、私自身もそうなのですが..
ただ、「安全性が向上した」のは確認できました。GPT-4で偏見的な回答（生成）がされやすいプロンプトを入力してみても、GPT-4oは公平性に準じた回答（生成）をしてきました。その視点からも「品質UPした！」と言ってもよいのかと思います。
＜＜ 思ったこと ＞＞
「モデル（LLM）の拡大のよる、性能合戦は一旦終わりかな？」
ということを思いました。それは、以下の3点から...（小野崎個人の考えですよ）
1.GPT-5でなく、GPT-4の性能向上をリリースしたこと。
巷の噂でGPT-5がリリースされる（モデルチェンジされる）といったものもありましたが、実際はGPT-4oとバージョンアップだったこと
2.GPT-4oで既に十分な性能があると多くの人が実感するであろうこと。
3.Appleが次期OS「iOS 18」にchatGPTを搭載すると発表があったこと。 GPT-4oのリアルタイム応答といえるレスポンスを体験すると、「Siri」が「GPT-4o」に代替されると感じるのは自然なことで、AIをそういう方向で使っていく起点になるかと。
では、次はどんな戦いが？
これについて小野崎は、
「エッジコンピュータ（端末/低スペック機器）で、しっかり動作させ、新たなUXを提供していく戦い」
になっていくのではと考えています。
スマートフォンでの動作は当然のことながら、AR/VR機器での動作（このあたりはMeta社が超気合入ってますよね）と、エッジで新たなユーザー体験が提供できるAI アプリケーションの戦いになっていくと思います。
ですので、我々クーリードも2024年中に新たなAR/VR * AIアプリケーションをリリースしていく考えです。
このあたりは後日にまたご報告させていただきます。
＜補足＞
LLMの性能評価という文脈で、面白い論文を見つけました。
▼論文
https://arxiv.org/abs/2405.00332
この論文を、すごくざっくりいうと、
・LLMの評価には、GSM8kといったデータセットが利用される
・このGSM8k（データセット）は公開されている
・なので、このGSM8kでLLMを学習すると、そのタスクでは高評価（高得点）が得られるが、汎用的な知識・能力に欠けてしまう。これを「オーバーフィッティング」というそうです。
で、この著者は、GSM8k と同様の問題を1000問つくりLLM評価させたところ、多くのLLMで特典がさがった。最大で13%正答率が下がったということです。
このあたり、我々の社会（リアルな人間社会）と似通ってますね。
特定の練習問題をこなしていると、その問題は完璧に答えられるが、問題が少し変化すると回答できなくなる... といった現象と同様ですよね。
