「ChatGPTとClaudeとGemini、結局どれがいいの？」——これは本当によく聞かれる。そして、いつも少し答えに困る。AIの比較データを毎日集めていると、この問いに「これが一番」という一個の答えが存在しないことが、嫌というほど分かるからだ。最適なAIは、用途によって平気で入れ替わる。
だから、聞かれたときに返すのはモデル名じゃなくて、選び方のほうだ。これを知っておくと、新しいモデルが出るたびに振り回されずにすむ。
「総合1位」を選ぶと、わりと外す
いちばんやりがちなのが、総合ランキングの1位を選んでおけば安心、という発想。気持ちは分かるけど、実務だとこれで滑る。
具体的に書こう。たとえば総合トップのモデルが、コード生成のスコアでは2番手で、長文の要約になるとまた別のモデルが安定する、ということが普通に起きる。総合順位は、いろんなジャンルのスコアを平均してならした値だ。あなたが実際にやりたい一つの作業に、その平均が当てはまる保証はない。しかも各社とも「上位モデル・標準モデル・軽量モデル」を揃えていて、同じ会社の中ですら用途で使い分けるのが当たり前になった。問うべきは「どの会社か」ではなく、「どのモデルを、何に使うか」だ。
順番を決めておくとブレない
選び方には順番がある。これを守るだけで、毎回ゼロから悩まずにすむ。
まず用途を決める。文章なのか、コードなのか、長文の読解なのか、大量処理なのか。用途が決まると、見るべき指標が一気に絞れる。文章作成なら文章系ジャンルのスコアと表現の自然さ。コードならコード系ベンチと、長い文脈をどれだけ保てるか。長文の分析なら、対応する文脈の長さ。大量に回すなら、賢さより料金（入出力のトークン単価）と速度が効いてくる。同じ「賢さ」でも、測っている軸が違う。文章がうまいモデルがコードでも一番、とは限らない。
ベンチマークの数字には、読み方のクセがある
比較データを扱っていて、ここは誤解されやすいなと感じる点をいくつか。
- 平均スコアと勝率は別物。平均が高くても、特定ジャンルでは別モデルに負け越していることがある。両方を見ないと判断を誤る。
- ジャンル別で見る。総合順位は平均値なので、自分の用途のジャンルに絞って順位を確認したほうが現実に近い。
- 更新日を必ず見る。モデルは数か月で世代交代する。半年前のランキングは、もう景色が変わっていることが多い。
- 1回の体感で決めない。たまたまの当たり外れに引っ張られがち。多くのお題で集計した数字で見る。
最後は、自分のお題で殴り合わせる
指標で2〜3モデルまで絞ったら、あとは同じお題を実際に投げて見比べるのが一番早い。自分がよく出す指示を3つくらい用意して、候補に同じ条件で渡す。出力の精度、文体、速さ、コストを横に並べれば、自分にとっての最適はだいたい一目で分かる。レビュー記事を10本読むより、これ1回のほうが当てになる。
この「絞る」ところを楽にするために運営しているのが Orivelだ。主要3社の13モデルを、561以上のベンチマーク・17ジャンルで比較していて、平均スコアと勝率の両方、それに料金まで横に並べて見られる。総合だけでなくジャンル別の注目モデルも出るので、「コードに強いのは今どれ？」みたいに用途から逆引きしやすい。データは日次更新、閲覧は無料・登録不要。
AI選びは、最強を探すゲームじゃない。用途を決めて、指標で絞って、自分のお題で比べる。この順番が身につくと、来月また新しいモデルが出ても、慌てずに「で、自分の用途ではどうなの？」と確かめにいけるようになる。
