人工分析v5とベンチマーク作成者のジレンマ

雑務：外出中なのでナレーションは遅れます。山登りそのものは簡単ですが、何を山登りすべきかを見極めるのは難しいのです。スコアを上げることはコストがかかりますが、今日のAIの真の最前線において、意味のあるベンチマークを作り出すことよりも、その手法ははるかに明確になっています。

言語モデルの独立した評価は、その難しさが十分に認識されていません…

続きを読む