LLM評価はギャンブルだった — promptstatsで始める統計的評価

LLM評価はギャンブルだった — promptstatsで始める統計的評価 「平均スコアが2点高いから、新しいプロンプトのほうが良い」—— その判断、統計的に正しいですか？ はじめに：なぜ今、promptstatsのようなツールが必要なのか LLMのプロンプトやモデルを比較するとき、多くのエンジニアは「スコアの平均を出して、高いほうを選ぶ」というやり方をしている。数件〜数十件のテストケースで評価して、「82点 vs 80点だからAのほうが良い」と判断する。 しかしこの2点の差は、本当にプロンプトの実力差だろうか？ それとも、たまたまの揺らぎだろうか？ promptstats...