そのLLM評価、ガチャ回してるだけじゃないですか？

そのLLM評価、ガチャ回してるだけじゃないですか？ 「もう1回だけ評価し直そう」—— その一言が、あなたのパイプライン評価を統計的に無意味にしている。 第1章：1%のガチャを100回回すと、63%で当たる ソーシャルゲームのガチャで排出率1%のSSRキャラを狙うとき、「100回回せばさすがに出るだろう」と思ったことはないだろうか。 実際に計算してみよう。1回引いて外れる確率は99%。100回連続で外れ続ける確率は 0.99^100 ≈ 0.366 なので、少なくとも1回当たる確率は約63.4%だ。 試行回数 当選確率 1回 1.0% 10回 9.6% 50...