1-bit LLMってなに？BitNetを調べたら「え、これって革命じゃない？」ってなった話

GitHub Trendingを眺めていたら、microsoft/BitNet がいきなり2,000以上スターを集めていて気になりました。 「1-bit LLM」ってなんぞ？　と思って調べたら、思ってたより全然すごい話だったので共有します。 普通のLLMはどうなってる？ まず前提として、GPTとかClaudeとかのLLMは、「重み（パラメータ）」と呼ばれる数値の塊でできています。 普通はこの重みを 32bit浮動小数点数 や 16bit浮動小数点数 で表現しています。数が細かいほど精度が上がるけど、その分メモリも計算コストもかかる。 普通のLLM: 一つの重み = 0.3847219...