ねこと学ぶ🐱 Apple Silicon で LLM 推論を最適化する Hypura を試す

Hacker News で見かけた Hypura が気になりすぎた Hacker News を眺めてたら「Hypura」ってプロジェクトが話題になってて。Apple Silicon のユニファイドメモリと NVMe SSD の帯域をうまく使って、VRAM に載りきらないサイズの LLM でもスケジューリングで効率よく推論させるらしい。 正直「またローカル推論ツールか」と思ったんだけど、ストレージ階層を意識してるって発想がちょっと面白くて、つい触ってしまった。 セットアップは素直だった リポジトリを clone して、Python の venv 作って依存関係入れるだけ。ここは特に...