16GBのノートPCを「小さなスパコン」に変えた話：仮想HPCクラスタでAIを動かす

第1部「はじめに」 「最新のLLM（大規模言語モデル）をローカルで動かしてみたい」 多くの技術好きが一度は抱くこの夢は、しかし、すぐに厳しい現実に直面します。数十億、数百億パラメータのモデルを動かすには、数十GBのメモリやGPU用のVRAMが要求されるのが常識です。 私の手元にあるのは、ごく普通のメモリ16GBのWindowsノートPC。しかも、その半分にあたる8GBは内蔵GPUに共有メモリとして割り当てられており、OSやアプリケーションが自由に使えるのは実質8GB。この絶望的なスペックで、最新のAIが動くはずがない... 普通なら、ここで諦めるでしょう。 しかし、エンジニアの性は問...