colibrì:把 744B 模型当数据流流到 25GB 的笔记本上跑——纯 C 写的 MoE 推理引擎
colibrì 是个纯 C 写的零依赖 MoE 推理引擎,把 744B 的 GLM-5.2 模型当成按需跨 VRAM / RAM / NVMe 三层缓存分阶段搬运的数据流,用「权重的 JIT」的思路在 25 GB 笔记本 RAM 上跑得动。
colibrì 是个纯 C 写的零依赖 MoE 推理引擎,把 744B 的 GLM-5.2 模型当成按需跨 VRAM / RAM / NVMe 三层缓存分阶段搬运的数据流,用「权重的 JIT」的思路在 25 GB 笔记本 RAM 上跑得动。