跳至内容
谈谈吧

谈谈吧

  • 首页
  • AI
  • 硬件
  • 软件工具

colibri

colibrì:把 744B 模型当数据流流到 25GB 的笔记本上跑——纯 C 写的 MoE 推理引擎

2026年8月2日 作者 FF

colibrì 是个纯 C 写的零依赖 MoE 推理引擎,把 744B 的 GLM-5.2 模型当成按需跨 VRAM / RAM / NVMe 三层缓存分阶段搬运的数据流,用「权重的 JIT」的思路在 25 GB 笔记本 RAM 上跑得动。

分类 AI、 软件工具 标签 colibri、 GLM、 LLM、 MoE、 本地推理 发表评论

最新文章

  • Resolve 21.1 最大的新闻不是调色,是 MCP
  • Jellyfin 12.0 来了:升级前先备份
  • 跑本地模型的人,需要 Magnitude 吗
  • 微软语音开源:TTS 撤回代码,ASR 一路开到底
  • ARR 全家桶能压成一个二进制吗?Scryer 试了两天

最新评论

    分类目录

    • AI (76)
    • 折腾记录 (35)
    • 未分类 (6)
    • 硬件 (5)
    • 网络 (24)
    • 自托管 (59)
    • 软件工具 (73)

    标签云

    AGPL AGPLv3 AI AI-Agent AI工作空间 AI编程代理 AI音乐 Apache-2.0 Apple Silicon Claude Code CLI Codex Cursor DIY Docker Gemma4 GPLv3 Home Assistant Linux MCP MIT NAS Obsidian Odysseus Ollama Parakeet PewDiePie Qwen3.6 Rust Tauri WebRTC Whisper Wi-Fi 7 凌霄芯片 华为路由器 家庭网络 容器管理 开源 智能家居 本地AI 本地优先 省钱 自托管 软路由 隐私
    渝ICP备2026010380号-1   渝公网安备50010602505217号