第二部分，模型与 Providers

使用 llama.cpp 本地模型

启动 llama.cpp router，让 Pi 发现、加载和卸载 GGUF 模型，并处理本地上下文限制。

进阶 / 11 分钟 / 第 11 篇

Router 模式

Pi 支持带 router 能力的当前 llama.cpp 构建。Router 可以发现多个 GGUF 模型，并按需要加载或卸载，Pi 通过 /llama 管理模型。

本地模型必须可靠支持工具调用，才能完成编码代理循环。只会生成文本但工具 schema 表现不稳定的模型不适合无人值守任务。

text
/llama
查看可用模型
下载或注册 GGUF
加载模型
/model

排查重点

  • 确认 llama.cpp 版本包含 router 支持。
  • 确认上下文窗口和显存足够。
  • 验证模型工具调用格式。
  • 检查 Pi 与 router 的 base URL。
  • 用小型只读任务评估速度和准确性。

官方资料

本页由 xueai 根据 Pi 官方资料用中文重新组织和讲解。Pi 更新频繁，命令、包名和接口以官方最新文档为准。

Pi 源代码和官方文档采用 MIT License。Copyright (c) 2025 Mario Zechner。本站保留原版权与许可声明，完整文本见 MIT License。