llama.cpp 启动参数优化技能 / llama.cpp Parameter Optimization Guide

中文 | English
标准化的 LLM 本地部署启动参数优化评估流程，通过严格的控制变量测试，找到最佳的性能/质量平衡点。
A standardized methodology for optimizing local LLM deployment parameters, using rigorous control variable testing to find the optimal performance/quality balance.

⚠️ 安全声明 / Safety Notice

• 本技能仅用于 本地部署 参数优化，所有测试应在隔离环境中进行。
• llama-server 和 llama.cpp 二进制文件应仅从官方 GitHub 仓库 (https://github.com/ggerganov/llama.cpp) 获取，避免使用第三方来源。
• 网络绑定安全：本地开发/测试时建议绑定 127.0.0.1（localhost），生产环境必须通过反向代理 + HTTPS 暴露服务。
• 参数调优可能触发 OOM 崩溃，不确定最优参数时，建议使用云端模型（如 OpenAI/Gemini）进行推理验证，本地只用于性能调优。
• 不要在生产环境中使用本技能提供的示例命令直接暴露服务，需根据实际安全需求调整。

🎯 核心卖点 / Key Features

• ✅ GPU 内存覆盖原则 / GPU Memory Coverage Principle：在完全使用专用 GPU 内存的前提下，找到最大上下文值 | Find max context while fully covering GPU memory
• ✅ 四阶段十步法控制变量测试 / 4-phase 10-step process：完整的性能/质量评估 | Comprehensive performance and quality evaluation
• ✅ 大量反常识踩坑经验 / Battle-tested counterintuitive findings：避免踩同样的坑 | Avoid common pitfalls
• ✅ 通用方法论 / Universal methodology：提供系统化测试框架，具体参数需结合实际硬件验证 | Provides a systematic testing framework; specific parameters must be validated against actual hardware.
• ✅ 实战验证 / Real-world proven：35B+4060Ti 案例：~30 → ~90 token/s，提升 2-3 倍；27B 案例：~23.6 tok/s，验证理论公式不可靠 | Multiple cases: MoE 262% boost, Dense 2-3x, 27B theoretical formula fails