Original Summary

一、硬件 GPU：Nvidia 4060Ti 16G CPU：Intel 12600KF 内存：64G 二、软件 OS：Debian13 部署：LLamaCPP 2.1 运行命令 taskset -c 0-11 llama-server --api-key "123456" \ -m ./Hermes3.6-35B-A3B-Uncensored-Genesis-Final-MTP-APEX-Compact.gguf \ -a Qwen3.6-35B-A3B \ --reasoning-budget 8192 \ --spec-type draft-mtp \ --spec-draft-n-max 4 \ --spec-draft-p-min 0.80 \ --jinja \ --chat-template-file ./chat_template_36.jinja \ -c 131072 \ --temp 0.7 \ --top-p 0.85 \ --top-k 20 \ --repeat-penalty 1.08 \ -fa on \ -fit on \ -fitt 192 \ -ngl 33 \ -ctk q4_0 \ -ctv q4_0 \ --kv-offload \ --cache-prompt \ --cache-reuse 32768 \ --slot-prompt-similarity 0.85 \ --no-context-shift \ --parallel 1 \ --threads 12 \ --batch-size 2048 \ --ubatch-size 512 \ --log-file /tmp/llamacpp36.log \ --host 0.0.0.0 \ --port 10000 三、性能 3.1 Chat 3.2 Agent 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：硬件与数码
  • 分类依据：内容涉及硬件、数码产品或通信卡
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/9 12:44:01