本帖使用社区开源推广，符合推广要求。我申明并遵循社区要求的以下内容： 我的帖子已经打上 开源推广 标签： 是 我的开源项目完整开源，无未开源部分： 是 我的开源项目已链接认可 LINUX DO 社区： 是 我帖子内的项目介绍，AI生成、润色内容部分已截图发出： 是 以上选择我承诺是永久有效的，接受社区和佬友监督： 是 以下为项目介绍正文内容，AI生成、润色内容已使用截图方式发出 定的业务场景是企业公文写作，本地 Embedding/Rerank 和模型推理也一起整合进来了，不只是套一层 Agent 编排。 整体链路是文档解析 → Hybrid RAG 召回 → Rerank → Agent Tool 调用 → 证据约束生成，Web 端用 WebGPU 跑 Embedding/Rerank，桌面端用 llama.cpp 跑本地模型。 llama.cpp端还做了点优化，cuda版本对块对角矩阵的计算有问题，原版全部计算了，浪费了大量时间。 这块是朋友帮助下codex帮忙改的，当时测试的时候发现同样一份测试用例valkun需要3s就能rerank完，cuda版本居然要10s。 以下是核心功能演示视频。 项目地址： GitHub - helpleness/openinkflow: https://doc.inkflowai.top/ · GitHub 网站地址： https://doc.inkflowai.top/ 项目目前仍在完善，具体架构、Eval 和 Benchmark 都在 README，欢迎提 Issue / PR / 架构建议，觉得有价值也欢迎 Star。 1 个帖子 - 1 位参与者 阅读完整话题

  • 情报分类：服务器与云资源
  • 分类依据：内容涉及服务器、云资源或网络线路
  • 信息来源：服务器 / LINUX DO - 最新话题
  • 发布时间：2026/10/12 17:22:23