https://blog.ohtly.com/tags/rerank/ Recent content in Rerank on OHTLY Blog Hugo zh-cn Fri, 26 Jun 2026 18:44:33 +0800 https://blog.ohtly.com/posts/2026-06-26-rerank-with-llama-server/ Fri, 26 Jun 2026 18:44:33 +0800 https://blog.ohtly.com/posts/2026-06-26-rerank-with-llama-server/ <h2 id="背景"> 背景 <a class="heading-link" href="#%e8%83%8c%e6%99%af"> <i class="fa-solid fa-link" aria-hidden="true" title="链接到标题"></i> <span class="sr-only">链接到标题</span> </a> </h2> <p>RAG 流水线中，embedding 检索召回 top-K 后，需要 rerank 做二次排序提升精度。 开发环境希望方案足够轻量——不需要高性能，但模型不使用时最好不占显存。</p> <p>Ollama 在 v0.30 换回了 llama.cpp 引擎（此前 fork ggml 自研引擎一年多，性能落后 30-70%，社区压力下切回），体验上很方便，但 <strong><code>/api/rerank</code> 端点至今未实现</strong>。</p> <p>相关 issue 和 PR：</p> <ul> <li><a href="https://github.com/ollama/ollama/issues/3368" class="external-link" target="_blank" rel="noopener">Reranking models · Issue #3368</a> — 2024 年 3 月提出，至今 open</li> <li><a href="https://github.com/ollama/ollama/pull/7219" class="external-link" target="_blank" rel="noopener">FEAT: add rerank support · PR #7219</a> — 最早尝试，未合并</li> <li><a href="https://github.com/ollama/ollama/pull/11156" class="external-link" target="_blank" rel="noopener">Add reranking support · PR #11156</a> — 被拒绝，理由是当时已不再给旧引擎加功能</li> <li><a href="https://github.com/ollama/ollama/pull/11389" class="external-link" target="_blank" rel="noopener">Complete Production-Ready Reranking · PR #11389</a> — 最完整的一次实现，修复了分数提取 bug，社区验证通过，但因含 AI 生成文件被要求清理，最终也未合并</li> </ul> <h2 id="方案直接用-llama-server"> 方案：直接用 llama-server <a class="heading-link" href="#%e6%96%b9%e6%a1%88%e7%9b%b4%e6%8e%a5%e7%94%a8-llama-server"> <i class="fa-solid fa-link" aria-hidden="true" title="链接到标题"></i> <span class="sr-only">链接到标题</span> </a> </h2> <p>llama.cpp 自带的 <code>llama-server</code> 原生支持 <code>--reranking</code> 和 <code>--pooling rank</code>，开箱即用。</p>