袁天AI developer
← 全部笔记

RAG 选型:两套常用组合,差别在谁来掌控链路

一套买速度,一套买控制权。

做 RAG 选型,常见的有两套组合。选哪套主要看一件事:这条链路要交给平台,还是握在自己手里。

方案 A:开箱即用,快速交付

Dify / FastGPT + Qdrant(或 PGVector)+ BAAI bge-m3 + 本地或云端 LLM

适合 SaaS、中小型应用和需要快速验收的 PoC。

前端界面、权限、多知识库和检索逻辑都由平台一站式搞定,开发量小,交付快。团队的精力可以放在整理文档和调问答效果上。

向量库这边,已经在用 Postgres 的话,PGVector 最省事,少运维一个组件。想要一个专门的向量库,就用 Qdrant。Embedding 用 bge-m3,中英文都能处理。模型放本地还是调云端,按数据能不能出门来定。

方案 B:全链路自建,企业级

MinerU + LlamaIndex / LangGraph + Elasticsearch 8 / Milvus + BGE(Embedding + Rerank)+ vLLM(Qwen2.5 私有化部署)+ Langfuse + Ragas

适合金融、政企这类要求私有化部署的场景。

环节 组件 负责什么
解析 MinerU 把 PDF 里的版面、表格和公式转成结构化文本
编排 LlamaIndex / LangGraph LlamaIndex 管索引和检索,LangGraph 管多步骤流程
存储 Elasticsearch 8 / Milvus 存文档和向量,做检索
向量化与重排 BGE 先召回一批,再用 Rerank 把最相关的排到前面
推理 vLLM + Qwen2.5 在内网自己跑模型
监控 Langfuse 记录每次调用的链路、耗时和 token
评测 Ragas 给检索和回答的质量打分

这套的好处是全链路代码可控,每一层都能单独替换。混合检索和权限隔离可以按业务规则做得很细,数据也完全闭环在企业内网。

代价是组件多,每一层都得有人维护。

怎么选

先问三个问题:

  • 数据能不能出内网? 不能,模型和存储都要私有化,方案 B 更合适。
  • 权限规则复杂吗? 要细到部门、岗位甚至单份文档,自建更灵活。
  • 多久要交付? 几周内要看到东西,先上方案 A。

我更推荐先用方案 A 验证需求,把真实的问题和文档攒下来。等平台的解析质量或检索逻辑不够用了,再把那一层换成方案 B 里的组件。这些问题和文档正好能拿来做 Ragas 的评测集。

RAG 私有化部署
© 2026 袁天NOTE / 21
小鲸鱼 · AI 导航
小鲸鱼正在连接…

站上的内容我都读过。直接联系袁天 →

小鲸鱼我是助手小鲸鱼。内容、笔记,或者有什么想知道的,直接问我。