RAG 选型:两套常用组合,差别在谁来掌控链路
一套买速度,一套买控制权。
做 RAG 选型,常见的有两套组合。选哪套主要看一件事:这条链路要交给平台,还是握在自己手里。
方案 A:开箱即用,快速交付
Dify / FastGPT + Qdrant(或 PGVector)+ BAAI bge-m3 + 本地或云端 LLM
适合 SaaS、中小型应用和需要快速验收的 PoC。
前端界面、权限、多知识库和检索逻辑都由平台一站式搞定,开发量小,交付快。团队的精力可以放在整理文档和调问答效果上。
向量库这边,已经在用 Postgres 的话,PGVector 最省事,少运维一个组件。想要一个专门的向量库,就用 Qdrant。Embedding 用 bge-m3,中英文都能处理。模型放本地还是调云端,按数据能不能出门来定。
方案 B:全链路自建,企业级
MinerU + LlamaIndex / LangGraph + Elasticsearch 8 / Milvus + BGE(Embedding + Rerank)+ vLLM(Qwen2.5 私有化部署)+ Langfuse + Ragas
适合金融、政企这类要求私有化部署的场景。
| 环节 | 组件 | 负责什么 |
|---|---|---|
| 解析 | MinerU | 把 PDF 里的版面、表格和公式转成结构化文本 |
| 编排 | LlamaIndex / LangGraph | LlamaIndex 管索引和检索,LangGraph 管多步骤流程 |
| 存储 | Elasticsearch 8 / Milvus | 存文档和向量,做检索 |
| 向量化与重排 | BGE | 先召回一批,再用 Rerank 把最相关的排到前面 |
| 推理 | vLLM + Qwen2.5 | 在内网自己跑模型 |
| 监控 | Langfuse | 记录每次调用的链路、耗时和 token |
| 评测 | Ragas | 给检索和回答的质量打分 |
这套的好处是全链路代码可控,每一层都能单独替换。混合检索和权限隔离可以按业务规则做得很细,数据也完全闭环在企业内网。
代价是组件多,每一层都得有人维护。
怎么选
先问三个问题:
- 数据能不能出内网? 不能,模型和存储都要私有化,方案 B 更合适。
- 权限规则复杂吗? 要细到部门、岗位甚至单份文档,自建更灵活。
- 多久要交付? 几周内要看到东西,先上方案 A。
我更推荐先用方案 A 验证需求,把真实的问题和文档攒下来。等平台的解析质量或检索逻辑不够用了,再把那一层换成方案 B 里的组件。这些问题和文档正好能拿来做 Ragas 的评测集。
© 2026 袁天NOTE / 21
