知识库RAG向量数据库私有化部署
企业知识库问答
把散落在文档/制度/FAQ 里的知识，变成可对话的 AI 问答系统，员工一句话找到答案。
难度进阶
步骤5 步
工具6 个
资料3 份
PAIN POINT
痛点背景
企业内部文档散落在 OA、Wiki、共享盘、个人电脑，员工找信息靠「问人」，新人入职 2 周才摸清流程。
PROCESS
落地流程
文档采集→解析切片→向量化入库→检索增强生成→效果评估
STEPS
详细步骤
1
1. 文档采集与清洗
汇总企业内部文档（制度、SOP、FAQ、技术手册），统一格式（PDF/Word/Markdown），脱敏处理涉密内容。
- 优先覆盖高频咨询类文档
- 文档版本控制：标注生效日期与责任人
2
2. 文档解析与切片
将长文档拆分为语义完整的小段落（chunk），每段 300-500 字，保留标题层级。
- 推荐 RecursiveCharacterTextSplitter
- 表格类内容单独处理，保留结构
- chunk overlap 50 字防止上下文断裂
3
3. 向量化与入库
用 Embedding 模型将文本转为向量，存入向量数据库，建立检索索引。
- Embedding 模型选型：bge-large-zh / text-embedding-3-small
- 向量库：Chroma（轻量）或 Milvus（生产级）
- metadata 存入文档标题、来源、页码便于溯源
4
4. 检索增强生成（RAG）
用户提问 → 向量检索 top-k 段落 → 组装 prompt → LLM 生成回答，回答附带来源引用。
- top-k 建议 3-5 段，过多会稀释信号
- 用 reranker 二次排序提升精度
- 回答必须标注来源文档名+页码
5
5. 效果评估与迭代
收集高频问题与回答满意度，定期更新文档库与 prompt 模板。
- 评估指标：回答准确率、引用命中率、未命中率
- 设置「我不知道」兜底，避免幻觉
- 按月迭代文档与切片策略
TOOLS
工具清单
| 工具 | 类型 | 说明 |
|---|---|---|
| LangChain / LlamaIndex | 开源免费 | RAG 框架，封装检索+生成流程 |
| Chroma | 开源免费 | 轻量向量数据库，适合 PoC 和中小规模 |
| Milvus / Qdrant | 开源免费 | 生产级向量数据库，支持百万级文档 |
| bge-large-zh-v1.5 | 开源免费 | 中文 Embedding 模型，效果好 |
| 通义千问 / DeepSeek API | 免费额度 | 国产大模型 API，成本低 |
| Dify / FastGPT | 开源免费 | 可视化 RAG 平台，拖拽搭建 |
RESOURCES
配套资料
RAG 落地 ChecklistPDF 清单
20 项自检清单，从文档采集到效果评估逐项打勾
文档切片策略对照表表格模板
不同文档类型的切片方案对比
RAG Prompt 模板包Prompt 模板
包含问答、摘要、引用溯源 3 套模板
PITFALLS
避坑指南
- ⚠文档质量 > 模型能力，垃圾文档进去出来还是垃圾
- ⚠初期不要追求全覆盖，先选 1 个部门（如 HR/IT）做试点
- ⚠涉密文档必须有权限分层，AI 回答不能跨权限泄露
想在自己企业落地？
案例是通用方案，你的企业有自己的数据、系统和约束。预约 1v1 咨询，帮你量身定制落地路径。
延伸学习
AI 落地工作坊：知识库问答
企业内训 · 面议