大模型聊天大家都会用，但放到公司业务里，为什么一半项目黄了？

问题通常不在模型够不够大，而在两件事没做稳：检索和编排。

一、RAG：让模型别瞎编的第一道防线

裸模型像记忆力很好的外人——训练截止前的事知道，你公司内部的制度、合同、报表它一概不懂。

RAG做的事很简单：先查资料，再回答。

常见落地形态：

• 企业制度问答

• 合同条款检索

• 售后知识库

• 研报摘要生成

注意：简单RAG只是起步。动态检索、权限隔离、敏感词过滤、来源标注，才是企业级和玩具版的区别。

二、智能体：不是“自动运行”这么简单

智能体（Agent）容易被讲玄了。拆开看就三层：

• 规划：这一步该查库还是该调接口

• 工具：能跑SQL、发消息、读日志

• 执行：出错了回退，别一直转圈

吴恩达给过判断标准：哪步用代码更稳，哪步留给模型灵活处理。

三、固定流程 vs 自主循环

新手别一上来写“全自动Agent”，先从固定流程做起。

四、为什么“评估”最容易被漏掉

很多项目上线前只测了demo，没建评估集。

结果用户一多，模型偶尔乱答，没人发现。

最小可行做法：

1. 攒50条真实问题

2. 标标准答案或打分维度

3. 每次改提示词跑一遍对比

4. 成本、耗时一起记

这一步不做，后面优化全是玄学。

五、落地顺序建议

• 第1个：个人知识库（练RAG）

• 第2个：日志分析bot（练工具调用）

• 第3个：多步骤业务流程（练Agent）

别直接冲“替代员工”的故事，先替代自己每周重复的活

EEC工信教考中心，AI大模型应用工程师 北京青蓝智慧科技

马老师13391509126

丁老师13522094648