企业用AI常遇到一类问题：demo看起来聪明，上线后乱答。原因往往不在算法本身，而在训练数据和评测环节。
一、数据清洗：先解决“喂错东西”
原始数据常见问题有四类：
重复数据多，模型记答案而不是学规律；
标注口径不一致，不同人标成不同标签；
含隐私字段，如手机号、姓名、地址未脱敏；
业务样本偏少，新场景没有覆盖。
训练工程师会先建数据字典和脱敏规则，再按场景拆分训练集、验证集、测试集。
二、标注规则：把“感觉对”变成“可执行”
以智能客服为例，标注手册要写清：
意图分类：咨询价格、查物流、退换货、投诉建议；
情绪标签：正常、急躁、愤怒、反复追问；
答案标准：是否引用公司政策、是否给不确定表述；
禁答范围：涉隐私、涉违规、涉未授权承诺。
规则详细，质检才有依据。质检可采用双标抽检，记录偏差率并回训标注人员。
三、模型评测：不要只看“像不像人”
建议用五个维度打分：
准确性：事实、价格、流程是否与业务一致；
完整性：是否漏关键步骤；
合规性：是否涉违规承诺、隐私泄露；
稳定性：同类问题多次问，答案是否一致；
场景适配：电商、法务、医疗术语是否符合内部标准。
评测结果做成错误分类表，例如“意图识别错”“政策引用错”“格式不统一”，再反向补数据。
四、可复用的评测闭环
业务提问池→标注标准→模型输出→人工评分→错误聚类→补样本→再评测。
这个闭环比单次调提示词更稳，也更适合企业长期维护。
人工智能训练工程师认证办理北京青蓝智慧科技
马老师135-2173-0416
丁老师135-2209-4648
