从银行数据惩办转向AI产物设立的五大哥手无人不知无人不晓，用堕泪陶冶揭示了一个行业真相：在GPT、Claude等大模子智力趋同的今天，决定AI产物专科度的不是API参数，而是底层数据的「洁癖级」处理。本文通过金融客服翻车、法律问答崩盘、学问库精神分裂三个真实案例，拆解数据清洗、SFT微调、RAG架构中的致命罗网，给整个正在与「垃圾进垃圾出」交往的AI产物东谈主一剂清醒剂。

在银行写了五年数据，转去作念 AI 产物之后，我接的第一个活是一个金融客服。

模子用的是行业顶流，Prompt 调了好几版，可用户反馈遥远有一句很扎心的话：「像个背课文背串了的学生，看着机灵，一话语就泄漏。」

当时候我也心焦过算法。今天 DeepSeek 出新版块，未来通义千问刷榜，我对着两份 API 文档比参数，像挑发动机的二手车买家。自后产物上线，问题一个个冒出来，我才逐步看明晰一件事：模子沾污、风马牛不相及、反覆无常这些病，大部分不是模子的问题，是底下那堆数据的问题。

模子智力差未几了的今天，谁家产物作念得好，看的是底层数据，不是 API。

底下是三件具体的事。

银行那五年留住来的「洁癖」

好多作念 AI 产物的一又友听到我有银行布景，第一响应是「你们那套是不是太保守了」。

照实保守，保守到接近洁癖。但我自后在 AI 产物里反复栽跟头的地点，恰正是这种洁癖救我的地点。

带我的东谈主话未几，给我立过一条章程：数据进仓之前，必须过三谈闸。第一谈是泉源清洗——空值怎样填、相配值怎样判、期间门径解救成什么样，全是死章程。第二谈是逻辑校验——主键独一，外键能关上，辗转游主义相互能勾稽。第三谈是分层——ODS 贴源层放原始数据只留存不动，DWD 明细层作念清洗去重，DWS 汇总层按主题团聚，ADS 愚弄层才是竟然给前端用的。每一层齐有我方的活，不许串。

我印象最深的一次是作念月末监管报表。某个 ETL 功课里，一个字段精度在极少点后第三位出了偏差。0.001，搁互联网产物里连 bug 齐算不上。但银行那套数据是层层汇总的，这个偏差一齐加上去，临了会影响到风险加权钞票。

那世界午我被叫去办公室，对方没骂东谈主，仅仅把报表摊在桌上，指着那一滑问我：「淌若这个数字被监管看到，你以为他们会认为是咱们系统的问题，依然格调的问题？」

我当时候才二十多岁，记到现时。

数据惩办这件事，期间上没多难，难的是这种「手一抖即是几千万」的紧绷感。自后我跳出银行作念 AI 产物，发现行业里大广博团队最缺的即是这个基本功。

GPT、Claude、DeepSeek、通义千问，人人用的脑子齐差未几，身手齐在 140 以上。那凭什么你的 AI 产物比别东谈主专科？凭你给它读的那本教科书是不是经过严格审校的。

我见过太多团队作念 RAG 学问库，把原始文档、清洗过的 FAQ、业务部门临时写的评释、致使测试环境的假数据，一股脑倒进兼并个向量库。然后回头牢骚「模子不行，检索不准」。

这不是模子的问题。是你把教科书、草稿纸、小告白和茅厕涂鸦订在全部，塞给了阿谁学生。他再机灵也得疯。

第一次 SFT：我用爬虫数据把模子喂坏了

银行出来之后，我接的活之一是给一个法律标的的产物作念 SFT 微调。

第一响应是数据嘛，爬。爬虫跑了几天，扒了一千多条法律问答对，门径解救，班师喂给模子监督微调。试验 loss 弧线挺漂亮，降得稳稳的。我作念完测试，第一个问题就把我干懵了。

我问：「处事合同到期不续签，公司需要提前多久告知？」

模子回话了一大段。前半段说《处事合同法》第四十条的提前三十天告知，后半段片刻拐到试用期捣毁的条目，临了还来了一句「具体以当地计谋为准」。三个学问点串成三串烤面筋，没一根在签子上。

这个回话我盯了挺久。

那一千多条数据，名义上齐是法律问答，推行杂音大得离谱。有的是好几年前的旧法条，有的是不同地区的极度规矩，有的是论坛网友的回话，连基本的时效性齐没校验过。模子像一个被塞了一肚子逾期食物的孩子，你指望他吐出什么好东西？

自后我删了那批爬虫数据，拉着法务共事，花了好像一周，东谈主工精选了一小批问答对。这批数据每一条齐过三重校验：法条原文是不是现行灵验、司法解说有莫得更新、适用场景是不是明确。每一条齐标了鸿沟——这个问题适用于什么情形，不适用于什么情形，容易和哪个类似意见沾污。

我把这批精选数据，加上从正本一千多条里筛出来的一部分相对干净的语料，再行作念了微调。

雷同是阿谁处事合同的问题，这一次模子不仅给出了准确的法条依据，还主动诀别了「合同到期不续签」和「合同期内捣毁」这两种不哀怜形，致使提醒了部分地区有地点性规矩。

少量精确、鸿沟澄澈的数据，比一千多条身分不解的语料管用得多。

AI 不变魔术，实质是格式识别加概率推断。你喂垃圾，它学的即是垃圾门径。

这事之后我给团队定了一条红线：入模前的数据，必须像银行月末报表一样，经得起审计。

RAG 学问库的「精神分裂」

第二个坑在 RAG。

那阵子咱们作念一个里面学问助手，需求很直白——职工问里面轨制、过程、产物法则，AI 要能给准谜底。期间决议没什么新意，向量库加 Embedding 加大模子生成。咱们花了两周把几千份里面文档全部向量化塞进去，测试时浅易问题齐答对了，我以为这活儿成了。

上线第一周投诉就过来了。

有职工问某个信用贷产物的最高额度。AI 回话的前半段说的是客岁废止的旧法则，后半段跳到本年新产物的准入条目，中间还混合了一段风控部门的里面参谋纪要。职工看完班师懵了——「是以到底是若干？我能给客户愉快吗？」

我掀开学问库后台，看到那几千份文档的分类，血压一下就上来了。

原始轨制、改换后的轨制、部门里面解读 PPT、培训用的简化课本、致使某次会议的唾手记载，全混在全部。向量检索的时候，模子同期握到了「原始版」和「改换版」两个片断，逻辑不自洽，可不就精神分裂了吗？

我坐在电脑前，脑子里冒出来的是银行那张老架构图。

为什么 RAG 学问库不行也分层？

咱们再行规画了架构。原始文档层只存不搜，当作母本。清洗校验层是东谈主工或法则过了一遍的成效版块，每份齐标了时效性、适用规模、版块号。学问片断层按主题切分、向量化，每个片断带明确的元数据——适用部门、成效期间、业务类型。愚弄接口层是独一瓦解给大模子检索的层。

但分层不是关节。

关节是每两层之间的「逻辑校验闸」。淌若清洗校验层发现某份文档的成效日历和废止日历封闭，班师阻断，不许投入下一层。淌若学问片断层里有两个版块对兼并问题的刻画不一致，触发东谈主工复核。

这套搭起来之后，阿谁信用贷额度的问题再也没答错过。它检索到的每一个片断，齐是版块一致、鸿沟澄澈的。

数据流干净，模子我方就能摸到门径。底层是一锅粥，模子再先进也只可在粥里打滚。

顺带说一句对于用户反馈的事。产物上线之后用户每次对话齐是新数据，表面上是最高质地的语料——他问的阿谁问题揭示了你的盲区，他纠正的那一句包含了新学问。但这些数据要回到模子里，也必须走一遍雷同的分层和校验：先过杂音过滤丢掉测试数据和坏心输入，再作念价值标注，再作念轮廓清洗和脱敏，临了才能用于增量微调或学问库更新。

跳过任何一步，你回流的即是新一批杂音。

这个行业现时不缺会用模子的东谈主，缺的是兴奋在数据这件脏活上扎下去的东谈主。模子在哪一家手里智力差距齐不大，差距在底下那本教科书上。

本文由 @灵艺 原创发布于东谈主东谈主齐是产物司理。未经作家许可，辞谢转载

题图来自Unsplash无人不知无人不晓，基于CC0公约