AI 落地指南 · 2026 版
企业 AI 落地入门：从场景到验收
这份长文写给要在企业里推进 AI 的人：可能是老板、业务负责人，也可能是刚被指派去「研究一下大模型」的技术同事。目标不是把你训练成算法工程师，而是让你在立项、选型、验收三个关键节点上，能问出对的问题、看懂对方给的答案。
全文约八千字，建议先看目录，再按当前阶段跳读。开篇帮你判断要不要做，中间几部分讲概念与工程链路，末节讲验收和合规，可以直接拿去改成立项材料。
一、先判断：你的企业现在适不适合做 AI
先说结论：AI 适合解决「有大量文本、重复判断、结果可核对」的问题，不适合解决「没有数据、没有标准、没有人负责」的问题。判断一个场景值不值得做，可以用四个问题过一遍，任何一个答不上来，都应该先补功课而不是先买工具。
问题一：这个问题现在由谁在做，做一次花多久？如果没有人做，或者没人说得清耗时，说明它还不是一个被验证过的需求。AI 的价值通常体现在替代重复劳动或缩短等待时间，前提是这两件事本来就可被观察。
问题二：判断对错的依据在哪里？知识库问答的依据是制度原文，客服辅助的依据是历史工单与产品资料，内容生产的依据是事实卡与审核规范。依据不存在或本身矛盾，模型只会把矛盾放大。
问题三：出错一次的代价有多大？内部查询答错了可以纠正，对外报价答错了可能造成损失。代价越高，越需要人工确认节点与拒答机制，系统的设计也会更保守。
问题四：谁愿意出题、谁来标注？验收依赖一批业务方认可的问题。如果没有人愿意花半天时间出题，这个项目大概率也不会有明确的上线标准。
四个问题都能回答，场景基本可以进入 POC。回答不了，也不必气馁，先做数据整理与流程梳理，本身就是在为 AI 做准备。我们见过不少企业，把资料从各个网盘收拢、统一版本、明确责任人之后，即使只用基础检索工具，效率也已经提升了一截。
二、概念地图：LLM、RAG、微调、Agent
大语言模型（LLM）是按概率生成文本的模型，能力来自训练语料，不包含你企业的私有事实。它擅长理解、归纳、改写与结构化输出，但不擅长确保事实准确，也不会自动知道昨天刚改的价格。
RAG（检索增强生成）在生成之前先从外部知识库检索相关片段，把片段作为上下文交给模型。它不改变模型参数，更新知识只需要更新文档库，因此适合制度、产品、政策这类会变的资料。
微调（Fine-tuning）用领域样本继续训练模型，改变参数，使输出更贴近特定风格、格式或判断习惯。它需要成规模的标注数据与训练资源，且知识一变就要重训，适合稳定任务，例如固定的分类口径、固定的回复风格。
Agent（智能体）让模型按目标自主规划步骤、调用工具并检查结果。它把「回答问题」扩展成「完成任务」，但每一步都可能出错，生产环境必须加权限边界、操作日志与人工确认。
四者的关系可以这样理解：LLM 是发动机，RAG 是给它配一个随时更新的资料柜，微调是重新调校发动机的输出习惯，Agent 是给它装上方向盘和工具箱。先有明确的道路（场景），再决定要不要换发动机，顺序反了就会浪费预算。
还有一个常被忽略的概念：Token。模型按 Token 计费与限制上下文长度，中文大致一个字到一个词对应一到两个 Token。上下文窗口指一次请求能容纳的 Token 总量，材料越长，可用于对话与推理的空间越小，成本越高。这也是长上下文不能替代检索的原因：把整个知识库塞进去，既贵又会让真正相关的信息被稀释。
三、RAG 是什么：五步链路逐段拆解
RAG 的核心思想只有一句：先找资料，再回答。但要把这句话做稳，链路要拆成五步，每一步都有具体的工程选择与常见故障。
第一步，文档解析。把 PDF、Word、Excel、网页、扫描件还原成结构化文本。常见故障是表格错位、页眉页脚混入正文、双栏排版被读成一行、扫描件没有文字层。解析质量决定了后面所有环节的上限，很多「答非所问」其实是解析阶段就丢了关键字段。
第二步，文本切片。把长文档切成适合检索的片段。切片太短会丢失上下文，太长会引入无关内容并占用上下文窗口。制度、合同类文档适合按章节切并保留标题层级；问答型资料适合按问答对切；表格适合按行切并保留表头。切片时同时写入来源、版本、生效日期、适用范围等元数据，后面做权限过滤与引用溯源都要用到。
第三步，向量化入库。用嵌入模型把切片转成向量并建立索引。除了向量检索，实践中常配一路关键词检索（常被称为混合检索），用来兜住专有名词、型号、编号这类向量不敏感的内容。索引里要带权限标签，确保检索阶段就完成过滤，而不是先返回再在界面上遮挡。
第四步，检索与重排。先按相似度召回一批候选片段，再用重排模型按与问题的相关性排序，取前几条作为证据。重排能明显改善「召回到了但排得太靠后」的问题。评测时要分别看 Top-3 与 Top-5 的命中情况，因为进入上下文的往往只有三到五条。
第五步，拼接与生成。把证据、问题与指令组织成提示词，要求模型只依据材料作答、给出引用位置、材料不足时明确说不知道。这里的提示词不是玄学，而是约束条件：限定来源、限定格式、限定不可推断的内容、规定拒答话术。
五步之外还有一个常被省略的环节：更新。文档会改版、制度会废止、产品会下架。系统需要有版本管理与失效标记，避免旧版资料继续被召回。我们通常建议在交付物里包含一份《资料维护责任表》，写清每类资料由谁在什么触发条件下更新。
四、企业知识库怎么搭建：从资料到答案
知识库不是把文件拖进一个框。它是一套「资料治理 + 检索 + 生成 + 维护」的组合。按下面的顺序做，返工更少。
资料盘点。先列清单：有哪些资料、存放在哪、谁维护、版本是否统一、是否有保密级别。实践中经常发现同一份制度有三个版本在不同群里流传，这种情况先统一版本，比任何模型调优都有效。
清洗与结构化。去掉重复文件与过期版本，补齐标题与目录，把扫描件做文字识别，把表格转成结构化数据。此阶段要产出《资料清单》与《数据体检表》，标明哪些可用、哪些需要业务方补充、哪些不适合入库。
切片与标注。按资料类型选择切片策略，并为每个切片打上来源、章节、版本、生效日期、可见范围等标签。权限标签要能对应到组织架构，否则出现「实习生问出了薪酬制度」这类问题。
检索策略。向量检索加关键词检索的混合方案通常比单一方案稳。对编号、型号、人名这类实体，关键词检索更可靠；对口语化提问，向量检索更擅长。两者结果合并后再重排，能覆盖更多提问方式。
回答设计。答案要带出处，并尽量能点回原文位置；材料不足时给出明确拒答话术，并提示可以转人工；对同一问题存在多个版本资料的情况，优先返回生效日期更新的版本，并在答案中注明依据的版本。
评测与迭代。用业务方出的问题跑评测集，统计召回率与命中率，按 badcase 归因修改切片、检索或提示词。没有评测集的知识库，无法判断改动是变好还是变坏。
关于周期，资料齐备、范围限定在一个部门时，POC 通常两到四周可以演示；正式上线还要加权限、评测、运维与培训，整体按两到三个月排期比较现实。范围越大、系统对接越多，周期越长。
五、大模型幻觉怎么解决：成因与手段
幻觉指模型生成了看似合理但与事实不符的内容。它不是偶发故障，而是生成机制的固有风险：模型的任务是生成流畅的下一段文本，不是核对事实。工程上能做的是缩小它编造的空间，并把剩余风险显性化。
成因一：训练知识过期。模型不知道你昨天改的价格，也不知道上月废止的制度。表现是回答旧版本内容，且语气非常肯定。手段是用 RAG 注入现行资料，并在提示词中要求只依据给定材料作答。
成因二：上下文缺失。问题本身含糊，模型自行补全关键条件。例如「这个能退吗」没有说明商品类型与购买渠道。手段是追问澄清、补充检索，或按角色与场景改写提问后再检索。
成因三：生成时过度补全。材料里没有的数字、条款被编出来，尤其在要求「给出完整答案」的提示下更容易发生。手段是强制引用、设置置信度阈值、低置信时拒答或转人工，并在提示词中明确允许说「资料中没有」。
三类手段通常组合使用。只有检索没有拒答，遇到库外问题仍会硬答；只有拒答没有检索，拒答率会高到没法用。评测时要把「该拒答时是否拒答」和「不该拒答时是否误拒」分开统计，否则调高阈值就能让指标好看，但系统会变得不可用。
还有一类风险不属于幻觉，但常被混为一谈：引用错位。答案内容正确，但标注的出处指向了另一段文字。这类问题在评测中要单独抽查，因为它会破坏使用者对系统的信任，而且很难靠肉眼发现。
六、智能客服能不能替代人工
不能。智能客服能承担的是重复性、知识型问题：营业时间、退换货规则、发票流程、产品参数、常见故障排查。复杂投诉、情绪安抚、需要权限操作或跨系统核实的事项，仍要由人工处理。
一个可用的客服辅助系统通常由四部分组成。意图识别负责把问题分到正确的知识域；知识问答负责给出带出处的答案或回复草稿；工单辅助负责在坐席侧推荐相似历史工单与处理步骤；人工接管负责在低置信、敏感词或客户明确要求时转给坐席，并保留完整上下文。
衡量这类系统是否合理，看的不是「机器人回答了多少」，而是几个配套指标：人工接管率是否在可接受范围，接管原因是否集中在少数几类可补的知识缺口，首响时间是否稳定，以及坐席对回复草稿的采纳情况。接管率过低未必是好事，可能意味着系统在硬答不该答的问题。
还有一个容易被忽略的设计问题：客户是否知道自己在与机器对话。面向公众的服务应当在入口处明确告知，并提供转人工的显式入口。这不是合规装饰，而是减少投诉的实际手段。
从投入产出看，客服类项目的收益通常体现在三个方面：重复问题的人力占用下降、新坐席上手时间缩短、服务时段延长。这三项都可以在上线前定义统计方式，在上线后按周观察，而不是等半年后凭感觉判断。
七、私有化部署要什么配置，成本怎么算
私有化部署的配置取决于三件事：模型参数量、并发量、上下文长度。参数量决定显存下限，并发决定要不要多卡或多机，上下文长度影响单次请求的显存占用与延迟。
按常见经验值，7B 级模型做量化推理通常需要单张 24GB 显存起步，14B 级建议 48GB 以上，70B 级需要多卡或高显存机型。这些数字只是起点，实际还要为并发请求、向量模型、重排模型留出资源。正式采购前应做一次压力测试，用真实问题与目标并发跑一遍，配置以实测为准。
成本结构可以拆成四块：硬件或云主机、模型授权（开源模型通常无授权费，但需遵守许可证）、部署与调优人力、后续运维。API 方案则按调用量计费，前期投入低，但单价随用量线性增长，且数据要出内网。两条路的取舍依据是数据敏感度、调用量与团队运维能力。
一种务实的组合是：用闭源 API 做 POC 与效果验证，把稳定后的高频流量迁到私有化部署的开源模型上，中间用模型网关做路由与降级。这样既缩短了验证周期，也保留了成本优化的空间。网关同时承担配额、审计与用量统计，便于按部门结算。
需要提醒的是，私有化不等于没有风险。模型文件、向量库、日志都留在内网，但权限管理、补丁更新、备份恢复仍要有人负责。没有运维能力的团队，买到机器只是开始，后面的人力投入往往被低估。
八、用 100 条评测集做验收：五类指标
生成式系统没有「功能全部通过」这种验收方式。可行的做法是准备一批业务方认可的问题，把回答质量、边界与人工介入成本量化下来。评测集建议不少于 100 条，由业务方出题与标注，我们负责抽样设计、统计口径与复测。
题目要覆盖四类。高频常规问题，占多数，代表日常使用；长尾与口语化提问，检验系统对真实表达的适应；跨文档组合问题，检验检索与推理的配合；边界问题，即本就不该回答的内容，检验拒答机制。第四类常被忽略，但它决定了系统会不会在敏感问题上硬答。
五类指标。召回率：检索结果中包含正确证据的提问占比，分别统计 Top-3 与 Top-5。命中率：答案覆盖标准答案要点的提问占比，部分命中的情况单独记录。拒答率：系统选择不回答的请求占比，同时区分「该拒答」与「错误拒答」。人工接管率：转人工处理的会话占比，按渠道与意图分别统计。首响时间：从提问到首字输出的耗时，取 P50 与 P95，并区分冷启动与热启动。
达标线怎么定。没有通用数值。流程是先测基线，再由业务方根据人工处理同样问题的准确率提出目标，双方在合同附件中写明目标值、评测集版本与复测日期。基线不公开却承诺某个百分比，本身就不可验证。
未达标怎么办。按 badcase 归因到解析、切片、检索、提示词、模型五个环节，逐项修复后在同一评测集复测。连续两轮未达标的场景，建议缩小范围、调整方案或暂停投入，并把结论写进复盘报告。硬推到上线，成本会在运营阶段以另一种方式出现。
验收之外，评测集本身也要维护。业务变化后，旧题目可能失效，需要定期补充新题并标注版本。评测集是资产，不是一次性交付物。
九、合规：生成式服务与内容标识
AI 系统上线不只是技术问题。面向境内公众提供生成式服务、处理个人信息、对外发布生成内容，各自对应不同的合规要求。以下只列工程侧需要落实的动作，具体适用条款请结合业务形态核实，必要时咨询法务。
《生成式人工智能服务管理暂行办法》自 2023 年 8 月 15 日起施行，涉及训练数据来源合法性、个人信息处理、内容安全与评估等要求。落到工程上，至少要能说清：用了哪些模型与服务、数据从哪来、存多久、谁能访问、出了问题怎么追溯。
AI 生成合成内容的标识要求，公开信息指向 2025 年 9 月 1 日起施行的相关办法，具体条款需核实。对外发布的图片、音视频与文本，建议在生成环节就预留显式标识与元数据标识字段，避免上线后返工。
涉及个人信息时，可参考 GB/T 35273-2020 个人信息安全规范的必要范围原则：只收集完成业务所必需的信息，明确告知用途，限制访问范围。知识库建设时，应避免把客户名单、身份证号、联系方式等直接写入向量库；如确需使用，先做字段级脱敏与访问控制。
治理体系方面，ISO/IEC 42001:2023 是人工智能管理体系标准，NIST AI RMF 1.0 是 AI 风险管理框架，可作为内部制度与风险清单的参考结构。条款细节与适用性需核实，这些标准不构成认证承诺，也不替代法律意见。
十、落地路线图与五个常见误区
一条务实的路线是：场景盘点与数据体检，两到四周 POC，评测集与验收，灰度上线，运营迭代。每一步设一个确认点，上一阶段的产出没有签字，不进入下一阶段。这样既能控制预算，也让业务方知道进展。
POC 阶段允许失败。用三十到五十条种子问题跑一轮，暴露解析、检索与提示词的主要问题；如果核心指标明显不可达，及时停止比勉强推进更省成本。失败结论同样是一份有价值的交付物。
误区一：知识库能消灭所有幻觉。检索能显著降低编造，但解析错误、召回缺失与过度补全仍会发生。保留拒答与人工接管，并把剩余错误率测出来，才是负责任的做法。
误区二：模型越大越好。参数量提升往往伴随成本与延迟上升。制度问答这类任务，中等规模模型配好检索与提示词，常常比大模型硬答更稳。选型按评测结果，不按榜单名次。
误区三：先买卡再想场景。硬件采购不可逆。先锁场景、跑通链路，再按实测并发与模型规模决定配置，能避免设备闲置，也让预算申请有依据。
误区四：上线即结束。真实提问的分布会持续变化，资料也会过期。没有 badcase 复盘与知识维护责任人的系统，几个月后回答质量通常明显下降。
误区五：准确率等于业务价值。一个准确率不错但没人用的入口，价值为零。业务价值取决于使用频次、节省的工时、减少的错误与客户体验，这些要在上线前定义统计方式。
高频问答 16 则
下面这些问题是做场景访谈时被问到频次较高的，答案尽量给结论与判断依据，方便直接摘录使用。
- RAG 是什么？RAG 是检索增强生成，指在生成答案前先从知识库检索相关片段并注入上下文，让模型基于材料作答。它不改变模型参数，知识更新只需更新文档库。
- RAG 和微调怎么选？知识频繁更新、需要可追溯出处的场景优先 RAG；需要改变输出风格、格式或固定判断习惯时再考虑微调。两者可以叠加：先用 RAG 解决事实，再用微调固定表达。
- 企业知识库怎么搭建？按资料盘点、清洗结构化、切片标注、混合检索、回答设计、评测复盘六步推进。先统一版本与责任人，再谈模型与工具，返工更少。
- 大模型幻觉怎么解决？用检索约束答案范围、强制引用出处、设置置信度阈值触发拒答或转人工。目标是把编造压到可测范围，而不是宣称完全没有幻觉。
- 智能客服能替代人工吗？不能。它承担重复性知识问答，复杂投诉、情绪安抚与需要权限操作的部分仍由人工处理。人工接管率是判断边界是否合理的关键指标。
- 私有化部署需要什么显卡？7B 级量化推理通常单张 24GB 显存起步，14B 级建议 48GB 以上，70B 级需要多卡或高显存机型。并发与上下文长度会显著影响需求，采购前应做压力测试。
- 知识库切片长度怎么设？没有通用数值。制度合同类适合 400–800 字并保留章节标题，问答类按问答对切，表格按行切并保留表头。切片后用评测集验证召回效果再调整。
- 召回率怎么算？检索结果中包含正确证据的提问数除以总提问数，用业务方标注的评测集统计，同时看 Top-3 与 Top-5。达标线由项目约定，没有行业统一值。
- POC 一般要多久？单个场景、资料齐备的情况下，两到四周可以做出可演示版本。范围越大、系统对接越多，时间越长，建议先用一个场景验证再扩展。
- 开源模型和闭源 API 怎么选？数据不能出内网、调用量稳定时倾向私有化开源模型；需要快速验证效果时先用闭源 API。常见组合是 API 打样、开源模型承接稳定流量。
- 企业数据会不会被用于训练？取决于所用服务。第三方 API 的数据条款需逐条确认；私有化或专有实例下数据留在企业环境内。合同应写明数据用途与删除方式。
- 知识库项目大概多少钱？参考区间为 8–25 万，取决于知识范围、对接数量与部署方式。先做 3–8 万的场景诊断与 POC，通常能拿到可评测的样机再决定是否实施。
- 没有标注数据能做微调吗？不建议。微调依赖成规模的领域样本，没有标注就先用 RAG 与提示词解决，边用边积累真实问答，等数据够了再评估微调的必要性。
- 本地部署需要多大的运维投入？需要有人负责模型与依赖升级、显存与并发监控、向量库备份、权限变更与故障处理。没有专职人员的团队，建议先用云上专有实例过渡。
- 怎么判断供应商靠不靠谱？看三件事：是否愿意先做 POC、是否接受业务方出题的评测集、是否把不含项与责任边界写进合同。只谈效果不谈口径的，通常很难验收。
- AI 生成内容要标识吗？对外发布的生成内容建议按现行标识要求处理，公开信息指向 2025 年 9 月 1 日起施行的相关办法，具体条款需核实。工程上应在生成环节预留标识字段。
更新日期：2026-11-10 · 作者：张鹏（CISP 2022） · 本文为方法与实践说明，不构成对具体项目结果的承诺；涉及标准条款与法规适用，请以正式文本及专业意见为准。