「大模型账号买了，没人真的用起来」
账号发下去，员工试了两次就回到微信和 Excel。原因是模型没有接进具体工作流，也没有人负责把回答质量调到可用。
AI 应用落地 · 湘西本地团队
湖南湘西企业 AI 解决方案｜知识库·智能客服·AIGC
做企业 AI 解决方案，先把一个具体场景做成可评测的 POC，再决定买算力、选模型、上系统。我们用 2–4 周交付可演示版本，以业务方标注的 100 条以上评测集对齐验收口径，指标达标后再进入灰度上线与运营迭代。
- CISP（2022）
- 5 年企业服务与教学实践
- 课程累计学员 100 余人
- 湘西本地团队，可到场
KNOWLEDGE BASE/
RAG/
AGENT/
PRIVATE LLM/
AIGC PIPELINE
落地难题
AI 项目卡住，多半不是模型不行
我们在湘西与长沙接触的企业里，失败的 AI 项目往往在买模型之前就已经注定：场景没锁、数据没体检、验收口径没谈。下面七句话，是需求访谈里出现频率很高的原话。
先承认这些问题存在，再谈技术选型。每一条都能对应到一个可执行的检查动作。
「知识散在微信群、网盘和老员工脑子里」
制度在共享盘、报价在聊天记录、经验在个人记忆里。直接丢给模型，回答就会拼凑过期版本，越用越不敢信。
「客服每天回答重复问题，忙时又接不住」
退换货、营业时间、发票流程被反复询问。忙时排队，闲时人力闲置，但没有数据说明哪些问题可以被机器接走。
「POC 演示很惊艳，上线后没人点开」
演示用的是精挑细选的问题，上线后遇到长尾提问就答偏。缺少真实评测集，等于没有可对比的验收依据。
「数据敏感，不敢直接上公有云」
客户名单、合同条款、工艺参数不能出内网。是走专有实例、私有化部署还是脱敏后调用 API，需要按数据类型分级判断。
「算力预算报不上去，也说不清花在哪」
显卡、云主机、模型调用费混在一起，没有按场景拆分。管理层只看到一笔支出，看不到对应的业务动作与验收结果。
「业务方说要 AI，却说不出具体场景」
「提升效率」不是场景。能落地的描述要包含角色、触发时机、输入材料、期望输出和谁来判断对错。
说明：以上为需求访谈中归纳的常见表述，不指向任何具体客户。典型场景一律匿名处理。
基础扫盲
LLM、RAG、微调、Agent：四个词先把边界分清
这一节写给要签字、要验收、要向上汇报的人。概念清楚了，才不会被「上个大模型就行」这类说法带偏，也不会把预算花在不需要的地方。
LLM：大语言模型
LLM 是以海量文本训练、按概率生成下一个词的语言模型，擅长理解与改写，但本身不掌握你企业的私有事实。它像一个知识面广、记忆停在训练截止日的顾问，回答是否可用于业务，取决于你给它什么材料。
RAG：检索增强生成
RAG 指在生成答案之前，先从企业知识库里检索相关片段并注入上下文，让模型基于材料作答。它改变的是输入，不改模型参数，因此知识更新只需更新文档库，适合制度、产品、工单这类持续变化的内容。
微调：Fine-tuning
微调用领域样本继续训练，改变模型参数，让输出更贴近特定风格、格式或判断习惯。它需要成规模的标注数据与训练算力，知识更新后要重新训练，因此更适合稳定任务，而不是天天变的资料问答。
Agent：智能体
Agent 是让模型按目标自主规划步骤、调用工具并检查结果的运行方式。它把「回答问题」扩展为「完成任务」，但每一步都可能出错，所以生产环境必须加权限控制、操作日志与人工确认节点。
RAG 的五步链路
一条可用的知识库问答链路，拆开就是五步。任何一步偷工，都会在评测集上暴露成答非所问或引用错误。下面括号里是我们在项目里会重点检查的环节。
- 文档解析把 PDF、Word、网页、表格还原成可处理的文本与结构。检查：表格与页眉页脚是否错位
- 文本切片按章节、问答对或语义边界切分，保留标题与来源。检查：切片是否切断完整条款
- 向量化入库把切片转成向量并建立索引，附带权限与版本元数据。检查：权限过滤是否前置
- 检索与重排先召回候选片段，再用重排模型挑出与问题相关的证据。检查：Top-3 命中情况
- 拼接生成把证据与问题组织成提示词，要求引用出处并允许拒答。检查：引用是否可点回原文
幻觉从哪来，怎么压
幻觉不是模型「坏了」，而是它在信息不足时仍然被要求给出流畅答案。工程上能做的是缩小它编造的空间，并把剩余风险显性化。
三类成因对应三类手段，通常组合使用，单项措施很难把问题压住。
| 成因 | 表现 | 对应手段 | 验收时怎么看 |
|---|---|---|---|
| 训练知识过期 | 回答旧价格、旧流程、已废止条款 | 用 RAG 注入现行文档，并在提示词中限定「只依据材料」 | 抽查时效性问题，核对答案引用日期 |
| 上下文缺失 | 问题本身含糊，模型自行补全关键条件 | 追问澄清、补充检索、按角色与场景改写提问 | 看澄清率与追问后的命中率 |
| 生成过度补全 | 材料里没有的数字、条款被编出来 | 强制引用、置信度阈值、低置信转拒答或人工 | 统计拒答率与错误拒答比例 |
Token 与上下文窗口
Token 是模型处理文本的基本单位，中文大致一个字到一个词对应一个到两个 Token。上下文窗口是一次请求能容纳的 Token 总量，材料越长，可留给对话与推理的空间越小，成本也越高。长上下文不能取代检索，把整个知识库塞进去既贵又容易稀释重点。
私有化与 API 的成本结构
API 按调用量付费，前期投入低，但数据出内网、长期单价随用量线性增长；私有化是一次性硬件与部署投入，单次调用边际成本低，但需要运维、模型升级与容量规划。选择依据是数据敏感度、调用量与团队运维能力。
常见误区：把「知识库」理解成「把 PDF 丢进去」。没有解析清洗、没有切片策略、没有权限与评测的文档堆，只会让回答更难核对。
看验收口径
能力清单
五项能力，按「输入—动作—输出」交付
不按模型厂商分类，按企业实际要解决的问题分类。点任意一项，会跳到联系表单并预选场景方向。
每项能力都可以单独做 POC，也可以组合成中台。范围与不含项在报价前逐项确认。
企业知识库
输入：制度、手册、合同、工单、产品资料。动作：解析清洗、切片、向量化、检索重排、权限过滤。输出：带出处的问答界面与可维护的资料后台。
- RAG
- 混合检索
- 引用溯源
- 权限分级
智能客服
输入：历史会话、FAQ、订单与工单系统接口。动作：意图识别、知识问答、工单辅助、人工接管。输出：网页与企微入口，附接管率与满意度看板。
- 意图路由
- 人工接管
- 会话质检
- 工单辅助
AIGC 内容生产
输入：产品资料、品牌调性、渠道规范。动作：选题、批量生成、事实核对、人工审核、发布。输出：内容流水线与素材库，每次生成留痕可追溯。
- 模板库
- 审核节点
- 多平台适配
- 生成留痕
模型网关与私有化部署
输入：现有模型账号、内网环境、调用预算。动作：多模型接入、路由与配额、私有化推理部署、审计日志。输出：统一调用入口与用量报表，可按部门结算。
- 多模型路由
- 私有推理
- 调用审计
- 成本分摊
AI 落地顾问
输入：业务目标、现有系统、团队能力。动作：场景盘点、选型对比、评测集设计、团队陪跑。输出：落地路线图、评测报告与月度复盘纪要。
- 场景盘点
- 选型对比
- 评测设计
- 团队陪跑
AI Agent 工作流
输入：重复性审批、查询、报表与协同任务。动作：把任务拆成可调用步骤，接内网系统接口，设人工确认。输出：可观测的任务执行记录与失败重试机制。
- 工具调用
- 步骤编排
- 人工确认
- 执行日志
标准方案
四个常见场景，按四段式写清
问题、方案、交付物、验收标准。每一段都可以直接拿进立项材料，也方便你判断我们要做的和你想的是不是同一件事。
制度问答知识库
问题人事、财务、行政制度分散在多个版本的文件里，员工问同一件事得到不同答案，HR 反复解释。
方案抽取现行有效版本，按章节切片并标注生效日期与适用范围，建立带引用出处的问答入口，过期文档自动下线。
交付资料清单、切片与元数据规范、问答系统、管理后台、评测报告、运维手册。
验收：100 条以上业务标注问题，答案引用可点回原文典型场景 · 匿名
客服工单辅助
问题新坐席上手慢，复杂工单要靠老员工口头带；历史处理经验沉淀在个人手里，离职就断档。
方案把历史工单与产品资料做成检索库，在坐席工作台侧边推荐相似工单与处理步骤，低置信度直接转人工。
交付意图分类、相似工单检索、回复草稿、接管按钮、质检抽样表。
验收：草稿采纳率、人工接管率、首响时间三项统计口径固定典型场景 · 匿名
营销内容流水线
问题多个渠道要不同版本的文案，人工改写耗时；生成工具用起来快，但事实错误与违规表述没人兜底。
方案建立产品事实卡与渠道模板，先生成再核对，所有对外内容经人工审核后发布，保留生成与修改记录。
交付事实卡库、模板库、批量生成后台、审核工作流、素材归档。
验收：事实核对清单逐条签认，审核留痕可追溯典型场景 · 匿名
内部 Agent 工作流
问题每周报表要从三个系统导数据再手工拼接，流程固定但出错率高，没人愿意长期做。
方案把任务拆成取数、校验、汇总、生成说明四步，接只读接口，关键节点要求人工确认后提交。
交付任务编排、接口适配、异常重试、执行日志、责任人清单。
验收：连续 4 周试运行，失败可定位到具体步骤与数据源典型场景 · 匿名
以上为方法论示例，描述的是我们处理该类场景的通用做法，不代表任何具体客户的实施结果。案例一律匿名，不出现客户名称与业务数据。
评测与验收口径
AI 项目怎么算「做完了」
这一节是本站要重点讲清的。生成式系统没有「功能全部通过」这种验收方式，必须用一批业务方认可的问题，把回答质量、边界与人工介入成本量化下来。评测集不达标，不进入上线。
评测集由业务方出题与标注，我们负责抽样设计、统计口径与复测。双方对同一批题、同一套口径签字。
召回率正确证据是否被检索到
命中率答案是否答到业务要点
拒答率该拒答时是否拒答
人工接管率多少请求转给人工
首响时间从提问到首字输出
评测集怎么建：至少 100 条，覆盖四类问题
评测集不是随便凑 100 个问题。我们要求业务方按真实提问方式出题，并给每条标注「标准答案要点」与「应引用的原文位置」。题目至少覆盖四类：高频常规问题、长尾与口语化提问、跨文档组合问题、以及本就不该回答的边界问题。第四类决定拒答机制是否有效，常常被忽略。
| 指标 | 定义 | 统计口径 | 未达标时的处理 |
|---|---|---|---|
| 召回率 | 检索结果中包含正确证据的提问占比 | 评测集全量，分别统计 Top-3 与 Top-5 | 调整切片、补混合检索、加同义词与重排 |
| 命中率 | 答案覆盖标准答案要点的提问占比 | 按要点逐条判定，部分命中单独记录 | 改提示词结构、补上下文、拆复杂问题 |
| 拒答率 | 系统选择不回答的请求占比 | 区分「该拒答」与「错误拒答」两类 | 校准置信阈值，补充边界问题的标准话术 |
| 人工接管率 | 转人工处理的会话占比 | 按渠道、意图分别统计 | 补高频遗漏知识，优化意图路由，复核接管原因 |
| 首响时间 | 提问到首字输出的耗时 | 取 P50 与 P95，区分冷启动与热启动 | 换更快的模型档位、压缩上下文、加流式输出 |
达标线怎么定
没有放之四海皆准的数值。流程是先测基线，再由业务方根据「人工处理同样问题的准确率」提出目标，双方在合同附件里写明目标值、评测集版本与复测日期。基线不公开的情况下承诺某个百分比，本身就是不可验证的。
未达标怎么办
按 badcase 归因到解析、切片、检索、提示词、模型五个环节，逐项修复后在同一评测集复测。连续两轮未达标的场景，我们会建议缩小范围、换方案或暂停投入，并把结论写进复盘报告，而不是硬推到上线。
≥100 条
业务方标注的评测问题
5 类
上线前必须统计的指标
2 轮
未达标场景的复测上限建议
评测集、标注结果与复测记录会作为交付物一并移交。我们不使用「演示效果好」作为验收结论，也不把单次抽测结果当作整体质量。
套餐与收费
六个套餐，先把范围说清楚
价格是参考区间，用来判断投入量级。同一区间内，知识范围、系统对接数量与部署方式不同，工作量差别很大，所以报价前必须先锁范围与不含项。
建议路径：先做场景诊断，再决定知识库、客服或内容系统；不确定时按月顾问陪跑。
| 套餐 | 计费方式 | 参考区间 | 交付内容 | 不包含项 |
|---|---|---|---|---|
| AI 场景诊断与规划 | 项目制 / 人天 | 3–8 万 | 场景盘点、数据体检、选型对比、落地路线图与需求清单 | 模型训练、算力采购 |
| 企业知识库（RAG） | 项目制 | 8–25 万 | 文档解析、切片与向量化、检索重排、问答界面、评测报告 | 算力与云资源、纸质档案数字化、模型 License |
| 智能客服 | 项目制 | 6–18 万 | 意图识别、知识问答、工单辅助、人工接管、数据看板 | 呼叫中心线路、CRM 改造、坐席人力 |
| AIGC 内容生产系统 | 项目制 | 8–20 万 | 事实卡与模板库、批量生成、审核工作流、发布对接 | 第三方模型调用费、版权素材 |
| AI 能力中台 / 模型网关 | 项目制 | 15–40 万 | 多模型接入、路由与配额、审计日志、用量与成本报表 | 算力、模型微调、业务系统改造 |
| AI 落地顾问（月框） | 月框，3 个月起 | 2–6 万/月 | 选型评审、评测集设计、badcase 复盘、团队陪跑 | 开发实施、算力 |
以上为参考区间，用于判断投入量级。实际费用以项目范围、资产规模、交付周期、人员配置与合同约定为准。等级保护测评结论须由具备资质的测评机构出具，我方承担咨询与整改配合。
知识库与客服类项目若涉及私有化部署，硬件或云主机费用单独列示，不含在套餐内。人天类服务参考 1000–3000 元/人天，按人员能力分档。
拿不准该从哪个套餐开始？先做一次 60 分钟场景诊断。
提交场景信息
交付流程
五步推进，每步都有可检查的产出
AI 项目怕的是「边做边改需求」。所以每一步都设一个确认点：上一阶段的产出没有签字，不进入下一阶段。这样既能控制预算，也能让业务方知道进展。
POC 阶段允许失败。失败同样是结论，写进报告比硬撑到上线更省成本。
01
场景盘点与数据体检
访谈一线使用者，列出候选场景并按价值与可行性排序；抽样检查资料质量、版本与权限，确认哪些能用、哪些要先清洗。
产出场景清单 · 数据体检表
02
POC 验证（2–4 周）
只做一个场景，打通解析、检索与生成链路，做出可演示版本；同时用 30–50 条种子问题做初步调优，暴露主要问题。
产出可演示样机 · 问题清单
03
评测集与验收
业务方出题并标注，扩充到 100 条以上；固定统计口径，跑基线、修复、复测，双方对结论签字，决定继续或调整。
产出评测报告 · 验收结论
04
上线与灰度
先对内部或小范围用户开放，设人工接管与反馈入口；观察真实提问分布，把未覆盖问题补回知识库，再逐步放量。
产出灰度记录 · 应急预案
05
运营迭代与 badcase 闭环
按月复盘接管原因与错误样本，按解析、切片、检索、提示词、模型五类归因，形成修复排期与知识维护责任表。
产出月度复盘 · 维护台账
合规与标准
生成式应用要面对的规矩
AI 系统上线不只是技术问题。面向公众提供服务、处理个人信息、生成对外内容，各自对应不同的合规要求。我们不代替法务出具意见，但会把工程侧需要落实的动作列清楚。
《生成式人工智能服务管理暂行办法》
自 2023 年 8 月 15 日起施行。面向境内公众提供生成式服务时，涉及训练数据来源合法性、个人信息处理、内容标识与安全评估等要求，具体适用条款需按业务形态核实。
AI 生成合成内容标识相关办法
对 AI 生成的图片、音视频与文本提出标识要求，施行时间与具体条款需核实（公开信息指向 2025 年 9 月 1 日）。对外发布的 AIGC 内容，我们在流水线中预留显式标识与元数据标识字段。
GB/T 35273-2020 个人信息安全规范
处理客户名单、聊天记录、工单信息时，按必要范围收集，明确告知用途，并在知识库中做字段级脱敏与访问控制，避免把个人信息直接写入向量库。
ISO/IEC 42001:2023 与 NIST AI RMF 1.0
前者是人工智能管理体系标准，后者是 AI 风险管理框架，可作为内部治理与风险清单的参考结构。条款细节与适用性需核实，不作为认证承诺。
常见误区
五个听起来合理、做起来踩坑的判断
这些说法在立项会上经常出现，也经常让预算打水漂。逐条拆开看，背后都是可以提前验证的假设。
判断标准很简单：这个说法能不能用一批问题测出来。测不出来的，就不该写进验收条款。
误区一：知识库能消灭所有幻觉
检索能显著降低编造，但解析错误、召回缺失与模型过度补全仍会发生。正确做法是保留拒答与人工接管，并把剩余错误率测出来、写在验收口径里。
误区二：模型越大越好
参数量提升往往伴随成本与延迟上升。制度问答这类任务，中等规模模型配好检索与提示词，常常比大模型硬答更稳、更便宜。选型要按评测结果，不按榜单名次。
误区三：先买卡再想场景
硬件采购是不可逆支出。先锁场景、先跑通链路，再按实测并发与模型规模决定配置，能避免买回来的卡长期闲置，也能让预算申请有依据。
误区四：上线即结束
真实提问的分布会持续变化，资料也会过期。没有 badcase 复盘与知识维护责任人的系统，三个月后回答质量通常明显下降。
误区五：准确率等于业务价值
一个准确率不错但没人用的入口，价值为零。业务价值取决于使用频次、节省的工时、减少的错误与客户体验，这些要在上线前定义统计方式，而不是上线后再找指标。
团队与资质
把 AI 讲清楚，是一种交付能力
AI 项目里，难点往往不在调通一个接口，而是让业务方听懂边界：什么能做、什么做不到、出了问题谁接手。这需要技术判断，也需要把复杂问题讲明白的经验。
项目负责人
张鹏
湖南天枢云智科技有限公司 创始人
长期从事网络安全与云原生相关工作，2025 年起把 AI 应用落地作为公司业务方向之一，同时承担网安与 AI 课程的教学。
- CISP（2022）
- 人社部备案职业技能老师
2022
CISP 注册信息安全专业人员
安全背景让我们在知识库与私有化部署项目里，会先问数据从哪来、谁能看、日志留多久。企业 AI 的第一道门槛往往不是效果，而是数据能不能合规地进入系统。
2025
人社部备案职业技能老师 · 课程累计学员 100 余人
2025 年 6 月起开设网安与 AI 课程，累计学员 100 余人。长期给非技术岗位讲模型原理与使用边界，让我们在做需求访谈时，能把「RAG」「微调」翻译成业务方听得懂的话。
交付
先讲边界，再谈效果
每个项目启动时都会先确认三件事：哪些问题系统可以不回答、哪些操作必须人工确认、出错时由谁在多久内响应。这三件事写清楚，后面的评测才有意义。
个人资质不等同于公司独立客户案例。以上证书、任职与教学经历归属于张鹏本人，作为专业能力说明，不构成对项目结果的承诺；具体人员配置、交付范围与指标以合同约定为准。
常见问题
企业 AI 落地高频 12 问
答案尽量给结论和判断依据，不绕弯。若你的场景不在其中，可以直接把问题发给我们，通常当天回复。
RAG 和微调怎么选？
知识经常更新、来源可枚举的场景优先选 RAG；需要改变模型说话风格、输出格式或固定领域判断时再考虑微调。多数企业项目先用 RAG 解决可追溯问答，把微调留到有稳定标注数据之后，两者也可以叠加使用。
大模型私有化部署需要什么配置？
要看模型参数量与并发。7B 级模型做量化推理通常需要单张 24GB 显存起步，14B 级建议 48GB 以上，70B 级需要多卡或高显存机型；再按并发与上下文长度预留显存和内存。正式采购前我们会先做一次压力测试，配置以实测为准。
企业数据会不会被用于模型训练？
这取决于所用模型服务。调用第三方 API 时，数据处理条款由服务商协议约定，需逐条确认是否用于训练；选择私有化部署或专有实例时，数据留在企业自己的环境内，不进入公共训练语料。合同中会写明数据用途与删除方式。
企业知识库怎么搭建，周期多久？
标准链路是文档解析、文本切片、向量化入库、相似度检索与重排、拼接上下文生成答案。资料齐备的情况下，一个部门级知识库的 POC 通常 2–4 周可演示，正式上线还要加上权限、评测与运维，整体按 2–3 个月排期。
智能客服会取代人工客服吗？
不会。智能客服承担重复性、知识型问题，复杂投诉、情绪安抚与需要权限操作的部分仍由人工处理。系统的价值在于把人从重复问答里释放出来，并用人工接管率衡量边界是否合理，而不是把坐席全部撤掉。
大模型幻觉怎么解决？
幻觉主要来自训练知识过期、上下文缺失和生成时的过度补全。常见做法是检索约束（答案限定在召回片段内）、强制引用出处、以及设置置信度阈值触发拒答或转人工。目标是把不可控的编造压到可测范围内，而不是宣称完全没有幻觉。
企业知识库和智能客服大概多少钱？
知识库类项目参考区间为 8–25 万，智能客服为 6–18 万，具体取决于知识范围、系统对接数量与是否需要私有化。若先做场景诊断与 POC，通常 3–8 万即可拿到可评测的样机，再决定是否进入实施。价格以合同约定为准。
POC 和直接上线怎么选？
场景清楚、知识范围可控、有业务方愿意标注评测集时，可以直接排实施计划；场景模糊、数据质量未知或内部意见不统一时，先做 2–4 周 POC 更稳妥。POC 的产出是一份带指标的评测结论，用来决定继续、调整还是停止。
开源模型和闭源 API 怎么选？
数据不能出内网、调用量稳定且长期成本敏感时，倾向私有化部署开源模型；追求效果快速验证、调用量波动大时，先用闭源 API 做 POC。实践中常见组合是闭源 API 打样、开源模型承接高频稳定流量，通过模型网关切换。
知识库切片长度怎么设？
切片没有通用数值。制度、合同类长文档适合 400–800 字并保留章节标题；FAQ、产品参数适合按问答对或表格行切；代码与技术手册可按函数或小节切。切片后要保留来源与层级元数据，再用评测集验证召回效果并迭代。
召回率怎么算，多少算达标？
召回率等于检索结果中包含正确证据的提问数除以总提问数，通常用业务方标注的评测集统计，并同时看 Top-3 与 Top-5。达标线由项目约定，没有行业统一值；我们会在 POC 阶段先测基线，再约定提升目标与复测方式。
你们在湘西，外地项目怎么做？
以远程协作为主、关键节点到场。需求盘点、数据体检、POC 演示与评测复盘都可以线上完成，涉及内网部署、安全评审或验收汇报时安排现场。合同里会写明到场次数与差旅计算方式，避免后期争议。
更新日期：2026-11-10 · 作者：张鹏（CISP 2022）
联系咨询
把你的场景说具体一点，我们给判断
表单信息只在当前页面生成需求摘要，不会存储。提交后可通过电话或微信补充资料，我们会回传《需求清单模板》与初步可行性判断。
想先自己看明白？读《企业 AI 落地入门：从场景到验收》，从概念、链路到验收口径一次讲完。