项目背景
某一线城市为提升政务服务效率，解决市民咨询"多头跑、反复问"的痛点，启动政务 AI 助手建设项目。
技术方案
- 多部门数据打通：整合 26 个政府部门、300+ 种高频业务办理规则
- 政务领域大模型微调，专业术语识别准确率 94%
- 7×24 小时在线，高峰时段并发支持 10 万+ 咨询
- 数据脱敏 + 本地化部署，满足政务数据安全合规要求
核心成果
| 指标 | 优化前 | 优化后 |
|---|---|---|
| 智能问答准确率 | — | 94% |
| 高频业务办理时长 | 基准 | 缩短至 1/3 |
| 服务时长 | 工作日 8 小时 | 7×24 小时 |
社会价值
项目上线一年来，累计服务市民超 2000 万人次，节省政务服务人力成本约 40%，被评为该市年度数字化改革优秀案例。
AI 技术实现深度解析
统一 LLM Adapter 接口（支持 OpenAI / 文心一言 / 通义千问 / Claude），配置化热切换模型。Token 用量实时监控（按用户/会话维度统计），超预算自动熔断并告警（企微机器人）。Prompt 版本管理（Git 式 diff 对比），线上回滚 < 10s。
text-embedding-3-small 生成 1536 维向量，Milvus 2.3（HNSW 索引，`ef`=200）存储 200w+ 知识片段。多路召回：向量相似度 Top-5 + BM25 关键词加权 + Cohere Rerank 重排，最终取 Top-3，准确率 92.4%。
四阶段 Prompt 链：意图识别（Few-shot × 8 示例）→ 知识检索（Top-3 向量片段）→ 上下文组装（Token 预算 6000）→ 答案生成（temperature=0.3）。支持用户反馈「点赞/点踩」闭环，低分回答自动进入人工审核队列。
会话级埋点：首 Token 延迟（P95 < 2.1s）、拒答率（6.2%）、满意度评分（平均 4.3/5）。高频无效问题聚类（DBSCAN）自动生成知识库补充建议。A/B 测试框架：不同 Prompt 版本流量按比例分配，3 天自动收敛至最优版本。
核心技术栈：
OpenAI API
LangChain
Milvus
Python 3.11
FastAPI
Vector DB
![](["\/images\/cases\/case-6.jpg"])