AI Agent
工程实践案例

专注于复杂业务场景下的自主智能体系统设计,通过 RAG 增强、多代理协同及状态机流控,解决 LLM 在工业环境中的落地难题。

System Online
智能简历筛选与候选人交付系统
架构层
API 层

RESTful 接口、认证鉴权、请求校验。

数据层
Service 层

业务逻辑、流程编排、规则引擎。

执行层
AI 层

LLM 调用封装、Embedding 封装、Prompt 管理、Schema 定义。

闭环层
Data 层

ORM 模型、Repository 抽象、存储切换。

01. 背景 Context

招聘场景中简历筛选高度依赖人工,面对海量简历时效率低、标准不一致,且缺乏可解释的筛选依据和可追溯的审核记录。

02. 职责 My Role

负责整体方案设计与核心链路实现,包括筛选漏斗架构、LLM 稳定性防线与可降级策略。

03. 方案 Solution

  • A.规则前置而非后置——确定性硬条件过滤放在向量召回之前,避免召回资源浪费
  • B.双路召回 + RRF 融合——向量语义召回与关键词 BM25 召回互补,仅看排名不看绝对分数,天然归一化
  • C.LLM 解释锚定已知事实——Prompt 强制引用规则命中项与技能交集,后置校验剔除幻觉
P
Fast
R
7 阶段
筛选链路
AgentOps 内部支持助手
Automated Ops

为内部运营与交付团队构建的 AI 助手,覆盖知识检索、流程指引与工单摘要。

团队在跨系统协作时,信息分散在文档、IM 与工单平台,导致重复问答与响应时间偏长。

明显提升
检索质量
更稳定
响应效率

请求接入层

统一处理会话上下文与权限信息。

推理编排层

按任务类型分派检索、工具调用与总结步骤。

# RAG 质量评估与迭代工作台class RagQualityWorkbenchAgent:    def __init__(self, model, policy):        self.graph = StateGraph(AgentState)        self.graph.add_node("analyze", analyze_request)        self.graph.add_node("check", run_rule_checks)        # execution focus        step_1 = "设计评估样本结构与评分维度"        step_2 = "实现离线批量评测与结果对比报告"        step_3 = "推动检索配置与切片策略的迭代流程"        return self.graph.compile()
Review Gate
人工确认兜底节点
Case Study 03

RAG 质量评估与迭代工作台

面向知识问答场景的检索评估工具链,用于持续优化召回与答案可用性。

设计评估样本结构与评分维度

建立标准化评测样本,覆盖事实问答、流程问答和模糊问答

实现离线批量评测与结果对比报告

将检索参数实验结果可视化,支持版本级对比

Engineering Tech Stack

PythonLanguage
FastAPIService
ReactFrontend
PostgreSQLDatabase
RedisCache
LLMModel
EmbeddingRetrieval
Vector DatabaseDatabase