今年上半年团队调研 Agent 框架时，几乎所有人都被「自主规划、工具调用、反思迭代」的演示震撼。但真正落到业务里，我们发现可靠性和成本才是决定成败的因素。

确定性优先

第一个落地需求是工单智能处理。最初的方案让模型自由决定调用哪个工具，结果在 200 条测试用例上只有 78% 的路由准确率。后来把流程改成显式状态机，只在「意图分类」「参数抽取」两个点用模型判断，准确率提升到 96%，token 成本还降了 60%。

能用代码写死的逻辑，就不要交给模型。模型的价值在于处理无法穷举的自然语言输入，而不是替代控制流。

评估体系比框架重要

选型争论（LangChain 还是自研）花了两周，但真正让项目能持续迭代的是我们花三天搭的评估集：50 条真实工单、自动打分脚本、每次 prompt 变更都跑一遍。没有评估的 Agent 调优，等于蒙眼开车。

  • 先固化工作流，再逐步放开自主度，每放开一步都要有评估数据支撑。
  • 把 LLM 调用当成有延迟、有成本、会失败的外部依赖来做防御性设计。
  • 观测要打全：输入输出、token 用量、工具调用链路，缺一样都难以排障。