Methodology · 第二段 / STEP 02

建模与实例化:
第一版架构,通常是错的

没有哪套 agent 架构能一次押中。我们的做法不是赌一个,而是 按框架模板同时跑几套、用真实数据淘汰,最后把胜出的那套,定制成「你这一家」专属的执行体。

在 agent 这个领域,「凭经验选一个最优架构」是一种幻觉。

纸面上,每种 agent 模式都有它「适合」的场景:ReAct 适合需要边想边查的任务,Plan-and-Execute 适合步骤明确的长流程,Reflexion 适合容错要求高、需要自我检查的活。 这些都对——但只在 PPT 上对。一旦接上客户的真实数据和真实系统,纸面判断经常被打脸:一个理论上该用 ReAct 的任务,可能因为客户的工具接口响应太慢、上下文太长,反而是先规划后执行更稳。

所以我们承认一件事:第一版架构通常是错的,或者至少不是最好的。 承认这一点,反而让我们比「赌一个架构、然后硬调到底」的做法快得多、稳得多。

我们不押一匹马。我们让几匹马在同一条真赛道上跑一圈,再决定带谁上场。

01 · 框架模板 + 多方案择优不是 PPT 对比,是真跑真测真淘汰

第一段已经选定了候选框架的范围。到这一段,我们会按框架模板快速搭出两到三套候选架构——之所以快,是因为底层模式、脚手架、评测框架都是复用的,我们不从零造轮子。然后:

  • 用同一批真实数据评测——拿第一段采集标注好的金标准数据,让几套架构跑同一组任务,比的是准确率、稳定性、成本和延迟,不是「谁的方案讲得好听」。
  • 看坏样本,而不只看平均分——平均准确率高没用,我们重点看它在哪类输入上崩、崩得有多难看。一个会在关键场景上无声出错的架构,分数再高也淘汰。
  • 把成本算进去——同样的效果,一套方案的推理成本可能是另一套的几倍。客户最终要按月付钱,这笔账必须在选型时就算清。

02 · 四维定制让通用架构,变成「你这一家」的

胜出的架构还只是个半成品。要让它真正能在客户那里干活,我们只在四个维度上做定制——这也正是同领域 A 公司和 B 公司的 Agent 真正不同的地方:

  • 工具接口——接进它要调的系统:ERP、MES、工单、数据库、内部 API。
  • 私有知识库——灌入这家公司的制度、话术、产品手册、历史工单,让它说「行话」。
  • 记忆——让它记得住这个客户、这条产线、这个案子的上下文,而不是每次从零开始。
  • 护栏——按这家公司的规矩,定下它什么能做、什么必须停下来转人工、出错怎么留痕。

架构是复用的,模型是装进去的,这四处才是为你单独配的。这套「复用底层 + 四维定制」的打法,让我们能为每一家配出真正专属的 agent 架构,又不必每次从零造起。

CASE · 财务对账 Agent

理论上该用 ReAct,真跑下来却是 Plan-and-Execute 赢

一家连锁企业的月底对账,要在银行流水、ERP 应收、电商平台账单三方之间核对几万条记录。第一段诊断后,候选锁定在 ReAct 和 Plan-and-Execute 两套架构。

纸面上 ReAct 更灵活,能边查边核。但拿真实数据一跑,问题暴露了:对账数据量大、步骤其实高度固定,ReAct 的「边想边决定下一步」让它反复在同类记录上重复推理、成本飙高,还偶尔跳步漏核。而 Plan-and-Execute 先把对账拆成固定的几步计划再批量执行,又快又稳,可核查性也更好——出了差错,能精确定位是哪一步。

最终上场的是 Plan-and-Execute,再叠加四维定制:接进三方系统接口、灌入这家的科目对照表、给异常金额设了「超过阈值必须人工复核」的护栏。选型靠的是数据,不是直觉。

2
候选架构同台真测
更省
胜出方案推理成本显著更低
100%
5 万以上异常金额强制人工复核(护栏)