10月14日，NVIDIA技术博客与西门子EDA（芯片设计软件部门）的工程师联合发布了一组实测数据：用NVIDIA的开源评测库NeMo Gym反复测试一个芯片设计AI代理，并改写它的技能说明和工具描述，综合验证分从约55%升到约95%，代理交互轮次从155降到53 
源1。这组数据目前只在发布方给出的这一套条件下成立。其他制程库（PDK）、其他模型、其他代理框架能否复现，原文没有给出数据，属于待核验。
这件事对谁有用
直接相关的是做芯片设计、EDA工具、AI代理开发的读者，包括在加拿大高校或企业做相关研究、准备求职或评估内部AI工具的人。非本行的读者碰到同类宣传数字时，也可以用这篇的判断方法。
原文测了什么、结果是多少
被测对象是西门子Fuse EDA AI代理里的Solido表征套件代理，任务是生成标准单元的Liberty（.lib）时序与功耗文件 源1。原文说明，每当晶圆厂更新PDK，这类文件就要为受影响的单元重新生成和验证 源1。
已发布的核心数据如下，均来自原文：
原文把这一行结果标为开发基准测试在“框架优化前后”的对比 源1。
复现条件：原文只披露了一组
读者问的“能否在其他PDK、模型或代理框架中复现”，要拆成三部分看。
| 维度 | 原文披露 | 其他条件下的数据 |
|---|---|---|
| PDK | 开源GF180MCU PDK，数据集含229个标准单元、36个PVT工况，使用Solido AFS做SPICE仿真 源1 |
原文未给出 |
| 模型 | Claude Opus 4.8，作为固定模型 源1 |
原文未给出 |
| 代理框架 | Claude Code，作为固定框架 源1 |
原文未给出 |
原文说明，Fuse代理通过MCP服务器和技能对接Claude Code、Codex、Cursor等常见编码框架 源1。这说明接口层面支持多个框架，但实测数据表里只有Claude Opus 4.8在Claude Code中的一行 源1。
另有几处细节影响对数字的解读：
- 每次调试运行只跑两个单元、36个工况，用来调优工作流，单次约1.5到2小时，总共约25次rollout 源1。
- 55%到95%是“评估rollout的平均综合分” 源1。
- 原文没有说明最终分数是否在全部229个单元上测得，也没有给出留出任务、方差或置信区间。
哪部分可以复现，哪部分待核验
原文把评测方法公开为一套流程：在版本化的任务和验证器下跑基线，检查轨迹和失败的工具调用，修改技能与MCP工具描述，在同样条件下重跑，再比较已验证结果的效率 源1。验证器的奖励公式也写明了：覆盖率、有效性、相对验证、完整性四道关卡全部通过才有分，任何一关不过奖励为零；通过后再乘以落在容差内的数值比例 源1。
NeMo Gym本身是开源库，原文提供了上手指南 源1。所以“方法可以照着做一遍”在原文里有依据。“同样的提升幅度能在别处出现”在原文里没有数据支撑。原文只写到同样的评测方法适用于EDA、CAE等工程领域 源1，这是作者的适用性说法，没有跨PDK、跨模型的对照结果。
读到这类数字时怎么判断
flowchart TD
A[拿到原文<br/>条件清单] --> B{模型和框架<br/>与原文一致?}
B -->|是| C{PDK和任务<br/>规模一致?}
B -->|否| D[先自己跑基线<br/>再比较]
C -->|是| E[可对照原文<br/>数字验证]
C -->|否| D
D --> F[数字不可直接套用<br/>按同一流程重测]
classDef step fill:#EAF2FB,stroke:#2B6CB0;
classDef judge fill:#FFF7E6,stroke:#C05621;
classDef result fill:#E6F6EC,stroke:#2F855A;
classDef risk fill:#FDECEC,stroke:#C53030;
class A,D step;
class B,C judge;
class E result;
class F risk;
图的结论：只有模型、框架、PDK和任务规模都与原文一致，原文数字才能直接当参照；任何一项不同，先重测基线。
可以带走的清单
- 把“55%到95%”读成Claude Opus 4.8、Claude Code、GF180MCU PDK这一组条件下的开发基准结果。
- 其他PDK、模型、框架上的复现情况，目前没有一手数据，写成“待核验”。
- 复现前先确认你的任务有没有可比的最终产物验证器，以及四道关卡怎么定义。
- 记录基线和改动后的轮次、输出token与综合分，在相同条件下重复多次再比较。
- 评估商用AI代理时，向供应商索要留出任务、全量单元和多次运行的结果。
- NVIDIA与西门子EDA的原文把结果限定在Claude Opus 4.8、Claude Code和GF180MCU PDK这一组开发基准条件下；评估其他商用AI代理时，可向供应商索要留出任务、全量单元和多次运行的结果。
拓展阅读
芯片设计完还要查错，ChipAgents把AI用在验证上：同版块的站内帖，同样围绕 芯片设计，往深里读接这一篇。
Anthropic与新加坡签AI安全MOU：模型评估以技术交流为主…：还是 Claude，同版块的另一篇站内帖。
Agent 365控制台：IT管理员怎么管理、审计企业里的所有AI代…：AI实战·办公与学习的长青帖，另一条线上和 AI代理 挨着的一篇。
参考资料
- NVIDIA Technical Blog，《Optimizing Agent Reliability and Tool Calling Efficiency for Chip Design Using NVIDIA NeMo Gym》，2026年10月14日：Optimizing Agent Reliability and Tool Calling Efficiency for Chip Design Using NVIDIA NeMo Gym | NVIDIA Technical Blog