这些是供应方公布的结果，不是我们自己评估的测量。本页审查 SKY-001 与 GPT-6 Astra 在 CAD 和 BIM 构建上的基准。它把公布数字、计算结果和复现对比仍需的证据分开。模型选择和访问请阅读SKY-001 与 GPT-6 Astra 对比。
先确认正确的比较对象。
Skyfall 在 SKY-001 产品页公布了下列任务时间、任务成本和交并比，链接见主要来源。CAD 与 BIM 保持分开：它们的时间和重叠分数都不应合并成一个总排名。
| 任务 / 指标 | SKY-001 | GPT-6 Astra |
|---|---|---|
| CAD · 时间 | 3.9 秒 | 199 秒 |
| CAD · 公布的任务成本 | $0.005 | $0.75 |
| CAD · 交并比 | 79.7% | 79.1% |
| BIM · 时间 | 1.22 秒 | 144.6 秒 |
| BIM · 公布的任务成本 | $0.0024 | $0.446 |
| BIM · 交并比 | 43.6% | 40.6% |
BIM 比较对象核对：GPT-6 Astra 的交并比是 40.6%，不是 42.3%。标为最佳大语言模型的 42.3% 属于 Gemini 3.8 Flash。替换该结果会悄悄改变被比较的模型。
Skyfall 公布了什么方法？
来源列表引用的 Skyfall 介绍描述了一个 CAD 构建基准：从复杂对象中抽取 1,000 个构件，约 100 个绘图步骤，并以最终三维交并比评估。其 BIM 构建基准包含 1,000 个平面：约 350 个来自 IFC 文件的整层平面和 650 个公寓平面。序列从 20 步到超过 200 步，平均 70 步，并以最终平面交并比评估。
这是部分公开的方案，不是没有方法。它确立了任务范围和公布的评估目标，但没有确立我们能够复现完全相同的运行。Skyfall 另有由两个大语言模型进行定性盲评的组合器评估；它不应与这些构建交并比结果混合。
计算审查：比值是推导出来的，不是新测试。
用 Astra 公布的任务时间除以 SKY-001 的时间得到时间比值。成本使用同样的运算。51.0× 表示 Astra 公布的时间约为 SKY-001 的 51 倍；它不是整个工程工作流中测得的 51 倍提升。
| 任务 | 时间：Astra ÷ SKY-001 | 成本：Astra ÷ SKY-001 | 交并比：SKY-001 − Astra |
|---|---|---|---|
| CAD | 199 ÷ 3.9 ≈ 51.0× | $0.75 ÷ $0.005 ≈ 150.0× | 79.7% − 79.1% = 0.6 个百分点 |
| BIM | 144.6 ÷ 1.22 ≈ 118.5× | $0.446 ÷ $0.0024 ≈ 185.8× | 43.6% − 40.6% = 3.0 个百分点 |
四舍五入前，CAD 的时间比值是 51.0256…，按显示输入计算的成本比值恰好是 150。BIM 的时间比值是 118.5246…，成本比值是 185.8333…。这些输入可能已经被发布者四舍五入；更多小数位会暗示没有依据的测量精度。
交并比是重叠，不是工程批准。
交并比用预测结果与参考的重叠除以两者合并后的范围。公布的 CAD 差距是 0.6 个百分点，BIM 差距是 3.0 个百分点。这是百分比分数之间的绝对差，不是 0.6% 和 3% 的相对增长。
汇总分数本身不能确立统计显著性。我们没有核实每个样本的结果、重复运行的波动或置信区间。交并比也不能确立尺寸公差、约束有效性、可编辑设计意图、结构合规性或制造安全。工程验收需要适合该产物的检查，而不只是几何重叠。
可复现对比的证据清单。
已公布：来源分数和上述任务描述。已推导：我们的比值和百分点减法。此处未核实：独立复现和下列控制项。这些是证据请求，不是声称 Skyfall 省略了每一项：
- 数据集：获得确切样本、参考几何、划分、排除项，以及任何训练集重叠披露。
- 模型设置：记录模型版本、提示、推理设置、工具访问、上下文和允许的构建操作。
- 执行：说明硬件、并发、缓存、计时边界、超时、重试策略和失败处理。
- 评分：公布交并比实现、对齐和离散化选择、汇总规则以及每个样本的输出。
- 可重复性：保留运行日志，重复随机运行，并在标题平均值之外报告离散程度。
两个模型使用相同的保留任务和验收标准。如果一个系统获得额外重试、不同工具或不同的成功分母，名义上匹配的数据集也不足够。
按每个被接受产物核算成本。
来源中的美元数字是基准任务成本，不是已核实的 SKY-001 商业价格。OpenAI 公布了 Astra 的 token 定价；我们的成本与定价对比列出审阅过的费率和单位。没有 token 用量和执行细节时，不能用每百万 token 的价格替代每次构建任务的成本。
- 记录输入、缓存输入和输出用量，适用费率和账单日期，以及任何上下文长度价格档。
- 计入失败尝试、重试、外部工具、计算和付费依赖，而不是只计算成功生成。
- 单独跟踪工程师审查、修复和验证时间，再把这些成本计入运行总成本。
一个有用的核算定义是总评估支出 ÷ 通过你的验收检查的产物数量。如果没有产物通过，就不能报告有限的单件接受成本。这个分母防止廉价但不可用的输出看起来很经济。
常见解释问题。
更低的任务时间是否保证更高的生产吞吐？
不保证。排队、并发、工具执行、失败和人工审查都会改变吞吐。公布的时间比值描述的是报告的构建任务，不是你的完整流程。
这些是独立核实的 SKY-001 基准吗？
不是。基础测量和方法描述来自 Skyfall。计算是透明的，但复现测量需要一次包含上述证据的受控评估。
主要来源与后续阅读。
- Skyfall：SKY-001 基准结果 — 公布的 CAD 与 BIM 数字。
- Skyfall：Introducing SKY-001 — 厂商公布的任务和评估描述。
- OpenAI：GPT-6 Astra 模型文档 — API 能力与 token 定价。