Stage-2 · 四模型错误类型分析

同批 50 个事件级视频窗口 · 人工同时审核物体、动作顺序和 segment 边界
返回四模型逐案对照
现有 Stage‑2 · AWQ
17/50 严格准确
结构/时间 50/50
推理中位 19.9 秒 · 平均 28.5 秒
Qwen3.8 · AWQ
21/50 严格准确
结构/时间 50/50
推理中位 126.6 秒 · 平均 160.6 秒
Qwen3.8 · BF16
21/50 严格准确
结构/时间 50/50
推理中位 174.1 秒 · 平均 227.8 秒
Flash‑Next
28/50 严格准确
结构/时间 46/50
推理中位 131.4 秒 · 平均 136.2 秒
准确率按事件窗口计票；一个主要 segment 出现实质错误，整个窗口就判不准确。结构/时间合规另计。耗时按每窗请求统计，长度重试相加，不含模型加载。以下类别可能重叠，示例用于说明现象，不是每类错误的完整计数。

总体分布

12/50
四模型都不准确
8/50
四模型都准确
6
仅 Flash-Next 准确
2
仅基础 AWQ 准确

共性错误类型

推断了未见的完成结果

把仍在手中或只进行了一半的动作，写成已经放下、丢弃、装好或完成。四种模型都出现。

  • 案例 09
    毛巾未见松手，却被写成已放到台面。
  • 案例 24
    面条分装可见，丢弃包装袋的结果没有画面证据。
  • 案例 43
    末尾虚构把药包塞进地面开口。

物体认错或说得过于具体

难辨类别被强行命名，或者把同一画面中的近似物体、容器认错。

  • 案例 19
    绿色辣椒被写成黄瓜；四模型都判不准确。
  • 案例 30
    不明黄色食材被确定为土豆。
  • 案例 47
    厨房电器或木质置物架的类别认错。

长窗口漏掉后续交互

前半段说对了，后半段物体切换、抽屉接触或最后一个动作未覆盖。

  • 案例 01
    四模型都漏掉末尾水槽滤网交互。
  • 案例 25
    末尾下层抽屉的接触被忽略或处理不足。

多物体与同类实例串台

把交替操作的物件合并成一个，或把两件相似物体当成同一件。

  • 案例 04
    前三模型合并了桌面上的多个彩色小物件；Flash-Next 判对。
  • 案例 05
    黑色粉扑和米色粉扑的时序或实例关系被混淆。

动作时间或方向错位

动作本身可见，但描述放在错误时间，或把“取出”说成“放入”。

  • 案例 34
    前段空手，却被部分模型写成已经持物。
  • 案例 44
    衣架实际从衣领抽出，输出增加了穿入动作。

字段与时间协议不合格

这类错误独立于语义判断；本批 Flash-Next 有 4 个窗口未通过结构/时间检查。

  • 案例 11
    一个 segment 的结束时间超出视频窗口。
  • 案例 13
    负的起始时间。
  • 案例 39
    segment 缺少 interacted_object；案例 42 使用了不合规的分秒时间格式。

各模型的差别与取舍

现有 Stage-2 AWQ：速度最高，覆盖较弱

中位 19.9 秒、平均 28.5 秒，结构/时间 50/50；在案例 17、45 是唯一准确的模型。整体 17/50，较容易漏掉窗口末尾交互、合并不同物件。

Qwen3.8 AWQ xhigh：改善部分动作链，也会退步

相对基础版，有 9 个窗口由未准确转为准确，5 个窗口反向变化。对部分物体切换与操作顺序更好，但仍会添加未证实的放置或丢弃结果；中位 126.6 秒、平均 160.6 秒。

Qwen3.8 BF16 xhigh：本样本没有总体收益

与 AWQ xhigh 同为 21/50，双方各有 4 个独有的准确窗口。BF16 平均耗时 227.8 秒，为四者最高；不能根据这 50 条认定更高精度稳定改善了标注质量。

Flash-Next xhigh：最好的整体分数，协议风险最高

28/50；案例 4、7、20、21、34、38 在其余三模型都错时判对。结构/时间只有 46/50，案例 11、13、39、42 需要额外拦截与修复。中位 131.4 秒、平均 136.2 秒。

这是固定抽样的 50 个窗口，不能外推为全量数据准确率；这里也没有测量独立的逐 segment 准确率或边界 F1。需要查看某段的四个具体输出时，请回到逐案对照页。