Skip to content

i2v 序列中后段角色本体破碎,表现为抠图抠穿 #497

Description

@johnnyzhang-eng

现象

用户反馈抠图出问题。核下来抠图没坏,坏的是被抠的那张图:i2v 生成的序列在中后段角色本体破碎,边缘出现大量白色噪点碎屑,抠图如实地把破碎处判成背景,于是表现为「抠穿」。

证据

从 staging 库取近三天已完成任务的产物,逐张量「主体内孔洞占前景比例」(透明区里从画布边界到达不了的部分):

任务 动作 首帧 中帧 末帧
#29 walk 1.86% 17.72% 8.08%
#41 walk 1.28% 6.61% 9.93%
#43 idle 1.27% 14.15% 12.13%

74 个产物里孔洞超过 5% 的共 6 个,全部是动作帧的中段或末段,没有一个是首帧。同批 34 个母版全部正常(0.01%~3.63%)。

目视确认:坏帧的角色本体呈碎屑状,下半身有整段糊成一团、腿部消失的情况;首帧干净。

判断

同一个抠图 provider 在同一条序列里首帧正常、中帧崩坏,说明问题不在抠图。首帧来自母版,中后帧由 i2v 生成,退化发生在生成侧。

去调抠图参数会把一个不存在的问题「修」掉,同时把真问题盖住。

全帧复量

上表每条序列只抽了首中末三帧,不足以定形。改为逐帧全量(staging 全部 15 条 ≥8 帧序列,每条 32 帧),另加一列「净抠穿面积」——孔洞里颜色离底色比主体第 25 百分位还远的比例乘孔洞面积,用来区分真破口与被围住的背景:

任务 动作 首帧 孔洞最大 最大处 净抠穿最大 与帧序秩相关
#29 walk 1.86% 19.53% 帧30 10.01% +0.864
#41 walk 1.28% 13.25% 帧26 0.14% +0.559
#24 walk 0.59% 1.38% 帧16 0.00% +0.504
#43 idle 1.27% 22.87% 帧20 11.48% +0.487
#52 attack 0.85% 4.58% 帧15 0.07% +0.348
#5 idle 0.35% 2.27% 帧21 2.26% -0.020
#58 custom 0.80% 73.20% 帧9 2.06% -0.469
#51 walk 2.23% 25.27% 帧6 7.25% -0.532

(其余 7 条孔洞最大均低于 2.3%,净抠穿全为 0,略)

秩相关用秩而非皮尔逊:个别爆掉的帧会主导后者,#58 单帧顶到 73%。

三条待确认的答案

一、退化是否与帧序单调相关。 对上表前三条成立,秩相关 +0.49~+0.86,在 15 条里排第 1、2、4。但不是管线的普遍性质:15 条秩相关中位 -0.020,只有 47% 为正。「首帧干净」这条普遍成立,15 条首帧孔洞率全在 0.35%~2.23%。

更要紧的是存在坏在前段的序列。 #51 孔洞最大 25.27% 出现在帧 6、秩相关 -0.532,净抠穿 7.25% 是全语料第三高的真破口,它不在原先点名的三条里。只按「后段对前段」的斜率设闸会漏掉它。

二、现有成色读数是否可见。 孔洞率与净抠穿必须成对读,单看任一把都会判错:

  • 前端 MS2 初始骨架:目录结构、模块接口与依赖边界 #58 孔洞率 73.20% 但净抠穿 2.06% —— 逐帧看图确认是法杖挥舞的弧形拖尾把背景圈在里面,泛洪到不了,被算成一个巨大孔洞。孔洞率的假阳性,不该修。
  • 前端业务模块拆分 #41 孔洞率 13.25% 但净抠穿 0.14% —— 逐帧看图确认细碎孔洞遍布全身,是真退化。净抠穿的漏报:本条判据是「孔洞颜色离底色多远」,而交付帧底色是抠图清零后的黑,褪色掉的恰是暗部,孔洞里残留 RGB 本就接近黑,被判成「像背景」。

暗部褪色正是本 issue 的机制,所以净抠穿不能单独当闸口。可用的形态是「孔洞率高且净抠穿低」→ 送人眼分假阳性与暗部褪色,全语料筛出 1 条(#41)。

三、抽帧取窗口。 坏帧位置不集中在同一区间:#29 在帧 30、#43 在帧 20、#51 在帧 6、#58 在帧 9。从中段取周期避不开 #43,也不会命中 #51。改窗口位置解决不了这件事。

建议下一步

  1. 退化机制按「暗部随帧序褪色」定,与 前端 MS2 初始骨架:目录结构、模块接口与依赖边界 #58 那类闭合形状假阳性分开处理,两者修法不同
  2. 出口检查用孔洞率作主判据、净抠穿作假阳性过滤,不用单一阈值
  3. Windup MS2 前端架构设计 — FSD 分层与模块职责 #51 需要单独看:它坏在前段,与本 issue 的机制可能不是同一个

Metadata

Metadata

Labels

bugSomething isn't working

Type

Projects

No projects

Relationships

None yet

Development

No branches or pull requests

Issue actions