Skip to content

为什么audio_driven的推理任务中2D组件使用自己训练好的生成的图像画面就几乎静止? #213

Description

@HanksonYe

我在进行audio_driven的推理任务中发现一个问题:
如果denoising_unet, reference_unet,pose_guider这三个2D组件我使用的是我在train_stage1中训练好的版本,不论我的motion_module使用的是pretrained的motion_module.pth还是基于train_stage1 checkpoint训练好的motion_module.pth,我生成的视频几乎就是完全静止的,画面只有一些轻微的扰动。

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions