talkingface-toolkit

框架整体介绍

checkpoints

主要保存的是训练和评估模型所需要的额外的预训练模型，在对应文件夹的README有更详细的介绍

datset

存放数据集以及数据集预处理之后的数据，详细内容见dataset里的README

saved

存放训练过程中保存的模型checkpoint, 训练过程中保存模型时自动创建

talkingface

主要功能模块，包括所有核心代码

config

根据模型和数据集名称自动生成所有模型、数据集、训练、评估等相关的配置信息 ``` config/

├── configurator.py

```

data

• dataprocess：模型特有的数据处理代码，（可以是对方仓库自己实现的音频特征提取、推理时的数据处理）。如果实现的模型有这个需求，就要建立一对应的文件
• dataset：每个模型都要重载torch.utils.data.Dataset 用于加载数据。每个模型都要有一个model_name+'_dataset.py'文件. __getitem__()方法的返回值应处理成字典类型的数据。 (核心部分) ``` data/

├── dataprocess

| ├── wav2lip_process.py

| ├── xxxx_process.py

├── dataset

| ├── wav2lip_dataset.py

| ├── xxx_dataset.py ```

evaluate

主要涉及模型评估的代码 LSE metric 需要的数据是生成的视频列表 SSIM metric 需要的数据是生成的视频和真实的视频列表

model

实现的模型的网络和对应的方法 （核心部分）

主要分三类： - audio-driven (音频驱动) - image-driven （图像驱动） - nerf-based （基于神经辐射场的方法）

``` model/

├── audiodriventalkingface

| ├── wav2lip.py

├── imagedriventalkingface

| ├── xxxx.py

├── nerfbasedtalkingface

| ├── xxxx.py

├── abstract_talkingface.py

```

properties

保存默认配置文件，包括： - 数据集配置文件 - 模型配置文件 - 通用配置文件

需要根据对应模型和数据集增加对应的配置文件，通用配置文件overall.yaml一般不做修改 ``` properties/

├── dataset

| ├── xxx.yaml

├── model

| ├── xxx.yaml

├── overall.yaml

```

quick_start

通用的启动文件，根据传入参数自动配置数据集和模型，然后训练和评估（一般不需要修改） ``` quick_start/

├── quick_start.py

```

trainer

训练、评估函数的主类。在trainer中，如果可以使用基类Trainer实现所有功能，则不需要写一个新的。如果模型训练有一些特有部分，则需要重载Trainer。需要重载部分可能主要集中于: _train_epoch(), _valid_epoch()。 重载的Trainer应该命名为：{model_name}Trainer ``` trainer/

├── trainer.py

```

utils

公用的工具类，包括s3fd人脸检测，视频抽帧、视频抽音频方法。还包括根据参数配置找对应的模型类、数据类等方法。 一般不需要修改，但可以适当添加一些必须的且相对普遍的数据处理文件。

使用方法

环境要求

• python=3.8
• torch==1.13.1+cu116（gpu版，若设备不支持cuda可以使用cpu版）
• numpy==1.20.3
• librosa==0.10.1

尽量保证上面几个包的版本一致

提供了两种配置其他环境的方法： ``` pip install -r requirements.txt

or

conda env create -f environment.yml ```

建议使用conda虚拟环境！！！

训练和评估

bash python run_talkingface.py --model=xxxx --dataset=xxxx (--other_parameters=xxxxxx)

权重文件

• LSE评估需要的权重: syncnet_v2.model 百度网盘下载
• wav2lip需要的lip expert 权重：lipsync_expert.pth 百度网下载

可选论文：

Aduio_driven talkingface

| 模型简称 | 论文 | 代码仓库 | |:--------:|:--------:|:--------:| | MakeItTalk | paper | code | | MEAD | paper | code | | RhythmicHead | paper | code | | PC-AVS | paper | code | | EVP | paper | code | | LSP | paper | code | | EAMM | paper | code | | DiffTalk | paper | code | | TalkLip | paper | code | | EmoGen | paper | code | | SadTalker | paper | code | | HyperLips | paper | code | | PHADTF | paper | code | | VideoReTalking | paper | code | |

Image_driven talkingface

| 模型简称 | 论文 | 代码仓库 | |:--------:|:--------:|:--------:| | PIRenderer | paper | code | | StyleHEAT | paper | code | | MetaPortrait | paper | code | | |

Nerf-based talkingface

| 模型简称 | 论文 | 代码仓库 | |:--------:|:--------:|:--------:| | AD-NeRF | paper | code | | GeneFace | paper | code | | DFRF | paper | code | | |

texttospeech

| 模型简称 | 论文 | 代码仓库 | |:--------:|:--------:|:--------:| | VITS | paper | code | | Glow TTS | paper | code | | FastSpeech2 | paper | code | | StyleTTS2 | paper | code | | Grad-TTS | paper | code | | FastSpeech | paper | code | | |

voice_conversion

| 模型简称 | 论文 | 代码仓库 | |:--------:|:--------:|:--------:| | StarGAN-VC | paper | code | | Emo-StarGAN | paper | code | | adaptive-VC | paper | code | | DiffVC | paper | code | | Assem-VC | paper | code | | |

作业要求

• 确保可以仅在命令行输入模型和数据集名称就可以训练、验证。（部分仓库没有提供训练代码的，可以不训练）
• 每个组都要提交一个README文件，写明完成的功能、最终实现的训练、验证截图、所使用的依赖、成员分工等。