高效的肖像视频编辑工具：PortraitGen

PortraitGen 的核心特点

1. 多样化控制参数：用户能够自由调整人物的发型、面部表情和拍摄角度等细节，通过多参数控制轻松生成不同风格的肖像。

2. 高真实感渲染：依托多视图数据和先进的深度学习算法，PortraitGen 能够提供极高真实感的肖像效果，给用户带来逼真的视觉体验。

3. 高帧率输出：支持100 FPS的流畅渲染，能够胜任高质量输出需求的各种场景应用，确保生成的视频既流畅又清晰。

4. 开源便捷：作为一个开源项目，PortraitGen 易于集成，开发者可以在其基础上进行二次开发或根据自己的需求灵活调整功能。

项目资源

• 项目主页：USTC3DV/PortraitGen-code

• 研究论文：查看PDF

• 数据集下载：Google Drive链接

• 预训练模型下载：Google Drive链接

使用指南

环境设置

1. 创建并激活conda环境：

2. 安装Torch和TorchVision，具体安装命令请参照PyTorch的官网。

3. 安装nvdiffrast：

4. 安装EMOCA和simple-knn。

5. 安装神经特征溅射模块：

6. 下载SMPL-X 2020模型，并将其放入code/dmm_models/smplx/SMPLX2020目录中。

重建与编辑

• 下载预处理数据集并解压至./testdataset，然后运行以下命令来重建3D高斯人像：

• 使用预训练模型进行编辑：

文本驱动编辑

• 使用InstructPix2Pix进行文本驱动编辑：

图像驱动编辑

• 样式转移：

• 虚拟试穿：

重照明

• 克隆IC-Light：

• 运行重照明命令：

应用场景

• 视频创作：为视频制作人员提供丰富的素材，便于快速生成多种风格化的人物肖像视频。

• 虚拟人物设计：应用于游戏、社交媒体等领域，帮助用户打造个性化的虚拟人物形象。

• 电影和广告：使用逼真的肖像效果，为电影、广告和营销视频增添视觉吸引力。

总结