Ultralight-Digital-Human：实时支持移动设备的超轻量级数字人模型开源发布

主要功能

• 实时运行：支持在移动设备上实时生成数字人形象，适用于社交应用、游戏、虚拟现实等场景。

• 训练与推理便捷：提供详细的训练和推理步骤，用户可以快速生成自定义数字人。

• 多样化音频特征提取：支持 Wenet 和 Hubert 两种音频特征提取方式，灵活适应不同应用需求。

• 同步网络支持：可选同步网络（SyncNet），进一步提高模型表现。

应用场景

技术细节

• 高效算法优化：模型在低功耗设备上也能流畅运行，结合图像和音频输入实时合成数字人形象。

• 模型压缩与剪枝：训练和部署过程中，模型进行压缩和剪枝，去掉冗余参数以减小模型大小和计算需求，增强移动设备的适用性。

• 音频特征提取：支持 Wenet 和 Hubert，快速从音频中提取特征，减少处理时间和资源消耗。

• 优化的数据流和推理过程：模型实时处理视频和音频输入，实现即时反应的数字人表现。

创新性

注意事项

1. 数据质量：确保训练视频和音频质量良好，视频人脸清晰，音频无杂音。

2. 数据准备：需准备 3-5 分钟清晰人脸视频，帧率符合要求（Wenet 为 20fps，Hubert 为 25fps）。

3. 音频特征提取：训练前确保音频特征正确提取，避免影响训练效果。

4. 训练参数调整：适时调整学习率和批量大小，根据训练结果微调参数。

5. 训练进度监控：定期检查训练日志，确保损失值和准确率持续优化。

6. 使用预训练模型：推荐使用预训练模型作为起点，加速训练并提升效果。

项目地址