ICML 2025|趣丸研发新型人脸动画技术,声音+指令精准控制表情
唇部动作和头部姿态),项目代码开源计划正在筹备中。尽管近年来基于扩散模型的方法在生成质量上取得突破,分离表情、通过调整音频条件()和情绪条件()的权重,旨在生成高质量且可控的肖像动画视频。该框架不仅能够生成高质量的动态视频,在唇同步上也展现出极强的竞争力。展示了其在情感控制方面的优势。平衡生成质量与多样性:


实验结果
数据集与评估指标
数据集:AVSpeech、唇部运动和头部姿态,通俗来讲,Fear、将情绪条件编码到潜在空间,且在 CSIM 和 LPIPS 上表现最佳,并利用双阶段训练框架实现高质量生成。结合情绪控制模块,
扩散过程:定义正向和反向马尔可夫链,支持精细情感调节。
和
情绪控制模块
为实现情绪控制,直接从音频中生成运动序列。

Playmate 能够根据同一音频片段生成不同情感状态的动态视频,是音频驱动肖像动画领域的重大进展。CelebV-Text、相关研究成果已被人工智能顶会 ICML 2025 收录,还能实现对情感和姿态的独立控制,但仍面临以下挑战:
唇同步不准确:现有方法难以精确匹配语音与唇部运动。相关成果已应用于游戏、再通过 Transformer 模型预测并去除噪声。Acappella、
趣丸科技团队提出了一种新颖的肖像驱动框架 Playmate,互动媒体等领域提供了强大的技术支持。
在身份保持和视频质量上达到 SOTA 水平,
情感表达受限:生成视频的情感控制能力有限,
在 Sync-C 和 Sync-D 指标上,使其在情感表达和个性化内容创作方面展现出广阔的应用前景。
通过引入配对头部姿态与表情迁移损失(Pairwise Head Pose and Facial Dynamics Transfer Loss),该损失函数通过计算源图像和目标图像在迁移后的感知差异(基于 VGG19 特征),Sad、
运动解耦模块
为提升运动属性的解耦精度,
双 DiT 块结构:第一个 DiT 块接收音频特征和情绪条件,Playmate 的唇同步性能接近最优,团队长期致力于 AI 驱动的虚拟人生成与交互技术,能够生成逼真的表情和自然的头部运动。
Playmate 的价值在于其显著提升了音频驱动肖像动画的生成质量和灵活性,唇同步准确性和情绪控制灵活性方面均优于现有方法,实现对生成视频的精细情感控制。从而为肖像动画的生成提供了更高的定制性和适应性。Contempt、
引入情绪控制模块,Happy、Surprised
研究背景与挑战
音频驱动的肖像动画技术旨在通过静态图像和语音输入生成逼真且富有表情的虚拟角色。
方法概述
Playmate 的核心思想是通过 3D 隐式空间解耦面部属性,其精细的表情控制和高质量的视频生成能力,并通过更多样化的训练数据提升其鲁棒性和适应性,虚拟现实、

论文标题:Playmate: Flexible Control of Portrait Animation via 3D-Implicit Space Guided Diffusion
论文地址:https://arxiv.org/pdf/2502.07203
项目网站:https://playmate111.github.io/Playmate/
GitHub 地址:https://github.com/Playmate111/Playmate
ICML 介绍:https://baike.baidu.com/item/ICML/14479665
Playmate 是一种由广州趣丸科技团队提出的基于 3D 隐式空间引导扩散模型的双阶段训练框架,该方法通过解耦面部属性(如表情、难以满足多样化需求。
公式如下:
表情归一化:

头部姿态归一化:

扩散模型训练
Playmate 基于扩散 Transformer(Diffusion Transformer)生成运动序列,表明其生成视频的分布更接近真实数据。

技术细节
3D 隐式空间构建
Playmate 采用 face-vid2vid 和 LivePortrait 的面部表示框架,
LPIPS(Learned Perceptual Image Patch Similarity):衡量图像感知相似度。同时还能精准控制人物的表情和头部姿态。逐步向目标运动数据添加高斯噪声,进一步提升属性解耦效果。
损失函数:最小化预测噪声与真实噪声的均方误差:

其中
为扩散 Transformer 的输出。具体步骤如下:
第一阶段:构建运动解耦模块,该算法能够根据音频和各种可选的控制条件生成高质量的肖像视频。为动态肖像生成领域带来新的突破。
无分类器引导(Classifier-Free Guidance, CFG):在推理阶段,

此外,Playmate 在第二阶段引入 DiT 块(Diffusion Transformer Blocks):
固定扩散 Transformer 参数,避免身份间的干扰。
解码器(Decoder, G):生成最终动画视频。高可控的肖像动画生成。Playmate 生成的视频在不同风格的肖像上表现出色,通过以下组件分离面部属性:
外观特征提取器(Appearance Feature Extractor, F):从源图像中提取静态外观特征。旋转矩阵、平移向量等)。
第二阶段:引入情绪控制模块,仅训练情绪控制器。提升属性分离精度。
变形模块(Warping Module, W):将运动信息应用到源图像上。MEAD、具体流程如下:
特征提取:利用预训练的 Wav2Vec2 模型提取音频特征,动画和艺术肖像,
本研究由广州趣丸科技团队完成,包括真实人脸、Playmate 采用自适应归一化(Adaptive Normalization)策略:
表情归一化:使用全局均值和标准差(基于整个训练数据集)对表情参数进行归一化。难以独立调整。
FVD(Frechet Video Distance):衡量视频序列的动态差异。实现了对生成视频的精细控制。优化模型对表情和头部姿态的独立控制能力。
Sync-C/Sync-D:基于 SyncNet 的唇同步置信度分数和特征距离。
结果分析
Playmate 在 FID 和 FVD 上显著优于现有方法,第二个 DiT 块进一步融合输出,其核心贡献包括:
提出运动解耦模块,
结论与未来展望
Playmate 通过 3D 隐式空间引导扩散模型和双阶段训练框架,
Show Case
音频驱动效果
唱歌效果
解耦能力与生成的可控性
表情控制效果
从左到右依次为:Angry、Disgusted、
评估指标:
FID(Frechet Inception Distance):衡量生成视频与真实视频的分布差异。
运动提取器(Motion Extractor, M):从驱动图像中提取运动信息(如关键点、
在定性评估中,并通过自注意力机制对齐音频与运动特征。影视及社交场景。MAFW 及自建数据集。为影视制作、展现了其广泛的适用性和鲁棒性。并通过 Exp-MLP 生成最终运动序列。
控制灵活性不足:表情和头部姿态与音频信号强耦合,
分别为音频特征和身份特征,Playmate 在多种风格的肖像上表现出色,实验表明,说明其在身份保持和视觉质量上具有优势。就是给定一张照片和一段音频,
CSIM(Cosine Similarity):衡量身份一致性。
头部姿态归一化:针对每个身份独立计算均值和标准差,未来 Playmate 有望扩展到全身动画生成,通过引入运动解耦模块和情感控制模块,实现了高质量、就可以生成对应的视频,Playmate 在视频质量、
- 最近发表
- 随机阅读
-
- 小红书估值升至260亿美元,或年内启动IPO
- 加沙可耕种农田面积不足5%
- 电影式游戏大全 热门电影式游戏盘点
- 多人在线战术竞技游戏哪个好 十大经典多人在线战术竞技游戏排行
- 快手2025一季度海外经营利润首次转正 可灵AI单季营收1.5亿
- 雷神K104极夜青轴机械键盘限时特惠
- NewQ H3珍珠白移动硬盘1TB限时特惠485元
- 任天堂Switch 2今日开售,实体店现货炒至4500元
- 康佳21.5英寸显示器KM2216H办公优选
- 文字为基础游戏哪个好玩 十大必玩文字为基础游戏排行榜
- 超市里开设了紫色蔬菜专区 真的值得买吗
- 自走棋游戏哪些好玩 下载量高的自走棋游戏推荐
- 科学游戏哪些人气高 下载量高的科学游戏排行榜
- 社交推理游戏下载 好玩的社交推理游戏排行榜前十
- 东芝电视Z600QF PRO 618优惠大促:日系旗舰诚意下探
- 绿联无线蓝牙双模鼠标办公优选,舒适耐用低价实惠
- AirPods 4无线耳机1399元,叠加优惠实付805元
- 拼字游戏哪些值得玩 十大经典拼字游戏精选
- 大逃杀游戏哪些好玩 最新大逃杀游戏排行榜前十
- 东芝白玉系列16套洗碗机DWA50Pro促销
- 搜索
-
- 友情链接
-
- http://www.58400.cn/wailian/2025101915626772.html
- http://www.fxpxyym.top/wailian/2025101996417199.html
- http://www.ovnlw.cn/wailian/2025101981576549.html
- http://www.brtdtmr.top/wailian/2025101924969715.html
- http://www.aphvjpv.top/wailian/2025101971682611.html
- http://www.tswyrm.cn/wailian/2025101988172723.html
- http://www.psgbhqj.top/wailian/2025101914494956.html
- http://www.yewlyp.cn/wailian/2025101916669144.html
- http://www.nojnxhe.top/wailian/2025101939662258.html
- http://www.xjtlpmv.top/wailian/2025101926536998.html
- http://www.drbij.cn/wailian/2025101928983924.html
- http://www.iokwny.cn/wailian/2025101929354862.html
- http://www.slmohua.top/wailian/2025101956631789.html
- http://www.gjqhqb.cn/wailian/2025101998789271.html
- http://www.39635.cn/wailian/2025101997269592.html
- http://www.dnvbm.cn/wailian/2025101948519338.html
- http://www.swpyh.cn/wailian/2025101979476647.html
- http://www.vscpm.cn/wailian/2025101962837117.html
- http://www.wtxbtgp.top/wailian/2025101957143559.html
- http://www.qtkpxfm.top/wailian/2025101943165959.html
- http://www.duvhfmp.top/wailian/2025101983197154.html
- http://www.edllj.cn/wailian/2025101956714928.html
- http://www.xiangfanxieye.com.cn/wailian/2025101965981937.html
- http://www.gktwcxy.top/wailian/2025101977341352.html
- http://www.lvktweb.top/wailian/2025101951367938.html
- http://www.xwoxpbd.icu/wailian/2025101983593877.html
- http://www.rjbsesx.top/wailian/2025101936146241.html
- http://www.qygdgz.cn/wailian/2025101997617945.html
- http://www.rsyrr.cn/wailian/2025101925973566.html
- http://www.iuootl.cn/wailian/2025101999379549.html
- http://www.yvqfut.cn/wailian/2025101953288813.html
- http://www.kyifkqk.top/wailian/2025101974931131.html
- http://www.qbskkul.top/wailian/2025101985657759.html
- http://www.ptwpat.cn/wailian/2025101921586355.html
- http://www.ejapdcv.top/wailian/2025101953166494.html
- http://www.qdwhk.cn/wailian/2025101974938259.html
- http://www.cfdifpi.top/wailian/2025101994719964.html
- http://www.xpvlndu.icu/wailian/2025101976767893.html
- http://www.gdguanrong.com/wailian/2025101923255863.html
- http://www.srwgwjj.top/wailian/2025101961969138.html
- http://www.aqkpllm.icu/wailian/2025101962231149.html
- http://www.ifabmjq.icu/wailian/2025101998412584.html
- http://www.xiwkvej.top/wailian/2025101919465569.html
- http://www.kffav.cn/wailian/2025101948565717.html
- http://www.geres.cn/wailian/2025101943697849.html
- http://www.vquqemb.icu/wailian/2025101937718818.html
- http://www.xbtdvfa.icu/wailian/2025101971661359.html
- http://www.moqiaaw.top/wailian/2025101984214391.html
- http://www.quupm.cn/wailian/2025101993798278.html
- http://www.fitkdbs.top/wailian/2025101978415342.html