Facebook开发实时VR面部动画系统“Codec Avatars” 用户可与他人互动

  

 

  为了使虚拟现实(VR)体验高度可信,Facebook Reality Labs(FRL)的研究人员开发了一种名为“Codec Avatars”的系统,使VR用户能够与他人互动,同时精确地表现自己的形象实时动画。Facebook的研究科学家Shih-En Wei说:“我们的工作证明,可以精确地从紧密安装在VR头显上的摄像头制作逼真的化身。”

  研究人员配置了一个带有最少传感器的头显,用于面部捕捉,系统可以在VR中实现双向,真实的社交互动。该团队表示,VR系统可以使用最少的头显摄像头(HMC)精确跟踪用户的实时面部表情,从而以非常详细的个人形象为头像设置动画。

  通过使用每个像素比较转换后的图像,不仅仅是面部特征以及3D化身的渲染,我们可以通过可微分渲染在跟踪头显的图像和3D化身的状态之间进行精确映射。

  在映射建立后,训练神经网络从实时的最小一组摄像机图像中预测人脸参数。除了为VR中的化身设置动画外,Facebook团队还在构建系统,使人们能够通过一些图像或视频快速轻松地创建自己的头像。

  Facebook团队将在7月28日至8月1日期间在洛杉矶举行的“SIGGRAPH 2019”上展示他们的VR实时面部动画系统。

  研究人员还将展示人工智能(AI)技术。网络(GAN)执行一致的多视图图像样式转换,以自动将HMC红外图像转换为看起来像呈现的化身,但具有与VR用户相同的面部表情的图像。

新闻聚焦
热门推荐
返回列表
Ctrl+D 将本页面保存为书签,全面了解最新资讯,方便快捷。