虚拟图像在手机端驱动,和faceunity不满意的动画应用开发VR应用的未来
前一段时间进行人脸跟踪,利用手机摄像头识别流行的社交网络faceu,贴纸或覆盖的动态美filters.faceunity,初创公司,已经不能仅仅是堆栈道具或过滤器在脸上。他们的目标是通过简单的摄像机实时跟踪和识别人脸,然后驱动虚拟图像。36氪报道,人脸跟踪和动画公司买苹果faceshift通过捕捉面部表情和映射到实时角色驱动的虚拟形象。但faceshift需要深度相机,不能应用于移动terminal.faceunity解决了这些问题。faceunity是创业的核心技术三维人脸运动捕捉和动画驱动。目前,2产品已推出,一个是移动端平台的表情捕捉的SDK开发包,它可以集成到应用程序来实现虚拟图像驱动。其他的是做一个插件,表情动作由玛雅 / 3Dmax和其他3D制作工具。
刘世俊,一个营销经理介绍,36氪,faceunity,可以使用普通的摄像头捕捉面部表情,和精度可以作为摄像机深。例如,在电影阿凡达的虚拟图像制作非常耗时耗力的。如果我们用faceunity计划,我们可以用非常简单的设备来完成电影有效。此外,faceunity打破束缚,只能用在PC端可以应用到移动端,也就是说,与faceunity模块的手机可以用来跟踪的脸驱动在实时虚拟形象。和faceshift只能驱动一张人的脸,和faceunity可同时驱动多个面孔,这为其应用带来了更多的可能性。
刘世俊向36氪介绍faceunity方案原理,实时面部动画数据通过一个单一的视频,这些数据将有助于确立一系列基本的表达,每一个用户的实时表达合成使用这些基本的表达方式,可以实现虚拟化身驱动。
此外,刘世俊还表示,在中国有几家公司正在做面技术,如人脸+ +,但他们专注于识别的面孔,而人脸识别的准确性依赖于大数据的积累。faceunity和他们之间的差异是faceunity集中在人脸跟踪、驱动和动画,即确定一个面来驱动虚拟图像。
在这个阶段,对faceunity主要客户来自游戏直播行业,因为许多游戏涉及面部表情的一部分。传统的人脸绘制方法耗时费力,行业内的客户总是希望在现场直播中使用虚拟形象,例如脸贴和道具。最早使用表达式捕获技术的是胡椒现场直播。之后,现场广播也有类似的功能,但该技术在直播的门槛很高,即使它没有一个很好的效果。根据刘世俊的介绍,对faceunity技术,Live平台客户可以在3-5天内完成道具像胡椒面。
In addition, FaceUnity has also tried other scenarios, hoping to have more applications in the VR field in the future.In the VR field, such as virtual social, it is crucial to feel the other's expression in real time.Before the evolution of VR products released by Facebook is in the direction of placing sensors and cameras in the device to capture faces. 现在在中国的一些faceunity VR硬件厂商合作,开展实时面部表情跟踪头上的显示装置。刘世俊说,该产品现在在调试阶段,比如如何将设备,如何准确度是可以接受的,和实时虚拟跟踪装置可以很快完成。
刘世俊说,faceunity的业务重点是SDK,因为SDK更可扩展多用于工业。目前,该公司的利润是由SDK技术主要授权。刘世俊说,在短期内,动画将是公司利润的主要地区,而从长远来看,公司更可能是在虚拟现实领域的利润中心。
刘世俊介绍,faceunity的人脸跟踪识别演示,赋活已经在苹果商店,36氪也经历了第一time.fu现场实时视频的实时跟踪和识别,两个功能——美容过滤器。实时跟踪和识别人的面孔,除了叠加的人脸三维动态道具,一个虚拟的图像可以实时驱动,驱动虚拟图像的面部表情基本上可以与用户的面部表情同步,但表达的变化会更小。当镜头检测到脸上或脸上只有一侧的脸检测它是不可能进行面部识别面部表情跟踪。
faceunity成立于今年3月刚刚完成了一轮融资前。在这一阶段,该公司专注于核心技术的研究和发展。大多数的faceunity团队成员毕业于清华大学和浙江大学,他们的核心成员曾在微软公司有多年从事虚拟现实技术及发展应用研究的经验。