来源:DeepTech深科技

  无需打字、无需搜索表情,只需对着手机微笑,就能发出微笑表情包。

img

  同样的,对着手机皱眉,就能发出皱眉表情包。

img

  以上功能来自一款名为 C-Face 耳机的设备,它诞生于康奈尔大学华人科学家张铖的 SciFi 实验室。他近日以通讯作者身份在 UIST 2020(User Interface Software and Technology)会议上发表了这项研究,论文名为《即使戴着口罩耳机也可以跟踪面部表情》(Earphone tracks facial expressions, even with a face mask)。

img

  除张铖之外,论文第一作者还有来自北京大学、目前在康奈尔大学访问的本科生陈拓潮。

  论文表示,该耳机可通过观察脸颊轮廓,来连续跟踪面部表情,并能把表情转换为表情符号、或无声语音命令。DeepTech 联系到张铖,并就该耳机和其进行了深入交流。

  他表示,C-Face 耳机是实验室系列研究的其中一款设备。该系列研究主要探索信息的获知,如果缺乏信息,计算机就很难理解人类动机和行为。而 SciFi 实验室的长期工作,是致力于提升人机交流,但是第一步,计算机需要获取到信息。

  摄像头是获取信息的最常用手段之一,比如在室内外布置摄像头,并且摄像头必须没有遮挡,这就导致传统的 “摄像头方法” 会在某些场景中失灵。比如,在获取脸部表情时,是用摄像头直接 “捕捉” 人脸,但用户在外面时,不可能时刻脸部对着摄像头。

  而本次的 C-Face 耳机,正是一款可用于实时获取脸部信息的耳机。其原理是,由于人脸有很多肌肉,肌肉之间相互连接,脸部在做不同表情时,其他肌肉也会被牵动,嘴巴、眼睛和眉毛的位置与形状也会发生变化。基于此,经该实验室的设计后,耳机可通过比较容易捕捉到的肌肉变化来推测出面部表情。

img
图 不戴口罩时戴着耳机做表情

  由于新冠疫情的影响,研究人员只能在 9 名参与者的情况下测试耳机。尽管如此,表情符号的识别准确度仍然超过 88%,面部提示的准确度超过 85%。

img
图 戴口罩时戴着耳机做表情

  具体来说,耳机内置两个迷你摄像头,它们可以捕捉到侧面脸颊形状,并通过脸颊形状来判断你的脸部表情。因为人在执行面部特征时,面部肌肉组织就会拉伸和收缩,进而推动和拉动毛孔和皮肤,并对面部肌肉组织的紧绷产生影响,这种影响会导致脸颊轮廓发生改变。

img
图 黑色部分为摄像头

  在耳机中,摄像头可以传输数据,数据会传输到微处理器(Raspberry Pi),微处理器收集数据,并把它发到计算机上,这时深度学习算法就能开始工作。

  深度学习在耳机中的应用

  很多情况下,深度学习在数据上的效果,比传统机器学习的效果更好。本次耳机之要想实现根据侧脸和脸颊形状来推断整个面部表情,其实并不容易,因为每个人的侧脸都不一样。

  因此,就得通过深度学习来采集训练数据,具体做法是先采集到用户脸颊变化情况,并结合前置摄像头来捕捉面部表情,以标记出相对应的脸部表情。

  这相当于摄像头每一帧图片,都有一个对应的面部表情。采集到训练数据后,研究人员就能发掘出不同脸颊形状与面部表情间的复杂对应关系。

img
图 训练深度学习

  张铖表示,深度学习的好处是能通过复杂学习,来学习一些人类不擅长的技能。有的技能人类很擅长,比如一眼就能识别某些物体。但有些技能人类并不擅长,比如只根据侧面脸颊,我们很难判断出脸部全部形状。

  深度学习的能力是,可通过算法找出事物间的复杂联系,从而根据侧部面颊,准确推断出面部表情。

  具体工作时,在摄像机捕获图像后,计算机视觉和深度学习模型会对其进行重建。由于原始数据是二维的,因此卷积神经网络(一种擅长对图像进行分类、检测和检索的人工智能模型)有助于将轮廓重构为表达式。

  此外,该模型可将脸颊图像转换为 42 个面部特征点,它们分别代表受表情变化影响最大的部位,如嘴巴、眼睛、眉毛等。

  这 42 个特征点代表的面部表情,也可用于推测出 8 个表情符号,包括 “无表情”“生气” 和 “ Kissy-face”,另外还有 8 个可用于控制音乐设备的静音语音命令,如 “播放” ,“下一首” 和 “音量增大” 等。

img
图 静音语音命令

  相比传统方法用前置摄像头来识别表情,C-Face 耳机的独特优势是戴着口罩也能被耳机捕捉到表情,即摄像机无需对着人脸,只需观察从耳朵到侧面脸颊的形状就能识别表情。

  因为即使你戴着口罩(超大口罩除外),侧面脸颊形状并不会发生巨大改变,这时深度学习仍然可以工作。

img
图 带上口罩时,深度学习依然可以工作

  做个嘴型就能发出指令

  本次研究还展示了 C-Face 耳机的两大功能:无声语音识别和前文的输入表情包。

  无声语音识别指的是,一般的语音识别,都是通过声音来识别。如果不通过声音,是否也能识别?因为,假如你在开会、看电影等场合,突然说话就会很奇怪。再就是,当周围有很多噪音,即便说话也无法识别。

  而 C-Face 耳机可通过分析用户表情,来识别沉默的语音指令。这一功能的常见应用场景有,当你跑步时只需做个嘴形,相关智能设备就能以非常私密的方式,来获悉你的指令。

  另一个可以想象的应用场景是健康预测,张铖表示,未来该耳机有望连续记录表情。获得大量表情数据后,就可获知用户每天的心情状况。这样大量的情绪信息,还可帮助计算机了解用户的精神健康状况。

  两款耳机:入耳式和头戴式

  本次耳机分为两款:入耳式和头戴式,功能上它们非常类似。张铖表示,它们所属项目都叫 C-Face,该项目并不局限于某一种特定的设备,只是在本次论文中展示了入耳式耳机和头戴式耳机。

  唯一的区别是,两种耳机的摄像头位置略微不同。头戴耳机相对大一点,有较大空间放摄像头。

  谈及耳机是否可用于 VR 游戏,张铖表示,经常有人问他这个问题,而他的答案一直是 Yes or NO。

  即当然可以用在 VR 上面,但以他了解到的最新技术来说,VR 眼镜已有更好的解决方案。

  VR 眼镜本身已经很大,通过在上面加设备来捕捉人的表情,此前已经有人做过。而 C-Face 耳机的好处是它非常小,日常可以进行穿戴。因此,他觉得 VR 眼镜不一定是 C-Face 耳机最核心的爆点。

  他举例称,该实验室的耳机可以潜在地提供视频聊天功能。现在的视频聊天,都需要用户面前放置一个摄像头 (桌子上或者手举着)。

  但如果用耳机来聊天,耳机自己就能捕捉你的面部表情,你也不需要把摄像头对着脸,你的朋友时时刻刻都能看到你的脸,包括走路时、开车时、甚至做饭时都可以跟人聊天。

  解决功耗问题,就能加速落地

  谈及商业落地,张铖表示本次论文发表后,有厂商已经和他们联系讨论一些初步的合作可能性。但想在短期内实现到现有设备,最需要解决的仍然是可穿戴设备上的功耗问题。而这一难题,超出了该实验室的能力,因此需要工业界投入资金去优化功耗问题。

  目前的耳机,是研究人员买来零件组装的,摄像头可以选配,只是价钱和分辨率会有区别。在零件的选择上,他们未做过高要求,目的是让设备更快速落地成产品。

  他认为,该实验室做这款设备,更多是着眼于未来。他们做研究的目的,更多是描述研究人员眼中的未来可能性。

  张铖表示,未来的摄像头可能会变得非常小、功耗也非常低。尽管现在的耳机只是实验室设备,但是如果能耗问题得以解决,它有可能在 5 到 10 年后实现应用。

  如果想把小型摄像头利用到现有设备上,能耗是个很大的问题。因为,摄像头会耗电,处理摄像头数据也会耗电,这是该设备的最大局限性。

  就落地为产品来说,头戴式耳机短期内可能相对方便一点,因为它可以放置更大的电池。对于入耳式耳机,该实验室未来也会寻找更加低功耗的方法来解决问题。

  因为如果把摄像头装在耳机上,那么摄像头的耗电量肯定比耳机多。这种情况下,无论产品有多么酷炫,如果使用十分钟就没电了,也不会有人愿意购买。

  如果想快速推出该耳机,可能只能先实现一部分功能,因为工业界做产品都有一个提前周期,比如要想现在发布一款产品,可能两年前就得开始规划。

  与此同时,该实验室并不局限于耳机,他们关注的是 “无处不在的计算和人机交互”,未来还有可能研发出智能耳环、智能衣服,而他们的愿望就是让似乎无法智能的物体也变得智能起来。