能让华为不安的TOF是什么?
但是真正在微博上互相吵架的却很少。
前两天画风是这样的:
小米:土鳖虫...……TOF,我一直在研究。请不要随便说“第一”。
华为:你看懂了吗?瞎说就行了,TOF很好(然后在你一个手机上放个广告)。
微博截图:
看完热闹,吃瓜的人表示非常满意,瓜很好吃。
那么,什么是TOF呢?
TOF是飞行时间的缩写,意思是“光,飞行时间”。
比如我们有一个手电筒,然后在月球上放一面镜子(其实月球上真的有美国登月时放的镜子)。我们打开手电筒开关,按下秒表开始计时,等待光线到达月球上的镜子,当光线回到我们眼前时,再按下秒表结束计时。所以我们知道:“光从地球飞到月球需要多长时间?”因为我们预先知道了光速,所以我们可以计算出地球和月球之间的距离。这种测量距离的方法就是TOF。
以上是对TOF的简单描述。相信你已经明白了,继续展开。如果我们只用手电筒,那么我们只能知道它离一个点有多远。
你能给我更多的力量吗?
好了,这次我们一起移动10000个手电筒,根据点形成的面,可以知道前方一个物体的大概轮廓,分辨率是10000。
你能给我更多的力量吗?
好了,这次我们把手电筒和传感器的数量增加到30万个,发现我们得到了比刚才更清晰的轮廓。但是30万个手电筒绑在一起太大了。
你能给我更多的力量吗?
好的,这一次我们用先进的半导体技术把每一个手电筒都做得极小,小到几十万个手电筒和接收光线的传感器都没有指甲那么大,最后看起来就像一个可以塞进手机的物体。考虑到实用性,我们这次发射的是不可见光——红外线。
这是现在手机上的TOF
目前搭载TOF技术的手机不在少数,类似于大名鼎鼎的iPhone的FaceID,微软xbox的kinect,英特尔的3d real sense技术。
前面讨论了TOF的原理,所以我们可以看到TOF也是用来“检测”具有深度信息的真实轮廓的,就像iPhone的真实深度在深度识别相机中的作用一样,我们可以知道相机前面的立方体和长方形的区别。
那么深度识别能做什么呢?
我们来看看目前的主流应用:
手机刚有人脸识别功能的时候,用的是图像识别,也就是用一些算法来比较系统存储的照片和前置摄像头拍的照片是不是同一个人。这种方法最大的问题是很容易用一张照片“骗”。
所以当谈到iPhone X时,苹果提出了Face ID的概念。
就是利用一种类似于TOF结构光的技术来探测摄像头前人脸的深度轮廓信息:哪里是凹的,哪里是凸的。在当时,这是一项令人惊叹的技术,因为它不仅实现了更安全的人脸识别,还首次为摄像头增加了一个维度。
苹果的Face ID和TOF哪个更好还没有定论,但当时FaceID使用的结构光技术更成熟,因为苹果的技术被收购了,而被收购的公司早在2013年就展出了TOF样品,所以有理由推测苹果最终选择了更成熟的结构光技术。
背景虚化功能在安卓手机上实现的比较早,但是对人的边缘声音的“抠图”处理总是让人感觉像是在做戏。毕竟如果不知道眼前人的立体信息,抠图也只能是photoshop之类的一张图片的抠图。如果遇到背景凌乱的复杂场景,就无能为力了。
苹果拥有结构光立体识别后,在使用前置摄像头时可以获得“轮廓信息”,然后可以构建更准确自然的抠图蒙版,实现更接近真实大光圈镜头的背景虚化效果。当然,对于iPhone来说,这是前置摄像头的实现,而后置摄像头采用了另一种技术来获取深度信息,但是精度差很多。
人脸跟踪,这是iPhone最先推出的一个功能:实时轮廓识别+图像识别,检测人脸几十块肌肉的动作,并映射到动画小人模型上,实现实时表情跟踪;
动作识别,微软早就给自家的游戏机xbox提供了体感套件——Kinect。而且目前已经迭代过了。通过对玩家肢体动作的识别和跟踪,可以实现非常有趣的游戏模式和交互方式,比如打棒球、切水果等。
有意思的是,第一代Kinect的原理和iPhone的结构光原理很像,而且据说下一代Kinect会采用t of技术。
AR增强现实
AR是增强现实,与VR虚拟现实不同的是,AR在识别真实场景的基础上,在真实场景中加入虚拟元素,达到交互效果。VR不是让你看到真实的世界,完全通过显示手段(屏幕)展示纯虚拟的内容。
AR的代表产品是微软的HoloLens:
VR的代表产品是Oculus Rift:
由于AR首先需要识别真实世界,在这种场景下,TOF等技术将变得不可或缺。
在简单介绍了TOF及其目前的应用之后,希望可以帮助你对这些技术有一个大概的印象。那么TOF的未来在哪里?让我简单地扩展一下:
目前,结构光技术和TOF技术在轮廓识别方面还不是很准确,相信在不久的将来这可以提高几个数量级(30万像素到300万像素)。那样的话,Animoji就可以不再像表情一样幼稚,甚至可以实时与3D建模进行高精度联动。
参考:阿丽塔战斗天使的建模与跟踪技术
目前手机上TOF功率有限,覆盖范围还是比较有限的,一般不超过1米。如果这个能提升一个数量级到10米,那么应用场景会变得非常有趣。即使以现在的水平,我预测在未来1-3年内,所有手机都会在后置摄像头模块上增加一个TOF镜头,包括iPhone。
TOF和传统相机都属于传感器的范畴。此外,还有许多传感器,如气压传感器,有害气体传感器,陀螺仪,磁场传感器和光传感器...
如果再抽象一层,这些传感器就是手机cpu和npu的数据源。拿到数据后,下一步要做什么。
而TOF在手机上增加了一个看世界的维度,大大扩展和完善了数据源的信息。有了深度/轮廓/空间分布信息,结合手机已经普遍优化的深度学习功能,可以产生很多以前难以实现的功能,比如:根据面部肌肉识别一个人的情绪,根据前置摄像头+深度信息识别判断一个人的健康状况(肤色、皮肤纹理),识别走路姿势。
TOF开了个好头。