汽车中搭载双目摄像头

提起“双目摄像头”这个名词，相信很多不了解科技产品的人都会感到陌生，属于单看后半部分认识，全部加起来就不认识了。不过说到“双目摄像头”的应用，相信很多人都不会陌生，如今很火的无人驾驶以及无人机的避障技术上，都出现了它的影子。

很多人会问，手机上也有多摄像头，它们和双目摄像头有什么区别吗？首先，双目摄像头的排列十分有讲究，必须平行排列，而不是像手机一样以美观布局为主，横竖都可以。其次在工作时，双目摄像头的工作原理就像人的双眼一样，属于协同成像的类型。

随着手机影像技术的发展，现在很多产品中出现的ToF景深摄像头，它的作用实际上与双目摄像头的功能相同，都是为了能够精准测距而采用的方案。除此之外，苹果在iPad Pro2020款上应用的LiDAR（激光雷达扫描仪）也是这一用途的硬件。

双目摄像头的优势是什么？

无人机上应用的双目摄像头

从功能划分上来看，双目摄像头所归属的类别应该是3D摄像头，与2D摄像头最大的区别是，3D摄像头除了能够获取平面图像以外，还可以获得拍摄对象的深度信息，即三维的位置及尺寸信息。

我们日常中所用到的人脸识别、手势识别、人体骨架识别、三维测量、环境感知以及三维地图重建等功能是基于3D摄像头而实现的。如果想要更简单的理解双目摄像头，那就可以把它理解为人类的双眼。

大家不妨尝试一下，闭上一只眼睛，判断周围的物品距离、高矮与双目同时观看时的差异性。这种双目立体成像的能力就是双目摄像头所期望达到的效果，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法。

扫地机器人采用的双目摄像头

石头科技在其最新产品T7 PRO中搭载了在扫地机器人品类中首发的双目摄像头系统。3D的属性加持就使得其对周围环境感知的能力相较于传统的扫地机器人产品有了新的提升。之前的扫地机器人就像一个地图扫描机，通过顶部的激光雷达扫描生成地图。

从本质上来说，一个凳子、一个鞋盒，它们在地图上标注只有长宽的差异，机器人并没有更加具体的识别能力。前面也说到了，市面上也有其他的3D摄像头技术，比如ToF或者结构光的3D摄像头产品，从产品匹配度上来说，ToF摄像头也很适合扫地机器人的应用，因为它对于景深的响应速度非常快，但是它的问题是景深计算较强但识别能力较差，对于物体的可感知分辨率较低。

手机中搭载的ToF摄像头

换句话说，ToF景深摄像头加入扫地机器人，那么可以让扫地机器人顶部的激光雷达系统负荷减轻，同时也可以做到减少对边缘的碰撞，但是它不会判断哪些物体应该绕过，哪些物体应该穿过，更难具备识别具体形态识别的能力。

比如特斯拉在汽车中应用的双目摄像头系统，不仅可以判断周围车辆的距离、车速等信息，还可以判断车辆体积以及高度，同时作为分辨人、狗、车等物体的重要硬件基矗石头科技在扫地机器人中应用这一技术，将其扫地机器人从过去的“靠撞、靠平面地图”进化为拥有自己的视觉判断。

扫地机器人中加入双目识别，改变了什么？

顶部的LDS雷达

针对双目摄像头的产品落地，钛媒体也与石头科技的技术负责人进行了沟通。据他介绍，该技术的立项已有一年多时间，由石头科技在上海的人工智能部门牵头研发，在整个系统的落地过程中主要涉及的难点有两个：一个是对于AI双目识别系统的训练、另一个则是双目立体成像与激光雷达如何相互协同。

AI双目避障系统中，双目摄像头只是基础硬件之一，在扫地机器人上还需要芯片提供算力支持，同时云端与本地还要有大量的学习数据与已知模型。算力支持方面，石头科技T7 PRO搭载了高通骁龙8核处理器APQ8053，其算力水平几乎相当于手机中采用的骁龙625 SoC，这就为其对环境和物品的识别、策略/路径选用以及功能升级提供了强有力的支持能力。

目前T7 PRO可以提供6类物品的识别，可以在App中查看对屋内的物品识别以及它所在的位置，6类物品包括体重秤、风扇底座、鞋子、插线板、线团和宠物粪便。看起来6类物品并不多，但是在其背后的数据学习数量并不小，单个物品的图片学习张数就要达到上万张。

判断物体的能力

因为一个物品的判断不仅要通过长、宽、高这些基础的物理信息，还涉及到特征的判断，比如线团，笔者之前也遇到过不少数据线缠入扫地机器人造成损坏的情况，对于线团这类物品而言，判断的指标要通过形状、粗细以及形态进行。

数据库中的训练模型既要包括各类长短、粗细的线材，同时也要有伸展、蜷缩等形态，再加上3D模型的认知建立，训练投入所需数据量很大。另外，在隐私问题上，石头科技的负责人表示，零售的产品以及用户端APP中是完全关闭了数据上行通道的，这一功能目前仅针对石头科技的工程师开放，不会造成家中的户型、布局甚至物品等数据的泄露。

双目摄像头与顶部LDS激光雷达协同工作

AI双目避障系统的加入，解决了扫地机器人在面对特殊物品时的处理能力，比如电线和插线板，在5cm处开始避障，鞋类则可以在约3cm开始避障。但在地图绘制以及清扫路线规划上，仍然需要LDS 激光雷达的帮助。

两者的协同逻辑为：AI 双目摄像头负责检测并避开视觉范围内宽大于5cm，高3cm-8cm 之间的障碍物，高于8cm障碍物由LDS雷达进行避障处理。相较于传统的单目摄像头技术，双目摄像头对物品更多的是“判断”而不是简单的1:1图像比对，对于各类障碍物的适应能力也更强。

除了将扫地机器人的清洁体验进行升级以外，双目摄像头这一硬件的加入也使得扫地机器人具备了更多的“玩法”，比如T7 PRO中可以进行实时图像传输以及远程操控，为了防止黑客直接攻入破解网络，从而获取家中信息，石头科技设置了云端+本地的双重认证方式。

面对鞋子时的避障决策

在APP中选择功能后，需要通过同时按压机器人上部的3颗按键实现授权。从整个扫地机器人产品的技术发展路线上来看，在数字地图算法、清扫策略与LDS激光雷达等硬件的应用成熟后，厂商开始选择攻破的新壁垒包括多类机器联动、AI识别能力、集尘装置等。

如果说前几年是扫地机器人的“普及期”，无论大小品牌都可以通过部署产品线轻松分得一杯羹，那么进入2019、2020年后，扫地机器人行业的竞争呈现出明显加剧态势。中低端市场不可避免地卷入价格战当中，已经有品牌开始推出市场，而中高端产品则需要解决用户在基础产品体验中遇到的实际痛点。

石头科技就是选择在技术上进行升级革新，通过改善过去扫地机器人产品的“0识别”能力，打造属于自身的技术壁垒，一方面为自己在行业中的长期发展打下基础，另一方面通过新技术吸引用户进行升级换代，实行转化。扫地机器人与高精度AI识别技术相结合的表现，将成为未来用户在选购扫地机器人的重要参考标准。（本文首发钛媒体APP，作者/邓剑云，编辑/项欧）