既能当平衡车踩,又可以像《星球大战》 BB8 一样自动跟随“主人”,“混血儿”路萌(Loomo)是一个非典型的消费机器人产品。
路萌有着平衡车的外形,以及机器人的“大脑”。当大多数消费级机器人还只能在室内充当故事机时,路萌已经可以跑在户外,并且自动跟着使用者。
这个机器人出自“赛格威机器人”之手,后者是是赛格威-纳恩博集团创立于 2015 年的机器人业务。通过将平衡车、计算机视觉技术和机器人技术相结合,赛格威创造了一个“另类”的消费级机器人产品。
自主跟随是这个“另类”机器人最吸引人的功能。基于多个摄像头、计算机视觉以及英特尔的 RealSense 模块,路萌机器人能快速识别用户特征、姿态和地理位置,跟随用户前进,并在跟随期间自动避障。
在实现自主跟随这个功能过程中,赛格威机器人视觉组借助了当下流行的深度学习开源框架 TensorFlow。
“跟踪使用者(Follow me)功能本质是一个视频目标检测和跟踪问题,传统方法基于相关滤波实现。”赛格威机器人资深算法工程师薛舟对 PingWest 品玩表示。毕业于瑞士联邦理工(洛桑)的薛舟,在 2018 年 4 月加入赛格威后,主要负责摄像头相关的算法工作,比如路萌上的视觉传感器(鱼眼相机、RGB 相机和深度相机)。
相关滤波跟踪算法的实现路径是建立一个相关滤波器,使其与目标的相关响应最大。“我们会选定需要跟踪的图像块,经过特征提取、变换和相关滤波器相乘等一系列操作后,输出最大响应。响应最大位置即为这一帧中跟踪目标的位置。”薛舟解释道。
这种方法的优势是运算速度快,但很容易受到环境和目标变化的影响。“光照变化比较明显、目标经过遮挡再次出现、背景和跟踪前景有较多相似地方等情况,都会导致这种方法失效”。
为了提高目标跟踪的稳定性和鲁棒性,薛舟所在的赛格威视觉组想到了深度学习方法。
通常,大多数团队开始引入深度学习方法,都会借用一个深度学习框架,以降低开发成本,把精力集中在业务问题上,而不必过多关注底层技术。
在现有的几个深度学习框架中,赛格威视觉组选择了 TensorFlow。薛舟说:“综合来看,TensorFlow 最符合我们需求。比如,前期做原型时,效率会比其他框架高。并且,TensorFlow 有 Lite 版本,在部署时更有优势。”
基于 TensorFlow 深度学习框架,赛格威视觉组使用”Detect to Track”方法来弥补相关滤波的不足。
“我们先做目标(人体)的检测,然后再做目标跟踪,并且多个线程运行,隔几帧就会重新做一次目标检测和特征提取。采用新的方法后,目标在走动过程中转身、光照大幅度变化、发生遮挡、前景背景混淆等情况下,路萌都能第一时间重新找回被跟踪的目标。”薛舟告诉 PingWest 品玩。
基于深度学习的实现路径中,有几个关键点,比如检测目标、提取目标特征,都需要深度学习来实现。薛舟表示:“TensorFlow 在这些环节提供了很多帮助。”
利用 TensorFlow 训练完深度学习模型后,赛格威机器人视觉组还需解决部署的问题。路萌作为一个移动的机器人,会面临许多不确定因素,比如没有网络、电量不足。
“我们很多应用场景都是在移动端的,TensorFlow Lite 能很好满足我们的需求。”薛舟解释道。TensorFlow Lite 是 Google 于 2017 年 11 月专门针对移动端和物联网领域、发布的轻量级深度学习框架。它以轻量、低延迟、耗电少、支持移动端硬件加速等优势,被很多团队应用于移动端部署。
像 BB8 一样充满未来感的路萌,不是实验室里造价高昂的原型,而是消费者可以买到的产品——2018 年 9 月,路萌在京东发售,定价 9988 元。
路萌的成功量产开卖,不仅是消费机器人走向市场的探索,也是机器学习商业化落地的一次有益的尝试。机器学习早已不只是象牙塔里的论文,借助 TensorFlow 这一类开源工具,开发者和团队在业务中采用机器学习的门槛已经大大降低。
在真实的商业应用领域,机器学习如何助力企业成长,才是当前人工智能业界最重要的课题之一。
2019 世界人工智能大会 TensorFlow“智在,启无限”主题论坛将于 2019 年 8 月 30 日在上海世博中心举办,届时将邀请到以下重量级演讲嘉宾参与到论坛,与大家探讨机器学习在产品层面的突破、商业领域的应用、以及文化和艺术领域的创新。他们是怎么看待机器学习的,他们对机器学习的未来又有哪些期许与展望?快来认识一下吧!
TensorFlow产品团队豪华阵容:
重量级圆桌论坛嘉宾:
创意迸发的开发者们:
以上嘉宾将在8月30日与大家见面!扫描二维码或点击这里,马上报名!
0 条评论
请「登录」后评论