说到机械臂，大家肯定会想到钢铁侠里面的贾维斯，钢铁侠可以通过语言和它交流，非常有意思。今天就和大家分享一个日本人工智能公司Preferred Networks的工作《Interactively Picking Real-World Objects with Unconstrained Spoken Language Instructions 》也就是通过语言交互式的命令机械臂来捡取物体，在简单环境中实现了很酷的人机交互效果。这篇paper是ICRA2018 人机交互板块的最佳论文。

听起来效果非常不错。那么这个系统是怎么实现的呢？
 
简单分解一下，大概有以下几步：
 
1）读入人类的语音信息，通过Google Chrome 的Web Speech API将语音转为文字。
 
2）输入图像和文字到一个深度学习系统当中，输出目标物体和目标位置信息。这部分是这篇文章的关键。
 
3）将目标物体和目标位置信息提供给机械臂，机械臂采用传统控制规划路径，执行整个操作。
 
所以，这个工作的核心在于图像和文字信息的处理（机器人的眼睛和耳朵），机械臂只是最终的演示机构，并不涉及太多的控制问题。
 
对于机器人的问题，能够work是最重要的。由于深度学习在CV和NLP领域上的突破，将深度学习应用到机器人问题上，解决机器人的视觉和听觉问题，就能大幅度提升机器人的应用效果了。当然，我们更喜欢的是完全端到端（End-to-End）的机器人系统，不过用深度学习来完全取代原有的控制系统还依然是比较困难的。所以我们可以发现很多ICRA会议上的paper都不是端到端的系统，而是根据需要使用深度学习技术，达到work的效果。
 
看到这个工作，其实还是很让人眼前一亮的，我们有理由期待未来更复杂更酷的机器人应用。