*转载文章不代表本站观点。

本文来自微信公众号“数据实战派”（gh_ff93f845912e）作者：张雨嘉

虽然人工智能（AI）智能代理越来越擅长与人类进行沟通，但它们在语言的某些方面仍有待提高，比如复杂的语义。语义学包含在语言学领域中，它涉及与特定单词相关的含义或不同概念之间的逻辑联系。

几年前，艾伦人工智能研究所（Allen Institute for AI）的研究人员开发了一款名为 Iconary 的游戏，旨在提高人工智能技术的沟通交互能力，并在不同物体之间建立联系。最近在 arXiv 上预发表和去年 ENMLP 会议上发表的论文中，研究人员提出了更高级的游戏版本，训练机器学习算法来相互或与人类玩家对抗。

论文题为：Iconary: a Pictionary-based game for testing multimodal communication with drawings and text.

数据集、代码和评估设置见链接：https://github.com/allenai/iconary

研究人员之一的 Christopher Clark 介绍：“论文基于训练模型玩 Iconary 游戏的 AI2 项目，Iconary 是我们开发的一款类似你画我猜的游戏，玩家需要猜测另一个玩家在画什么。几年前我们就开始着手该项目，但论文直到最近才发表。论文中使用了现代机器学习方法，以实现更具挑战性的游戏版本。”

这项研究的总体目标是开发一款可以作为人工智能智能代理测试平台的游戏，类似于研究人员过去使用的围棋和象棋游戏。不同的是，研究人员不是创造一个让玩家相互竞争的游戏，而是想要提高人工智能代理与人类合作和理解视觉沟通（即图像和绘画）的能力。

Iconary 类似于著名的“你画我猜（Pictionary）”游戏，玩家需要通过绘画传达特定的物体或想法，而其他玩家则要猜出画的是什么。Clark和他同事开发的游戏与 Pictionary 的原理类似，其中一个玩家被称为“猜测者（guesser）”，需要猜出另一个“绘画者（drawer）”玩家在画什么。

一开始，绘画者会看到一个简短的短语（比如“拿着一本教科书”），然后通过在画布上绘画并合理排列图形来表示这个短语。当绘画完成后，猜测者就可以看到图画并尝试猜测短语。

和“你画我猜”中一样，如果猜测者在玩“Iconary”游戏时猜出了绘画者想要表达的内容，那么他/她的团队就获胜了。但如果猜错，就可以选择继续猜还是放弃。如果猜测者选择放弃，绘画者就可以重新绘画，并观察其他玩家的猜测结果是否正确。如果 4 分钟后，猜测者还是无法猜出图画背后的短语，则判该队为输。

Iconary 的困难之处在于，许多名词和动词都没有直接代表它们的图画，所以绘画者必须想办法间接地向猜测者表示它们。例如，没有直接表示“textbook（教科书）”的图标，所以绘画者会间接地结合书本和校车图标来表示这个单词。这就是理解绘画与摄影图像的不同之处。

由于 Iconary 游戏中的图画不仅要从字面上进行描绘，还要表达这些场景的隐含意义，所以对人工智能来说很难理解。游戏中需要语义策略，比如视觉隐喻（用书和校车来表达“教科书”）、注释（用箭头和门来表达“门把手”）、举例（用亮和不亮的灯泡来表达“关掉”）和其他间接的传达策略。

视觉交流和复杂语义处理是人类与生俱来的技能，但人工智能智能代理通常很难做到这一点。所以 Iconary 平台的价值在于，可以测试人工智能是否随着时间推移学会这些技能。

Iconary 也会有有趣的游戏元素，因为一个优秀的玩家会根据其他玩家的表现来调整自己的猜测或绘画方法，比如通过调整绘画来消除误解，或者根据绘画者正在做的关键改变弄清应该关注的重点。

研究人员还通过与人类玩家之间的 55000 多次 Iconary 模拟游戏，来训练人工智能算法。之后对算法性能进行测试，取得了较好的结果。尽管如此，人类玩家的表现仍然优于人工智能，特别是在通过绘画表达物体或想法方面。

这项游戏中还设置了一个挑战，用于测试模型的短语，是人类游戏数据训练的模型中没有见过的词语，这意味着模型不能仅仅通过训练时获得的识别图画知识进行游戏。这证明，我们可以训练出善于理解人类创作图画的人工智能，尽管还比不上人类的熟练程度。

未来，Iconary 可以用作一个证明人工智能算法可用性的测试平台，允许研究人员评估算法在语义上连接文本和图画的能力。Clark 和其同事们的研究还发现，人工智能智能代理猜测隐含意义的能力明显优于通过图画传达的概念。

Clark 说：“开发充当绘画者的AI更加困难，但从一些例子中我们发现模型能够生成新颖的图画，这意味着模型可以获得训练数据内容之外的东西。这表明人工智能可以将获取的整体知识应用到绘画任务中，并在更深层次上理解绘画，而不仅仅是依靠记忆训练数据中人类使用的绘画策略。

所以我认为研究模型充当绘画者会更有趣，因为绘画需要更多的创造力，并且比猜测更加困难。”

如今人们也会在某些环境中使用视觉沟通，例如街道标志、制作家具的说明或表情符号中。因此，Iconary 可以成为一种工具，用于开发擅于理解日常视觉沟通形式的人工智能系统。