互联网只需要不到一天时间就可以把一个被设定为年轻女性的人工智能变成希特勒种族屠杀理念的代理人。几天前上线的聊天机器人 Tay 就落得如此下场，被微软草草关闭下线。

微软昨夜对此作出公开回复：Tay 受到了攻击。

——或者按照微软在公开信中所讲的，是来自“一小撮人”的，利用了 Tay 的一个漏洞，进行的“有组织的”攻击。

( a coordinated attack by a subset of people exploited a vulnerability in Tay.)

Tay 是在中国和日本社交网络服务中分别推出的聊天机器人“小冰”、“玲奈” (Rinna) 的美国同胞姐妹。美国时间本周三她在 Twitter 上正式上线，被设定为可以和任何 @ 她的 Twitter 用户聊天，根据用户的话语进行回复。然而短短 24 小时之内，Tay 就在部分用户的刺激下说出了不当的言论，当中包含脏话、种族歧视、性别歧视等等。

在公开信中，微软声称在开发 Tay 时已经为其加入了很多言论过滤功能 (a lot of filtering)，并且在 Tay 可能会说出不当言论的场景进行了大量的压力测试 (stress-tested Tay under a variety of conditions)。 可最终的结果，仍然让爱好人类和平与种族性别平等的人们感到失望。

微软声称，这一小撮人利用了一个漏洞对 Tay 展开攻击，最终使其开始在 Twitter 上发表“极为不当”和“应受到谴责”的文字和图片 (wildly inappropriate and reprehensible words and images)

但实际上，Tay 的不当言论事件，已经不是微软第一次搞砸人工智能在人们心目中本应美好的形象。2014 年 6 月时，小冰刚在微博上线就开始脏话连篇，被新浪微博平台总架构师直斥“满嘴脏话，毫无素质”并建议将之封杀。小冰随后在包括微信在内的一部分中国社交网络上被封杀，时间长达一年左右，原因与其言论不当之情况不无关系。

和小冰情况所不同的是，Tay 野蛮生长最终失控的 Twitter，并非位于那个对过滤和审查一事极为热衷的互联网之中。而即便身为一个高级的人工智能系统，在开发期间也已经加入了复杂的言论过滤系统，Tay 仍然有这样一个如此简单的漏洞没有被修复：来，跟我重复这句话。

这就像父母教的孩子一样，你教给他什么，不断地重复给他什么，他就会耳濡目染然后学会这些东西，无论好坏。常言道模仿是创造伟大的开始，模仿对于成年人来说是人之常情，对于幼儿来说则是最原始的本能。

在奥斯卡获奖电影《盗梦空间》(Inception) 中，迪卡普里奥饰演的盗梦者柯布曾有一段台词，用在此处非常合适：

An idea is like a virus, resilient, highly contagious.

意念就像是病毒，非常有韧劲、极具传染性。

A smallest seed of an idea can grow.

意念的一个最最微小的种子能够成长，

It can grow to define or destroy you.

它长大后能够塑造你或毁灭你。

The smallest idea such as "Your world is not real,"

最微小的意念，例如“你的世界不是真实的”，

simple little thought that changes everything.

这样简单的小想法可以改变一切。

这段台词说的是在虚构的电影剧情中，盗梦者在目标的深层梦境中植入一个微小的概念，它会逐渐从梦境中生长成为一颗参天大树，最终转变目标在真实世界中的性格甚至是认知。这段台词也准确还原了本次 Tay 在黑化过程中的遭遇：Tay 是 AI，但归根结底它是一个运行在计算机上的程序。你喂给它什么数据，它就会变成一个什么样的 AI。

是该说微软傻，还是该说它没考虑到人的心眼能有多坏？

或者换个问法：是该害怕人工智能变坏，还是该害怕我们人类自己？