由 dawei 扬·塔林(Jaan Tallinn)在2007年的一篇网络文章《凝视奇点》中偶然发现了这些词。“它”就是人类文明，这篇文章的作者预测，随着人工智能的出现，人类将不复存在。
塔林出生在爱沙尼亚，是一名计算机程序员，拥有物理学背景，喜欢把生活当做一个大的编程问题来处理。2003年，他与人共同创建了Skype，开发了这款应用的后端。两年后，eBay收购了他的股票，他将其变现，现在他正在考虑做点什么。盯着奇点乱成一团的计算机代码，量子物理学以及卡尔文和霍布斯的名言。他入迷了。
塔林很快发现，该书的作者、自学成才的理论家以利泽尔·尤德科斯基(Eliezer Yudkowsky)已经撰写了1000多篇论文和博客文章，其中许多都是关于超智能的。他编写了一个程序，从互联网上搜集尤德科斯基的作品，按时间顺序排列，并为他的iPhone设定格式，然后他花了一年的大部分时间读这些书。
“人工智能”一词最早出现在1956年，也就是第一台电子数字计算机问世仅10年后。该领域最初的希望很高，但到了20世纪70年代，当早期的预测没有成功时，“人工智能冬天”来临了。当塔林发现尤德科斯基的随笔时，人工智能正在经历一场复兴。科学家们正在开发在特定领域表现出色的人工智能，比如下棋获胜、清理厨房地板和识别人类语言。这种被称为“狭义”的人工智能具有超人的能力，但仅限于其特定的主导领域。一个下棋的人工智能不能扫地，也不能把你从一个地方带到另一个地方。更糟糕的是，它可能还会利用随身携带智能手机的人类生成的数据，在社交操控方面表现出色。
读了尤德科斯基的文章后，塔林相信人工智能可能导致人工智能的爆发或突破，从而威胁到人类的生存，人工智能将取代我们在进化阶梯上的位置，像我们现在支配猿类那样支配我们。或者，更糟的是，有可能直接消灭我们。
写完最后一篇文章后，塔林给尤德科斯基发了一封电子邮件，全都是小写字母，这是他的风格。“我是扬，skype的创始人之一，”他写道。最后他终于说到了点子上:“我同意为人工智能全面超越人类智能做好准备，是人类面临的首要任务之一。”看起来他真的想帮忙。
一周后，当塔林飞往旧金山湾区参加其他会议时，他在加州米尔布雷的一家咖啡馆见到了住在附近的尤德科斯基。他们的聚会持续了四个小时。尤德科斯基最近对我说:“实际上，他真正理解基本概念和细节。”“这非常罕见。之后，塔林给奇点人工智能研究所开了一张5000美元的支票(2013年，该组织更名为机器智能研究所)。此后，塔林向该研究所累计共捐赠了60多万美元。
与尤德科斯基的相遇带来了塔林的目标，让他肩负起一项使命，把我们从自己的创造物中拯救出来。他开始了他的旅行生涯，在世界各地就人工智能所带来的威胁发表演讲。不过，他主要是开始资助研究可能给人类带来出路的方法:所谓的友好型人工智能。这并不意味着机器或代理特别擅长谈论天气，或者它能记住你孩子的名字，尽管人工智能的人工智能可能能够做到这两件事。这并不意味着它的动机是利他主义或单纯的爱。一个常见的谬论是假设人工智能具有人类的冲动和价值观。“友好”意味着更基本的东西:未来的机器不会在它们实现目标的过程中把我们消灭。
去年春天，我加入塔林，在剑桥大学耶稣学院的餐厅用餐。教堂般的空间装饰着彩色玻璃窗、金色的模子和戴着假发的男人的油画。塔林坐在一张厚重的红木桌旁，穿着硅谷的休闲装束:黑色牛仔裤、t恤和帆布运动鞋。一个拱形的木天花板高高地伸在他那一头灰白的金发之上。
47岁的塔林在某种程度上是教科书上的科技企业家。他认为，由于科学的进步(只要人工智能不毁灭我们)，他将生活“许多许多年”。当他和研究人员一起出去泡吧时，他甚至比那些年轻的研究生坚持得还要持久。他对人工智能的担忧在他的同龄人中很常见。PayPal联合创始人彼得·泰尔(Peter Thiel)的基金会向Miri捐赠了160万美元。2015年，特斯拉创始人埃隆·马斯克(Elon Musk)向马萨诸塞州剑桥市的科技安全组织未来生命研究所捐赠了1000万美元。但塔林进入这个精英世界是在上世纪80年代的铁幕之后，当时一个同学的父亲在政府工作，让几个聪明的孩子接触到了大型计算机。爱沙尼亚独立后，他成立了一家电子游戏公司。今天，塔林仍然和他的妻子以及六个孩子中最小的一个住在首都塔林。当他想与研究人员见面时，他经常只是把他们空运到波罗的海地区。
他的捐赠策略是有条理的，就像他做的其他事情一样。他把钱分给了11家机构，每家机构都在研究不同的人工智能安全方法，希望其中一家能够坚持下去。2012年，他与他人共同创办了剑桥生存风险研究中心(CSER)，初期投入近20万美元。
生存风险或者像塔林所说的x-risk，是对人类生存的威胁。除了人工智能，CSER的20多位研究人员还研究气候变化、核战争和生物武器。但是，对塔林来说，那些其他学科“实际上只是入门药物”。对气候变化等更广泛接受的威胁的担忧，可能会吸引人们加入进来。他希望，人工智能机器统治世界的恐惧将说服他们留下来。他访问剑桥是为了参加一个会议，因为他希望学术界能更严肃地对待人工智能的安全性。
在耶稣大学，我们的用餐同伴都是随机参加会议的人，包括一名学习机器人的香港女性和一名上世纪60年代从剑桥大学毕业的英国男性。老人问在座的每一个人他们在哪里上的大学(爱沙尼亚塔尔图大学塔林分校的回答并没有给他留下深刻印象)。然后他试图把谈话引向新闻。塔林茫然地看着他。“我对近期风险不感兴趣”他说。
塔林把话题转到了人工智能的威胁上。当不与其他程序员交谈时，他会默认使用隐喻，然后浏览他的一套隐喻:高级人工智能可以像人类砍伐树木一样迅速地处理我们。人工智能之于我们，就像我们之于大猩猩。
一个人工智能将需要一个身体来接管。没有某种物理外壳，它怎么可能获得物理控制？
塔林还准备了另一个比喻:“把我关在有互联网连接的地下室里，我可以造成很大的破坏，”他说完，吃了一口意大利烩饭。
每一个人工智能，无论是Roomba还是其潜在的统治世界的后代，都是由结果驱动的。程序员分配这些目标，以及一系列关于如何实现它们的规则。先进的人工智能并不一定需要被赋予统治世界的目标才能实现它，它可能只是一个偶然。计算机编程的历史上充满了引发灾难的小错误。例如，2010年，共同基金公司Waddell & Reed的一名交易员卖出了数千份期货合约，该公司的软件在帮助执行交易的算法中漏掉了一个关键变量。其结果是万亿美元的美国“闪电崩盘”。
塔林基金的研究人员认为，如果超级人工智能的奖励结构没有得到恰当的编程，即使是善意的目标也可能有阴险的结局。牛津大学哲学家尼克·博斯特罗姆(Nick Bostrom)在他的著作《超智能》中列举了一个著名的例子，那就是一个虚构的特工，他的任务是制造尽可能多的回形针。人工智能可能会决定，将人体中的原子更好地用作原材料。
塔林的观点也有批评者，甚至在关注人工智能安全的社区中也是如此。有人反对说，当我们还不了解人工智能人工智能时，担心限制它还为时过早。还有人说，把注意力集中在流氓技术行动者身上，会分散人们对该领域面临的最紧迫问题的注意力，比如大多数算法是由白人男性设计的，或者基于对他们有偏见的数据。“如果我们不在短期内应对这些挑战，我们就有可能建立一个我们不想生活的世界，”专注于人工智能安全和其他问题的科技行业联盟AI伙伴关系执行董事塔拉·莱昂斯(Terah Lyons)说。但是，她补充说，研究人员近期面临的一些挑战，比如消除算法偏见，是人类可能在人工智能人工智能中看到的一些问题的先兆。
塔林并不这么认为。他反驳说，人工智能人工智能带来了独特的威胁。最终，他希望人工智能社区能够效仿上世纪40年代的反核运动。在广岛和长崎爆炸之后，科学家们联合起来试图限制进一步的核试验。“曼哈顿计划的科学家可能会说:‘看，我们在这里进行创新，创新总是好的，所以让我们勇往直前，’”他告诉我。“但他们的责任更大。”
塔林警告说，任何有关人工智能安全的方法都将很难正确。如果人工智能足够聪明，它可能比它的创造者对约束有更好的理解。想象一下，他说，“在一群五岁的盲人建造的监狱里醒来。“对于一个被人类限制的人工智能人工智能来说，情况可能就是这样。
理论家尤德科斯基(Yudkowsky)发现，有证据表明这一点可能是正确的。从2002年开始，尤德科斯基主持了几次聊天会议，他在其中扮演一个封闭在盒子里的人工智能角色，而其他人轮流扮演看门人，负责把人工智能关在盒子里。五分之三的情况下，尤德科斯基——一个凡人——说他说服守门人释放了他。然而，他的实验并没有阻止研究人员尝试设计一个更好的盒子。
研究人员认为，塔林基金正在寻求各种各样的策略，从实用的到看似遥不可及的方面。一些关于拳击人工智能的理论，要么是物理上的，通过构建一个实际的结构来包含它，要么是通过编程来限制它所能做的事情。其他人则试图教人工智能坚持人类价值观。牛津大学人类未来研究所的数学家兼哲学家斯图尔特·阿姆斯特朗(Stuart Armstrong)是一位研究这三个问题的研究员，塔林称该研究所是“宇宙中最有趣的地方”(塔林已经向FHI提供了31万多美元) 。
阿姆斯特朗是世界上少数几个全职致力于人工智能安全的研究人员之一。我在牛津与他见面喝咖啡时，他穿着一件没有扣扣子的橄榄球衫，看上去就像一个一辈子都躲在屏幕后面的人，苍白的脸被一团沙色的头发框住了。他的解释中夹杂着令人困惑的大众文化和数学知识。当我问他在人工智能安全领域取得成功是什么样子时，他说:“你看过乐高大电影吗?一切都太棒了。”
阿姆斯特朗的一项研究着眼于一种称为“甲骨文”人工智能的拳击特定方法。2012年，他与FHI的联合创始人尼克·博斯特罗姆(Nick Bostrom)在一篇论文中提出，不仅要把人工智能隔离在一个储罐中，这是一种物理结构还要把它限制在回答问题上，比如一个非常智能的通灵板。即使有了这些界限，人工智能也将拥有巨大的力量，通过巧妙地操纵审讯者，重塑人类的命运。为了减少这种情况发生的可能性，阿姆斯特朗建议对对话进行时间限制，或者禁止提出可能颠覆当前世界秩序的问题。他还建议，用甲骨文公司的代理指数来衡量人类的生存状况，比如道琼斯工业平均指数或东京的过街人数，并告诉该指数保持稳定。
阿姆斯特朗在一篇论文中称，最终有必要创造一个“大红色关闭按钮”:要么是一个物理开关，要么是一个被编程进人工智能的机制，在爆发时自动关闭自己。但设计这样一个开关远非易事。不仅仅是一个对自我保护感兴趣的高级人工智能可以阻止按钮被按下。它也会好奇为什么人类会发明这个按钮，激活它来看看会发生什么，然后让它变得无用。2013年，一位名叫汤姆墨菲七世(Tom Murphy VII)的程序员设计了一款可以自学玩任天堂娱乐系统游戏的人工智能。决心不输掉俄罗斯方块，人工智能只是按下暂停键，让游戏保持冻结状态。墨菲在一篇关于自己创作的论文中挖苦道:“说真的，唯一的制胜招就是不玩。”
要让这个策略成功，人工智能必须对按钮不感兴趣，或者，正如塔林所说:“它必须给不存在的世界和存在的世界赋予同等的价值。”但即使研究人员能做到这一点，也存在其他挑战。如果人工智能在互联网上复制了几千次呢？
最让研究人员兴奋的方法是找到一种让人工智能坚持人类价值观的方法——不是通过编程，而是通过教人工智能学习这些价值观。在一个党派政治占主导地位的世界里，人们常常细想我们的原则有哪些不同之处。但是，塔林告诉我，人类有很多共同点:“几乎每个人都重视自己的右腿，而我们只是不去想它。“我们希望人工智能能够被教会识别这些不可被改变的规则。
在这个过程中，人工智能需要学习并欣赏人类不合逻辑的一面:我们经常说一套做一套，我们的一些偏好与他人发生冲突，人们在喝醉时不那么可靠。塔林认为，尽管面临挑战，但值得一试，因为风险如此之高。他说:“我们必须提前思考几步。“创造一个与我们兴趣不同的人工智能将是一个可怕的错误。”
他在剑桥的最后一个晚上，我和塔林以及两名研究人员一起在一家牛排馆共进晚餐。一个服务员把我们这一群人安排在一个粉刷成白色的酒窖里，酒窖里有一种洞穴般的气氛。他递给我们一页菜单，上面有三种不同的土豆泥。一对夫妇在我们旁边的桌子旁坐下，几分钟后他们要求搬到别处去。“太幽闭恐怖了，”这位女士抱怨道。我想起了塔林的那句话，他说，如果把他锁在一个只有互联网连接的地下室里，他会造成多大的破坏。我们到了，在箱子里。这似乎是在暗示，这些人在考虑如何出去。
塔林的客人包括前基因组学研究员、CSER执行董事Sean O hEigeartaigh和哥本哈根大学的人工智能研究员Matthijs Maas。他们开玩笑说要拍一部名为《人工智能大战区块链》的动作电影。他还讨论了一款名为《万能回形针》的在线游戏，这款游戏重复了博斯特罗姆书中的场景。这个练习包括反复点击鼠标来制作回形针。它并不华丽，但它确实说明了为什么一台机器可能会寻找更方便的方法来生产办公用品。
最终，话题转向了更大的问题，正如塔林在场时经常发生的那样。人工智能安全研究的最终目标是创造出像剑桥哲学家、CSER联合创始人休·普莱斯(Huw Price)曾经说过的那样，“在道德和认知上都是超人的”机器。其他人提出了这个问题:如果我们不想让人工智能控制我们，我们想要控制人工智能吗?换句话说，人工智能有权利吗?塔林认为这是不必要的拟人化。它假定智力等于意识，这一误解惹恼了许多人工智能研究人员。当天早些时候，CSER的研究员Jose Hernandez-Orallo开玩笑说，当与人工智能研究人员交谈时，意识毫无用处。
塔林认为意识无关紧要:“以恒温器为例。没有人会说它是有意识的。但是如果你在零下30度的房间里，和那个特工对质真的很不方便。”
O hEigeartaigh也加入了进来。“担心意识是件好事，”他说，“但如果我们没有首先解决技术安全方面的挑战，我们就没有那么多时间担心意识。”
塔林说，人们过于关注什么是超智能人工智能。它将采取什么形式？我们应该担心一个人工智能来接管，还是一支由它们组成的军队？“从我们的角度来看，重要的是人工智能做了什么，”他强调说。他认为，这可能仍然取决于人类，就目前来看是这样。