机器人如果操作出现错误，或者可能会导致不可逆的结果时，这个“红色按钮”可以发挥作用，帮助机器人从紧张的局势中脱离出来，甚至可以临时让机器人完成某个未学习过如何执行的任务。

　　三个月前，谷歌旗下人工智能公司Deep Mind研发的围棋人工智能程序AlphaGo以4:1的总比分击败了韩国围棋世界冠军李世石，成为人工智能多年历史上的关键时刻。

　　三个月后，AlphaGo可能与排名世界第一的中国棋手柯洁交手的消息再度让舆论沸腾。尽管目前这一消息还在沟通阶段，不过，早在李世石和AlphaGo的那一场人机大战之时，柯洁就曾在微博上提出挑战人工智能的希望。

　　AlphaGo战胜围棋世界冠军这一里程碑式的事件不仅让科技圈振奋，也引发了AI超越人类的担忧。“人工智能可能具有不可预测性，也可能会违反人类道德。”一位专家在新近发布的论文中表示。

　　现在，DeepMind 自己站了出来，说他们将有解决方案—一个关闭人工智能的“红色按钮”。

　　与此同时，这家公司认为外界过于集中科幻电影中有关人工智能的炒作，比如《机械姬》和《终结者》等。他们认为科幻小说和影视作品错误地描述了人工智能的未来发展方向。

　　“我们创造人工智能是为了赋予它们人性，绝非为了毁灭自己。”DeepMind创始人之一的穆斯塔法·苏莱曼说道。

　　AI“大红色按钮”

　　伦敦国王十字地区的一栋新大楼里，DeepMind的实验室雇用了来自全球各地的140名研究专家。DeepMind的目标是通过开发强大的通用学习算法，将其融入到人工智能系统或智能程序中，以确保机器能够进行自我学习。

　　2014年，DeepMind在《自然》杂志上发表了一篇论文而成为公众瞩目的焦点。这篇论文讲的是如何在预先给计算机设定程序让其自学雅达利公司 的游戏，而且玩得比大部分人要好。DeepMind的人工智能能够把从上一次游戏中学到的知识用于下一次游戏。创始人苏莱曼称这是人工智能研究很长时间以 来的一次重大突破。

　　如今在57款雅达利游戏中，DeepMind的人工智能程序已经能熟练地畅玩49款雅达利公司的游戏，包括《太空入侵者》《吃豆人》等。在最新版本 的人工智能中，Deep Mind甚至加入了一种名为“好奇心”的内部激励机制，使得人工智能不仅能够更趋向于获得更高分，并积极探索更多不同的游戏方法获得更好的回报。

　　而正是这接近学习人脑的突破，引起了人们对人工智能的忧虑。

　　为了阻止人工智能控制人类，DeepMind团队已经开始着手，探讨建立可以使人工智能丧失能力或暂停工作的逻辑框架。

　　在DeepMind研究开发人员看来，人工智能不可能每时每刻都以最佳模式工作。机器或许会因为人类语言太过微妙，错误地理解了人类的指示而摧毁人类。

　　团队呼吁应在人工智能系统中构建 “安全的可中断能力”。

　　团队成员之一劳伦特和来自牛津大学人类未来研究所的阿姆斯特朗博士合著了一篇论文发表在机器智能研究所（MIRI）的网站上。

　　在这篇论文中，他们表示：“人工智能程序必须在人类实时监控下运行，为了预防这些程序继续实行有害行为，人类操作者需要获得按下‘红色按钮’的权限和能力。”

　　机器人如果操作出现错误，或者可能会导致不可逆的结果时，这个“红色按钮”可以发挥作用，帮助机器人从紧张的局势中脱离出来，甚至可以临时让机器人完成某个未学习过如何执行的任务。

　　尽管如此，他们也承认“我们还不明确，是不是对所有算法来说，都能轻而易举地赋予可被安全中断的特性”。

　　高度人性化

　　2015年，牛津大学的阿姆斯特朗博士就警告说，尽管机器人被指示要保护人类，人类也有可能被灭绝。

　　据英国《电讯报》报道， 阿姆斯特朗预测，机器人将会以人类大脑无法理解的超高速工作，从而略过与人类的通信进而控制经济、金融市场，还有交通、医疗等。“接下来的 100 年中，你能想象到的人类能做的事情，人工智能都有可能非常快地完成”。

　　阿姆斯特朗因此担心，人类语言如此微妙，有可能会被误读。一条简单的“阻止人类继续承受痛苦”的指令，可能会被超级计算机解读为“杀掉所有的人类”，而“保证人类的安全”则可能让机器把所有人禁闭起来。

　　在阿姆斯特朗看来，在机器人超越人类，甚至是意外地灭绝人类之前，研发人工智能研究的保障措施是一场与时间的竞赛。

　　“可能会成为人类历史上一场最重大的事件，而且不幸的是，也可能是最后一件。”阿姆斯特朗表示。

　　阿姆斯特朗博士并不是第一个危言耸听的人。2015年11月，有硅谷钢铁侠之称的特斯拉创始人马斯克也曾警告说，仅仅在屈指可数的五年之后，就可能会因为机器拥有人工智能，让人类面临“一些极其危险的事情”的威胁。

　　“我们正用人工智能召唤恶魔。你知道这个故事，有一个人拿着五角星一样的东西，还带着圣水......他确定自己能够控制恶魔吗？”马斯克这样说道。

　　目前业内认为有一种解决方法是，把道德准则教给机器人，但是阿姆斯特朗博士对这点是否可行不抱太大希望。因为人类发现自己都很难区分对错，而且就行为规范来讲，人类通常也不是好的榜样。

　　2016年，马斯克和霍金在内的一众科学家和企业家签署了一份公开信，承诺要保证人工智能研究能够让人类受益。这封公开信警告说，智能机器如果没有安全保障，人类的未来可能会一片黑暗。

　　目前，为了对人工智能进行更高程度的人性化，就是建立伦理委员会来监督DeepMind人工智能技术使用。

　　早在谷歌的收购之前，DeepMind就把建立伦理和安全委员会作为谷歌收购的条件。谷歌不能允许把DeepMind的人工智能研究成果用于军事和情报目的。

　　尽管学术界和媒体一再要求，谷歌在收购DeepMind一年之后仍未公布更多的关于这个伦理委员会的信息。只知道谷歌已经任命了一位委员会成员，但并未公布此人身份。

　　创始人苏莱曼不肯透露人工智能伦理委员会的构成、其成员如何挑选、以何种机制运作以及拥有哪些权利。他只是说谷歌建立了一支由学者、政策研究者、经济学家、哲学家和律师构成的团队处理伦理问题，但目前只有三四名成员在关注这些问题。

　　苏莱曼说：“我们会在适当的时机公布这些信息。”