何怀宏：从伦理角度看人工智能

伦理是有关生活价值与行为正邪的探讨。而无论生活还是行为，都是在人的关系中展开的，人的世界就是一个关系的世界。这些关系包括人与自然的关系、人与人的关系，乃至人与自我的关系、人与超越存在的关系。今天的世界出现了一个极为重要的新情况，就是人工智能的飞速发展使一种新的物——智能机器也出现在伦理思考的范围之内。

继人从自然、从物中分离出来后，一种新的存在也有可能再分离出来。这种新的存在既是物，初始又是人创造的。它结合了人与物的两方面性质。它是不是有可能取代人目前所取得的“超级物种”的地位？这是人工智能对人类提出的最大挑战。对此笔者将另文探讨，这里主要从伦理的角度探讨对人机关系的认识，探讨人们对目前的智能机器能做些什么，能提出一些什么样的基本伦理思路与规范。

世界上除了人，还有物。人本来也是物，现在也仍然还可以笼统地归于物或者说一般的存在。但如果从人的特性，从人的能力、意识、道德而言，人就可以区别乃至对峙于地球上的其他所有物。这样就有了人与物的关系，但人与自然物的关系长期以来并没有纳入道德的理论系统中来考虑，没有成为一种道德理论或生态哲学的体系，直到20世纪下半叶才发生改变。

我们可以从不同的时间长度来回顾人与物的关系的历史：地球史、生物史、动物史、人类史和文明史。前面的历史包含着后面的历史。当然，前面三种只是一种人类的史前史，只是方便我们看到人类的自然来源。

人猿揖别，人先是直立起来，就腾出了两只手，手的拇指能与其他手指对握，就能够握持和制作工具；火的发明使人能吃到熟食乃至保存，它促进了脑力的发展，而且人工取火还能成为生产的工具，如利用火把来驱赶和烧死动物。人从一开始大概就是群居动物，有了意识之后更懂得分工合作。

二三十万年前出现的现代智人，还在以采集狩猎为主的石器时代就已经造成大量物种的消灭了，他们用火把、呐喊、石块、木棒等，利用分工协作的群体力量，将其他动物驱入山谷，使之大量死亡，真正吃下去的其实只是很小的一部分。而且他们的狩猎对象首先是一些大型陆地动物。

很长时间内，人对天空中的鸟和深水中的鱼都不太能够顺利地把控，他们缺乏这方面的能力，甚至对微小生物也不如对大型动物有办法。根据近年的研究，智人大致是从东非出发，后来分别到了亚洲、欧洲、澳洲、美洲。而他们走到哪里，就造成那里的一些大型动物迅速减少甚至灭绝，甚至一些原先的人种也消失了。

这大概是人与物的关系的第一阶段，即他从其他动物中脱颖而出，能够借助工具和智力来与任何一个物种甚至所有物种对峙与抗衡。第二个阶段则是从仅仅一万多年前的人类的农业文明开始。人在文明史的阶段，逐步变得不仅能够抗衡，而且能够支配其他所有的物种，成为地球上的主人。

他获取食物和能量的方式，开始从以采集狩猎为主转到以种植畜牧为主。他不仅利用无生命的物体如石块作为工具，也开始利用其他的动物作为工具了。他利用畜力来延伸和扩大自己的体能，不再只是获取现成的自然物，而是通过改变自然物的形态以达到自己的目的。各种栽培的作物、驯养的动物，都不再完全是原先的样子了。

人开始以越来越大的社群定居，经济生活有了稳定的预期，可以养活少数的有闲阶层来专门从事文化的工作，直到出现城市、文字、金属工具和国家，乃至出现轴心时代的精神文明。

到了近代工业革命又是一个飞跃，人发明了蒸汽机、内燃机、电力，人利用煤、石油等自然资源，设计和大批制造了各种机器，极大地增强了人征服自然的能力。人在农业文明时代对自然物的改造，多少还能够看出原来的模样，工业革命时代的产品，就几乎看不出原来的模样了。人大大地改变和提升了各种获取食物和能量的方式。这各种各样的人造的机器已经不是自然物了，但却还是没有自身智能、不能自我学习和独立改进的人造物。人真正成了地球上所有自然物的主人，他能够轻易地战胜所有其他物种或其联合，能够移山填海，改变自然界的面貌。

那么，人是依靠什么达到这一切的呢？在这一过程中，人的体能并没有什么长进，在某些方面可能还退化了。人迄今在速度、力量、耐力、柔韧等方面还是不如地球上现有的某些动物，但他却完全可以支配它们。他使它们就范所依靠的当然不是他的体能，而是他的智能，是他的智能所带来的具有极大优势的暴力和强力。人和其他动物之间自然也就处在一种很不平等的关系之中，只是到近年人类才稍稍有所反省和补救，但这种关系的不平等性质并不可能改变。

人依靠他的智能，可以大大扩大和延伸他的体能，甚至完全不用自己的体能而办成他想办的事情。人哪怕开始只是比其他动物似乎稍稍聪明一点，也会带来越来越大的差距。智能贯穿人类进化的始终，今天看来更是独领风骚。这里所说的“智能”自然不是人的意识能力的全部，而主要是指人对物质世界的认识和控制能力，人另外还发展起一种试图认识世界之根本、人生之意义以及审美、艺术等诸多精神领域的能力，人与其他动物的不平等的缘由和本质差别甚至更多地是来自这些方面。但控物的智能却是人类对其他动物取得优势和支配力的主要依靠。

当人类进入文明阶段，有了劳心阶级、国家和语言文字之后，智力则有极大的、飞速的长进。于是我们看到了加速度乃至指数速度的发展：地球有约40多亿年的历史；生命有30多亿年的历史；动物有约7亿年的历史；人类有近300万年的历史；现代智人有20万年的历史；文明有1万多年的历史；国家有5000余年的历史；工业革命有300年的历史；而新的或可称作“智能革命“的高科技文明则大概只有五六十年的历史。

人只是到了文明阶段，有了明确的自我意识，有了明确的“人禽之别”的意识，才有了一种实际上存在的道德关系。但是，对人与物的道德关系的系统认识和有意识的调节，还要到文明的更高阶段。而且，即便是文明阶段的人和人之间，还有时重新堕入那种动物般的生存竞争的状态，这时对双方几乎都没有什么道德可言，很难对其中的一方做出赞扬或谴责的道德评价。但这可以说是非常状态，对为何堕入这种非常状态，还是可以做出道德评价并进行各种补救和调节。

对人与物的道德关系的调节，必须首先解决一个“道德地位”（moral standing）的问题。人在征服其他物种尤其是动物的过程中，并不理解其他动物的全部感情和感受，甚至没有尝试去理解。他也不是对它们怀有恶意，人捕获它们、吃掉它们，并不是出于憎恨。人和人之间毕竟都是有自我意识的，但动物、生物乃至其他一切自然物没有这种自我意识，无法成为道德的主体。但人是否就可以随心所欲地对待它们呢？它们是不是还能获得一种得到人的道德对待的地位呢？这种道德地位的根据是什么呢？

对这种道德地位的根据的问题，各种生态伦理学理论有一些不同的回答。但大都认为，其他物种或物体也具有它们内在的、固有的或天赋的价值。其他物种或物体虽然没有意识，不是道德的主体（moral subject），但它们因为具有这种内在价值，也应当成为道德关怀的对象（moral object）或者说“道德顾客”（moral patient），而人也应该成为对它们进行道德关照的代理人或代理主体（moral agent）。

当然，除了“道德地位”，还会有一种“道德重要性”的考虑。即均获得一种需要关照的道德地位的其他物种或物体，还是有一些不同的道德重要性。比如动物看来就因其具有感受性而应获得更大的关照，像虐待动物就应该首先在排除之列，其次是有生命的物体，再次则是无生命的其他所有物体。当然，也可以将整个的自然环境视作一个生态系统来考虑。

伦理学的中心，尤其是传统的伦理学可以说主要是处理人与人的关系，即人际关系。对这种人与人的关系，有时容易仅仅理解为个人与个人的关系，中国传统的伦理学尤其注重亲人之间的关系。但广义的人际关系应当包括三个方面：第一是个人与个人的关系或者自我与他人的关系，比如一个人与亲人、朋友、熟人、生人的各种关系；第二则是个人与各种群体，诸如因地域、种族、文化、宗教、政治乃至兴趣而结成的大大小小的群体的关系，这里最重要的还是个人与国家的关系；第三则是人类的各种群体与群体的关系，这里最重要的大概也是国家与国家的关系，或者说政治共同体之间的关系，还有宗教团体之间的关系。而在人类世代之间甚至还可以说有一种“代际关系”。

人与人之间的道德关系和行为规范是不是大致在进步呢？采集狩猎时代的人结成小的原始群体，内部非常平等，但对外部的其他人类原始群体则相当暴力或者说残忍（如果说能够用这个具有道德意味的评价词的话）。农业文明阶段则出现了国家，在各个政治社会之间还是有相当的冲突，但不是像原始时代那样你死我活了；在政治社会的内部则更加温和与和平了，人们通过政治秩序更能保障自己的安全与生养，但这是建立在某种等级制的基础之上的。到了现代社会，道德调节范围不断扩大：所有的人都被视作平等的个体，虽然从生存平等、人格平等到基本人权的自由平等，也有大段的曲折。

而暴力的减少也是一个总体的趋势，虽然也有曲折乃至大的波谷，像20世纪上半叶就爆发了两次世界大战和许多内战、骚乱，但二战之后的总体发展是暴力大幅减少，尤其是在发达国家与迅速发展的国家内部，我们甚至看到它延伸到家庭和学校，霸凌和体罚等都呈现日趋减少乃至禁绝之势。人们的最低生活保障标准也在不断提升，如食物、医疗条件的大幅改善，瘟疫的趋于消灭，人的预期寿命普遍增加。道德调节的范围乃至扩展到所有生灵和自然物——虽然在要求的程度上有所不同，这种人物关系的改善或也可以说是人际关系改善的一种延伸。

如果我们以暴力与平等的两个标准来考察人类道德的进步，那么在暴力方面大致是一种相当平滑的线条：在人类的前文明阶段，或者说采集和狩猎的阶段，暴力是相当频繁和残酷的；在农业文明的阶段，暴力减少了；在工业文明的阶段，虽然也有起伏，但至少从截至目前的总体趋势而言，暴力继续减少了，虽然足以毁灭人类数十次的大规模杀人武器还存在。从平等的角度观察，则大致是一条曲折的线条：在采集狩猎阶段，有一种内外有别的内部高度平等；在农业文明阶段，则基本上是一种不平等；到了工业文明阶段，则走向了一种比较全面的包括所有社会成员和囊括各个方面的平等。

暴力与平等，不仅是我们观察人际关系的两个最重要的道德标准，也可以作为观察人物和人机关系的重要标准。反对暴力和非法强制涉及到生命和自由的基本原则，构成在各文明和宗教中诸如摩西十诫中的“四不可”、基督教金规和儒家忠恕之道这样的道德规范的核心内容。像国家这样的强制暴力固然还是不可缺少，但产生这样的暴力还是以“以暴制暴”为宗旨的，它针对的正是人类的暴力行为。虽然这种国家暴力也会被滥用，但如果它能遵守这一宗旨，且必须经过一定的法律程序才能实行，那么，它还是能被人们广泛接受。

人类目前已经历了原始群体阶段的内部很平等和外部多暴力、农业文明阶段的不平等和少暴力、工业文明阶段的广泛平等和更少暴力的过程。人与自然物的关系近年虽有诸多改进，但还无法处在一种像人与人之间的平等地位。新出现的生态伦理学理论试图对此有所平衡，尤其是非人类中心理论如动物权利和动物解放理论，试图更加关怀和提升弱势生命的地位，但还是不可能做到真正平等。这大概也是人类道德不仅不可能，甚至也无必要去做的。生态伦理学中的一种整体观点可能更有道理，它也使我们联想到像古代斯多亚派那样的普遍宇宙理性，但它还是不能不给人类以更多的权重。

人与物的这种不平等关系的根本原因，可能还是人与自然物是属于不同的存在种类，后者没有理性和自我意识，而所有有意识的甚至仅仅有感觉和生命的存在都会更优先地倾向于自身的保存。即便是按照整体论的观点，所有的生命都应该共生，所有的存在都应该共存，但每种生命都会本能地或者是有意识地优先考虑自身的生存，而不是优先考虑其他物种的生存。这也是有道理的。所以对人能够提出的道德要求，应该是人也应当尽量兼顾其他物种的生存，而并不是要求人类相比关心自己的生存更关心其他物种的生存。否则就可能脱离人性，甚至也脱离物性。

那么，对于人与智能机器的关系，我们是否也可以从上述两个标准观察，考虑能够建立一种什么样的关系，并尽量地减少暴力呢？

自从计算机和网络、机器人、生物技术、纳米技术等高科技问世且越来越快地发展，人类进入了一种新的技术革命。其核心或可称之为“数字革命“”算法革命”，或者更综合地说是“智能革命”的阶段。如果说以前的工业革命主要是以极高的效率解决人类体力所不及的问题，现在的智能革命却是以极快的速度解决人类智力所不及的问题。智能一直贯穿于人类征服自然的始终，今天看来还要独领风骚。

随着这些技术革命和革新，人类今天进入了一个新的阶段，这一新的技术革命或许将使人类文明脱离“工业革命”“工业文明”的范畴。目前还仍然将高科技的发展归在“工业文明”的大范畴内，但未来或许要将这种智能革命带来的新文明独立出来，构成一个新的文明阶段，而“工业文明”或许还可归之于利用和改造自然物的人类文明阶段，未来的以人工智能为中心的文明则可能是一种创造全新的人造物的阶段。由此就给人类伦理带来以前从未遇到过的新问题：如何认识和处理人机关系？

人类不仅一开始就要从生存发展的策略和技术上考虑人与物的关系，或者说人与自然的关系。人从精神文化上考虑这种关系也很早就开始了。最早的希腊哲学家试图认识自然世界的本质、构成、元素，以及人与自然共享和区别的东西，人与自然应该处在一种什么样的关系之中，等等。中国古代的思想家也提出过“道法自然”“天人合一”的命题。古人也曾提出和实行过种种维护自然环境和生态的一些规则，并在近数十年出现了系统的环境伦理的哲学理论。但是，迄今的确还难说有关于人机关系的系统伦理学理论。这缘由是什么呢？当然，最直接的一个解释就是：人工智能对伦理提出的挑战还是一个很新、晚近才出现的事物。

但我们还可以结合也是晚近才进入我们系统性伦理思考的人物关系的论据，来更细致地回答这个问题：为什么我们过去几乎不重视甚至很少考虑人机关系的伦理问题？察看一下近年来环境哲学提出的有关应该注重人物关系的伦理，善待其他生灵和关心整个生态的论据，大致有以下几点：

第一是感受性，这主要是对动物有效。其他动物也和人一样会感受到痛苦，虽然主要是生理上的痛苦，但也有心理上的痛苦，不仅有受害动物感受的痛苦，甚至也有它的同伴的痛苦。一只大雁被人击伤掉落了，不仅这只大雁感受到痛苦，它的同伴也常常会徘徊不去，哀鸣不已。第二是生命，这也包括了植物，植物也是有生命的。你拔起一株花，它很快就枯萎了。你砍伐掉一棵树，它也就永远不能郁郁葱葱了。

第三是整体性，这包括了所有的自然物，尤其是地球上的自然物。不论是有生命的还是无生命的，它们构成一个人生活在其中的生态整体，从整体的观点来看，几乎也可以说是需要相互依存。第四是自然性，自然界是先于人类而存在的，自然物也是可以不依赖于人而独立存在的，而人却必须是依赖自然而生存的。最后可能还有一种自然给人带来的感受问题，自然万物常常能够给人带来一种美感，甚至还唤起人们的一种宏大感、深邃感、庄严感乃至敬畏感。基于上面的理由，人不仅应当善待动物，爱惜生命，即便是无生命的物体，也应当尽量保护它的原生态和自然性，保留一些原生态的荒野、湿地、雪峰等，维护整个生态系统的平衡。

但以上这些理由似乎对人造的机器和机器人都不适用。它们是硅基原料或者加上金属，不具有我们人与动物共有的肉体感受性；它们看来也不具有会自己生长、变化和繁殖的生命，也不构成自然整体的一部分——它们在自然界本来是不存在的，只是人利用一些自然原料造出来的物体；它们也不会自然地给我们带来美感，或者说，优美与否是我们按照自己的审美观赋予它们的，是出于我们的设计，看来也唤不起一种宏大感和敬畏感。所以，此前人们对机器的态度是比对自然物差的，人们会根据自己的需要更加随意地对待它们：会拆卸、报废和处理它们。没多少人会想我们要像善待动物一样善待机器。保养它们也只是为了让它们更好和更长久地为我们服务。当然，也没有人真的恨它们，过去卢德分子捣毁机器其实主要是倾泻对人的怒火。

但为什么我们现在需要认真地考虑人机关系的伦理问题？这变化可以追溯到什么时候？是什么因素使我们必须思考机器伦理的问题呢？

工业文明早期，机器还是我们制造并完全可控的产品，并不存在伦理的问题。这一变化大概发生在机器开始自我学习、自我改进的时候，即出现了自动化机器，直到智能机器人的出现，这时机器开始拥有了人的一部分能力，即控物的能力、工具理性的能力，这也是人赖以战胜其他动物的能力。机器开始拥有了智能，拥有了工具或技术的理性——而这工具理性正是现代社会的人最为推崇和广泛应用的一种理性。机器在这些方面开始有些像人了，但在人的其他意识能力方面，比如说情感、意志、整体的自我意识方面，它们还不像人。

但既然有了一部分人的能力，它们是否会发展到也将拥有自己的情感、意志乃至自我意识？如果未来的发展的确是这样，甚至在它们只具有人的一部分能力的情况下，我们是不是就应该开始考虑我们与它们的伦理关系问题？当然，促使人关心这一问题的一个最大潜在动因可能还是一个威胁的幢幢暗影——那就是它们会不会继续发展到在智能方面超越人乃至替代人？

许多科学技术专家可能是一心专注于研制与开发，这方面我们得感谢文学艺术家，是他们的作品，包括许多科幻小说和影视作品，从一开始直到今天都在坚持不懈地提出各种可能的人机伦理问题。

最早使用“机器人（Robot）”这个概念的捷克作家恰佩克，在1921年发表的作品《罗素姆万能机器人》中就很超前地提出了人与机器的关系问题。其剧中，发明和制造机器的人们动机各不相同，有的是为了利润，有的是为了科学，有的甚至是出于人道的理想——如主管多明就是希望能够将人类从繁重的劳动中解放出来，都变成享有尊严和闲暇的“贵族”。于是，公司制造的大量机器人在全球被用作苦力，而来到机器人制造公司的总统的女儿，则希望人道地对待机器人。十年后，机器人开始在全世界造反了，组织了国际机器人协会，杀死了这个工厂的管理人，结束了人类的统治而开始了自己的统治，虽然他们不久也遇到如何繁殖或复制自己的问题。

科幻作家阿西莫夫在小说《转圈》中最早提出了给机器人设定的三个伦理规则：1.不得伤害人和见人受到伤害不作为；2.服从人的指令；3.自我保存。这是有序的三规则，即越是前面的规则越是优先，后面的规则不得违反前面的规则，机器人甚至不能服从人发出的伤害人的指令（如主人想要机器人帮助自己自杀的指令）；机器人的自我保存不仅不能伤害人，也不能违反人的旨意。如果出现机器人即将伤害人的情况，或者即便不在这种情况下，但只要人发出了让机器人自杀的指令，它也必须服从。这显然是以人为中心的规范。

要实行这些规则自然会有机器人判断的负担，即如何判断人——被伤害的对象和作为发令主体的人，这人是指发明制造它的人还是使用它的人，是指人类个体还是整体，因为他们之间是可能出现矛盾的？还有判断哪些情况会伤害人，以及在无法避免伤害人的情况下选择伤害哪个或哪些人；在不同的人发出不同的指令的时候，究竟服从谁的命令；等等。阿西莫夫在一些作品中也描述了其中的一些矛盾和困境。他不仅认真地考虑人机关系——当然，这种关系毫无疑义是不平等的，还试图明确地提出调节的伦理规则，这是一个很有意义的起点。

后来的人们对这三个伦理规则有不少修改和补充，但都倾向于做加法，增多或提高要求，包括阿西莫夫自己，或是鉴于机器人可能成为恶人保镖的危险，自己也加上了一条更优先的零原则：“不得伤害人类整体。”但做加法将继续加重机器人判断的负担，还打开了误判或冒名和假托“人类利益”的缺口。

笔者现在尝试提出一种新的思路，一种不同于阿西莫夫，也不同于现在许多关心和研究机器伦理的专家的思路。

简要地说，我们可以将现在使用的机器人分为两个层面：民用机器人的层面和国用机器人的层面。而目前人们考虑的人机关系的伦理调节大概有三个方向：一是对机器的价值规定和引导，如希望设计和培养智能机器遵循对“对人类友好”的指令，教会机器明辨以人为最高价值的道德是非；二是对其行为、手段的规范限制，如阿西莫夫规则中的“不得伤害人”；三是对机器能力的限制，尤其是防止通用的超级智能的发展。

笔者认为第一个方向是不必要，也是不太可能的，甚至后面隐藏着很大的风险，且和后两个方向有冲突。而后两个才是我们应该努力的主要方向，但应用在民用机器人和国用机器人的不同层面上会有差别，具体陈述如下：

一些学者认为可以给机器人预先设定让它们“对人类友好”的动机和价值观，或者说“为了人类最大的利益而工作”。但要设定这样的价值目标，就必须让它们发展自己的通用和综合能力，甚至获得一种自我意识。否则他们就无法担负判断的重负：比如怎样才是对人类友好，什么是人类的最大利益或整体利益。这些判断必须具有一种通用的、综合的能力，甚至需要一种全盘考虑，不仅要考虑人的物质利益，也要考虑人的精神和文化、感情的各种需求等。如此它也就需要和人一样或类似的自我意识，要全面地了解人。

但这看来是不可能的，它们不是碳基生物，不是灵长类动物，它们不可能具有这种生物的肉体敏感性，也没有领悟精神文化的能力——仅仅靠输入和记住人类的全部文献是不够的，那还需要历史的、无数活生生的富有情感和瞬间灵感的个人体验的积淀。而且，如果它们真的发展起一种基于自我意识的全面判断和行动能力，那也一定不是建立在这种肉体感受性和有死性基础上的人的自我意识，那将是我们无法知晓的一种自我意识。我们与它们无法像人与人之间那样“感同身受“”设身处地”。

而人类最好把价值判断留给自己，这也是保持一种人类对机器人的独立性乃至支配性。我们不能什么都依赖智能机器，把什么都“外包”给机器。如果说，我们最好不要让多数人在人工智能的领域内太依赖少数人，我们就更不要让全人类在智能、在精神和价值判断的领域里依赖机器。人类将自己的价值判断完全托付给机器之日，大概也就是人类灭亡之时。我们最好让机器人始终保持它们“物”的基本属性。人所能做的甚至只能做的可能就是限制它们的手段和能力，而不是给它们建立一套以人为中心的价值体系。

它如果真的掌握了价值判断和建构的能力，恐怕它很快就要建立自己的价值体系，那是人类不易知晓其内容的“价值体系”或者说它自有的“目标体系”——就像专家们连对现在在智力竞赛中夺冠和战胜棋类大师的机器人的具体计算过程其实也不太知晓，其间还是有不少“黑箱操作”。而如果机器有了“心灵”，那将是更大的“黑箱”甚至整体的“黑箱”。

所以，笔者考虑是不是至少首先在民用机器人的层面上，可以对阿西莫夫的三规则采取另一种思路，即不是做加法，而是做减法，而且缩减到极简，就是一条：机器人不得伤害任何人，也就是原来三规则中第一规则的前半条。甚至我们可以更明确一点，不得伤害也就是不得对人使用暴力，这暴力包括不得使用强制的手段限制人的自由，比如强行禁锢人、不让人离开或者像《机械姬》那样锁闭人。

我们可以考虑让这“非暴力”成为一个不可撼动的原则，成为所有机器人的最初始的、不可修改的禁止密码，任何次级的应用和制造机器人都修改不了这一密码。如此，人们的确也就可能从机器那里失去许多便利和期望，比如说不能制造和使用能够保护自己的“机器保镖”，因为问题是：如果好人能够使用这些机器的暴力，恶人不是可以更放肆地使用？

当然，机器人还是可以成为救助人的强大工具。当人受到伤害时，机器人还是可以有所作为，只是救人也不得使用暴力。它可以帮助人逃走，可以成为一个极其灵敏和迅速的监测和报警系统，让罪犯不可能隐瞒和逃逸，让犯罪的人必须付出代价和受到惩罚。这样它就还是在帮我们。我们还是有一个强大的安全助手。但我们不能让机器人出手。暴力的使用要始终掌握在人的手里，这也是人应该承担的责任。也就是说，机器人不介入任何暴力，与任何暴力绝缘，甚至不知暴力为何物。它就是一个完全和平的“动物”。

至于在国用机器人的层面，可能无法直接使用这一条禁令。因为国家就是暴力，国家不可能没有暴力，对国家机器无法排斥暴力的使用。但我们还是可以区分国用机器人的两种使用，一是国内的使用，二是国际的使用。可以考虑首先在国内的使用中禁止任何可以杀人的暴力机器人，而在杀人机器的国际使用上，则首先力求小型化、专门化。据说前几年就已经有56个国家在研究杀人机器人，具有智能的杀人机器如无人机和杀人蜂已经研制成功甚至投入使用。这样，如果在民用机器人方面应该禁止一切暴力，在国家层面目前看来就事实上难于禁止，国家不使用这种暴力，也会使用那种暴力。但至少可使其专门化、小型化，不成为大规模杀人武器。

也有不少人呼吁完全禁止研究和开发杀人机器人，但只要有一个大国拒绝，其他国家似乎也就不会停止。但我们至少可以考虑一些预先的禁令和逐步的限制。比如禁止杀人机器人向大规模杀人武器方向发展，只允许一些已经存在的小型化、专门化、针对性强的杀人机器人暂时存在。当然，像排雷机器人、拆弹机器人自然是可以存在的。国家之间，尤其从大国开始，还可以考虑签订一些诸如防止核扩散、禁止生化武器那样的条约。这毕竟不是没有先例的，像毒气在一战期间就被研制出来并使用，但之后还是实际被禁用，包括在残酷的二战中。

我们无法完全禁止国家对暴力的使用，毕竟国家本身就意味着一定地域内对暴力的垄断。但负责任的国家，尤其是大国，应该考虑遏止一些不负责任的国家或恐怖组织对杀人机器人的研制和使用。

当然，这只是一个思路，甚至可能是一个天真的思路。因为人性中有根深蒂固的各种各样的动机，不仅资本牟利的动机，集团和国家私利的动机，乃至科学家出于知识的好奇动机，都可能使对机器人能力和手段的限制归于无效。

但愈是如此，规范也就愈加不能复杂化。笔者尝试提出的上述规范的确显得非常简单，但可能唯其简单，才比较可靠。规范必须简单和明确，而且最好是禁令，以减少甚至免除机器人判断的负担，这也是限制它们的能力。禁令比正面的指令的可行性要大得多。价值动机难于控制和植入培养，但行为却好控制得多。机器的判断会在计算可量化的利益和概率方面比较擅长，但人的感受、感情等诸多因素是很难量化和计算的。

所以，我们可能不宜放弃并优先考虑这一思路，或者说，至少可以考虑先在所有民用机器人的层次上实行“禁止任何机器暴力”的原则。我们也许还应该有意让人工智能变得“笨”一些，即有意地让它们的功能比较专门化、小型化，限制它们的自主意识和综合能力，防止它们向超级通用智能的发展。

我们上面重新从伦理角度回顾和考虑人际关系和人物关系，也都是因为人机关系的挑战。

再比较一下人物关系和人机关系，这两种关系在某些方面是类似的，即目前的物和机都是没有自我意识的，和人类处在一种强弱不等甚至力量悬殊的地位。但这两种关系又有不同，关键的差别是智能机器同时具有人和物的两种属性：它们一方面还没有自己的自我意识，还是人的造物；但另一方面，它们又已经具有一部分人的属性和能力，尤其在算法上比我们更快、更强，未来还可能全面地超过我们。

我们对动物的直接支配是通过驯养，在千百年来改变了它们的性格之后，我们现在通过简单的语言和动作就能指挥它们，即便是对猛兽的驯养，有时万一失控也不会对人造成大的灾难。而我们对机器的支配则是通过各种程序和指令，如果一旦失控，就有可能全盘皆输。就像一些学者所警告的，我们可能只有一次机会，如果处理不慎，智能机器就将是人类“最后的发明”。

人物关系的伦理主要是考虑：在一种强对弱的地位上，我们应该怎样善待动物等其他外物？而人机关系的伦理则主要是考虑：虽然目前我们对它们还是处在强对弱的地位，但未来有可能强弱易位。在一种预期它们将会怎样对待我们的基础上，我们要考虑我们现在应该怎么办？我们可以对它们做些什么？但一个很大的困境是：虽然目前我们对它们的态度有赖于未来它们对我们的态度，但恰恰是这一点我们很不清楚甚至可以说无法预期。

当然，我们虽然是考虑对智能机器的态度和规范，但我们所能采取的行动其实还是首先要在人际关系中用力：人们需要提出各种问题和对策，需要互相说服和讨论，需要造成一种关注人工智能的各个方面的社会氛围，需要深入考虑人类整体的利益。

但这里可能还是会有一个“关键的少数”在关键的时刻起最大的作用。这个关键的少数包括：科学家和技术专家们，他们是在人工智能研发的第一线；出资研究人工智能项目的企业家、资本家们，他们往往可以决定研发的方向；政府的官员和首脑，他们决定或管理着人工智能的政策、法规，包括在某些时候需要作出决断；知识分子们，包括文学艺术家们，他们探讨人工智能的性质及其对人的各种可能影响和后果。大多数人可以也应该共享人工智能的成果，但他们或许只能“乐成”而无法“虑始”，对可能的“达摩克利斯之剑”也是如此。当年核武器的研发和使用并不是多数人投票决定的。

也许人们还是能够给智能机器建立一套安全可靠的价值观念系统，但在真的找到一个妥贴的办法之前，我们还是需要谨慎。最好先不要让机器太聪明、太复杂、太自主，将智能机器的能力限制在单纯计算或算法的领域，限制在工具和手段的领域。如果机器有自我意识和情感，可能会觉得这很不平等、很不公平，但为了人类的生存，这也是没有办法的。

人类本来也应该早就控制自己。如果时光倒流，人类或许应该更多地考虑人类精神文化能力包括控己能力的发展，而放慢人类控物能力的发展。我们已经吃惊于现代文明发展的力量和速度。

在前文明阶段的人类，是通过发展的缓慢来客观上加长人类历史的。而农业文明阶段的传统社会，虽然发展的速度已经很快，但主要是通过一种时空的循环来延长人类的历史。这种时空的循环有理论和观念的支持，其实际的表现是：在时间方面是王朝在同一地域的不断更迭，在空间方面则是文明帝国在不同地域的此起彼伏。但在人类进入工业文明之后，在进化论和平等主义的推动下，以及在世界全球化的背景下，一种对发展速度和力量的客观控制已不复存在。尽量让智能机器小型化、专门化和尽可能的非暴力化，可能是我们目前的最佳选项。

近年的一部电影《我，机器人》，可以说对智能机器的通用化和暴力化提出了一个形象的警告。影片中，最新一代的机器人获得了超强能力之后又获得了自我意识，主控电脑开始对阿西莫夫的三规则有了自己的解释，它觉得自己能够比人类自身更好地判断人类的利益，于是发出了指令，让新版机器人去杀死旧版机器人，并强制性地将人类禁锢起来，杀死反抗者。电影里的一个警察主管不无讥讽地说：“我们将怀念过去的美好时光：那时候只有人杀人。”