今天与CCF YOCSEF胡春明主席、韩银和副主席讨论12月12日即将召开的CCF YOCSEF年会中的Panel环节：“奇点”离我们还有多远？
“奇点”这个名词对我而言并不陌生，实际上我这一年，基本没停止对这个问题的追问。时间好像的确有一个轮回，把我又带回当初开始设问的“起点”。这两天，就将今年3月30日我曾主持的一场由互联网X实验室XLab主办的《奇点临近》沙龙的完全笔记分享给各位。让我们对CCF YOCSEF年会中的“奇点”Panel做个预习。
2014年3月30日 Xlab【互联网与人工智能的未来：奇点临近专题沙龙】笔记（补充场外采访）
今年3月30日，Xlab【互联网与人工智能的未来：奇点临近专题沙龙】在中科院自动化所智能大厦召开，会议时间为3月30日下午2:00-5:30，但由于嘉宾发言踊跃，沙龙研讨到6:30左右才正式结束。令人感动的是，针对“奇点临近”这一有科幻色彩的话题，众多嘉宾仍然非常重视，不仅均应约赴会，且几乎都准时到场。
《奇点临近》一书的出版单位：机械工业出版社华章公司对此次沙龙给予了大力支持，华章公司副总经理温莉芳负责邀请到南开大学教授、《奇点临近》译者李庆诚教授出席沙龙并为到场嘉宾分享了《奇点临近》的翻译故事及其思想菁华。
为了方便整个沙龙过程的记录，现将本次沙龙嘉宾的完整出席名单记录如下:
与会嘉宾（排名不分先后）：
李庆诚 南开大学软件学院教授（《奇点临近》译者，本期沙龙讲者）
温莉芳 机械工业出版社华章公司计算机出版中心副总经理
刘 锋 Xlab联合创始人
杨 静 中国经济网经营顾问（本期沙龙主持人）
王万良 浙江工业大学计算机科学与技术学院院长
马旗戟 互帮国际高级副总裁
吴怀宇 中国科学院副研究员，《3D打印：三维智能数字化创造》
常 疆 51 CTO副总编
武卫东 图灵出版公司总经理 总编辑
江 涛 科大讯飞公司副总裁兼天津讯飞信息科技有限公司总经理
何万青 英特尔公司中国区高性能计算和专业工作站方案架构师
万 涛 IBM大中华区首席安全顾问 IDF实验室创始人
赵嘉敏 东西网总裁、译言网创始人
张云泉 中国科学院计算所研究员 ，中国计算机学会高性能计算专委会秘书长
崔 军 中国经济网总编辑
陈熙霖 中科院计算所研究员，CCF副秘书长
余 凯 百度深度学习研究院(IDL)常务副院长
戴小京 财讯传媒总裁
谭晓生 奇虎360公司副总裁
胡世轩 上海帝联信息科技股份有限公司副总裁
赵婷婷 《CIO Insight/信息方略》杂志执行总经理
注：本次沙龙的讲者发言稿PPT与刘锋所做的互联网X实验室介绍PPT已在群中分享。到会嘉宾的自我介绍部分省略。沙龙的公开报道请参考阅读原文中的链接。
以下是我整理出来的与会嘉宾就《奇点临近》一书的观点做进行的跨界研讨记录，部分内容已加以编辑删改，作为收藏及参考之用。如有不妥之处，请各位专家及时指正。
【杨静】我们特别欢迎机械工业出版社——本次沙龙的支持单位，我们从《奇点临近》的译者开始自我介绍，今天我们的沙龙讲者是南开大学的李庆诚教授，非常感谢他发现了这本书，叫《奇点临近》，也让库兹韦尔的“奇点理论”和“奇点教”在中国有发扬光大的机会，另外，这也是一个缘起，让我们能相聚在这里。
【温莉芳】我特别感谢李庆诚教授这个团队，他能够信任我们这个出版社，能够把这个书介绍给我们出版社，所以我们有幸出版了这本书。我们来自机械工业出版社华章公司，我自己实际上是从事科技出版这个工作，今年是整整三十年了，我是属于机械工程这个专业出身，那我当时分在机械工业出版社，从84年到94年一直在出版机械工程方面的书，到了1994年，我觉得我们国家信息技术已经大量起飞，感觉到这种信息技术带给我们未来经济社会的发展是突飞猛进的，所以当时我跟我们的总经理提出我要出版计算机的书。后来我们有一个机会，华章公司是1995年成立的，我们是1996年年底加入了华章公司。到2010年底是17个年头，那么这17个年头，华章公司引进了国外很多著名的技术发明和一些名校的老师写的教材还有科技书，我想这十几年确实对咱们国家在培养计算机科技人才的进程，还是做了一定的贡献。那么我们出版这本书，作为我们出版人，感觉到奇点真的能够来临吗？机器的智能是不是真的能够超越人的智能，我个人是特别的期待。其实我们任何的科技进步都促进着社会的进步，包括各种机器已经超越了人的体力。那么未来个人也抱着乐观的态度，书中提到 DNR，就是基因技术，纳米技术和计算机技术，它们能改变我们人的肌体构造，尤其是能够延缓人的衰老，这个我觉得太好了。所以书中介绍，这些技术能够带动变革，成为指引，我想各位的专家，可能都是指引人，那作为我们出版界的出版人，我们愿意作为这种奇点技术的传播人，将技术更好地传播给社会各个层面。这是我们的一种理想。
【李庆诚教授的演讲】主要内容请参考他提供的PPT。南开大学软件学院教授（《奇点临近》一书译者，本次沙龙讲者）的分享让我们了解到《奇点临近》一书背后的出版故事，他对库兹韦尔的思想体系进行了独到解读。李教授认为库兹韦尔的奇点理论，未必在技术上能够实现，但他所代表的科技与宗教人文结合的思潮值得特别关注。李教授认为在科技迅猛发展，甚至处于失控边缘的当代，中西方思想的交汇对人类文明的存续会起到重要的作用。他认为尽管从计算机科学和人工智能技术的进展方面看，奇点还很遥远。但构成新世纪三大技术的基因学、纳米技术和超能计算机机器人(简称GNR技术)的交互，到底会突变出什么结果很难预料。那么GNR的共振是值得警惕的。作为计算机科学领域的学者，他并不担心计算机发展速度会脱轨，而更焦虑于生物研究的控制无序，去道德化，认为一些科学狂人的做法，甚至会危及人类，应该适度控制。
李庆诚教授认为奇点临近这本书反映了西方科学借鉴东方思维文化，从天地人、宇宙的立体视角审视问题，以历史的客观事实为基础，分析规律，预测事物发展的走向。有三点值得学习“1.全时空的视角，以历史客观事实为基础，探求规律，预测未来，2.从科技历程出发，又能跳出科技，去审视问题，3.融合各种科学的模式，思考问题”。
【杨静】非常感谢李庆诚教授的分享，我发现现在有一些国外的计算机学者，他们在写顶级论文的时候，也开始用我们的汉语拼音作为题目，有的写风水，直接用汉语拼音Fengshui作为论文题目，国外学者现在研究风水，了解阴阳，也是在研究我们中国的思想文化，确实如李教授所说，科技与宗教和人文的结合是趋势，我们的跨界研讨也是为了跨界融合。
【赵嘉敏】其实刚才李教授也讲的差不多，库兹韦尔每天也在探索实验自己的学说。他每天要吃250片药，希望在有生之年看到奇点的来临。库兹韦尔被认为是美国当代最有成就的发明家，他的名字刻在一个有名的纪念墙上。刚才李教授也谈到了，人文和科技的关系，从李教授的角度看，他认为应该是人文领导科技的发展。但是从另一种角度看，人性也是技术的一种发明。换句话说，人性是科技的一个产物。如果从另一个角度来看，人和人的存在，人类文化的存在，都属于阶段性的，并不是长远的。不过中国文化更强调人的因素。
另外跟大家谈几个名词，三个，一个是基因，另外一个名词就是叫做Meme，也就是文化基因，它可能是人类不同于其它生物的，我们今天可能更倾向于文化基因和生物基因不同，生物基因遵循达尔文进化论，文化基因可能更遵循拉马克进化，所以文化基因的进化速度会大大快于生物进化速度。这也是我们说为什么人类社会进化的速度是在加快的。最后一个词是技术基因，英文是TEME；科技基因具有文化基因的一些特征例如加速进化，不同的是文化基因是有生物基础的，而科技基因已经完全没有生物基础了。人类为什么存在，为什么能作为一个技术载体存在？这是技术文化传播传承的一个必要条件。一旦技术进化到能够自己服侍自己的时候，就不需要生物载体了，这可能是最恐怖的，这意味着人类可以灭绝了，实际上就不需要了。提出这三个名词会比较有意思，可以让大家碰撞出一些火花。再退一步，今天我们还是面临一个问题，人类社会到底还会不会再进化。因为在文化基因上我们已经看到了进化的这种潜力，拉开的距离会越来越大，人类社会存不存在分化的可能性？当然全球互联可能会减小这种可能性，但不是一定，所以今天抛出几个问题大家讨论。
【杨静】赵嘉敏的观点就是属于技术决定论。一般而言，理工科出身的人更偏向技术决定论，而文科背景的人更注重人文关怀。今天没有到场的吴甘沙，英特尔中国研究院院长在奇点问题上属于理想派，他写过一篇文章《与机器赛跑: 与机器赛跑：Win or die》 ，总的观点是机器智能终将超越人类，其中的问题可用技术来进行优化解决。另一种是实践派，也是在产业界推动人工智慧发展的代表人物。在中国，腾讯、阿里这类的互联网企业，可能是以商业模式作为他们决胜市场的基因，但是在计算机前沿技术的探索方面，百度一直以技术基因见长。今天出席沙龙的嘉宾：余凯先生，他就在做百度大脑项目，百度大脑还是要推出。库兹韦尔被邀请在谷歌开设奇点大学，其实他有两方面因素，一方面他也是犹太人，很多的互联网企业，包括Facebook，也是犹太人创始，犹太人有一种宗教情结，他们也是技术宗教的信仰者，一直推动人类智慧的前进。谷歌的创始人之一佩奇已故的父亲卡尔·佩奇（Carl Page），曾是一名计算机科学家，也是人工智能的先驱之一。所以谷歌不懈追求人工智能技术的发展，不断推动人类进步，也是一种信仰。而且也就是为什么谷歌将库兹韦尔请到企业里，实践这个奇幻的理论，包括谷歌去投资一些机器人公司，成立X实验室都是类似的战略。那么在中国，百度也有这方面的雄心。余凯是人工智能领域的专家，李彦宏成立了一个深度学习研究院，我研究了一下，以李彦宏和余凯为首的这个研究院有八十多人，这个团队很厉害，他们希望能够做成中国的谷歌实验室，同时百度已在硅谷设立一家新的人工智能实验室，取名“深层学习研究所”。余凯是百度深度学习研究院的常务副院长，这里我想请余凯来分享一下他的观点。
【余凯】我自己的一个体会，技术是有善恶之分的，那么作为一个从事技术行业的从业人员，我觉得技术必须要有方向，如果不加以控制的话，它会变成一个很糟糕的事情，但是如果加以控制，它会彰显人性。我可以举一些例子，互联网当然是一个技术创新的一个成果，在过去的十几年里面，实际上互联网是完全的在彰显人性，你看互联网让人获得这种信息或者知识的能力变得更为平等，它让一个人，无论在边远山村，还是在纽约华尔街，都可以平等的获取知识，以前有巨大的这种差别，到现在的话被互联网抹平了。比如说社交的微信，让人和人之间有更为便捷紧密的交流，阿里，亚马逊让人们在家就可以购买东西，所以互联网它能够去产生一些模式，让人类获取更大的自由，获得更多精神的愉悦，获得知识的满足，另外它的这种效率，也是跟以前完全无法比拟的。所以从这个角度讲这是一个非常“善”的技术的发展。那么从另外一方面，比如我们再举一个恶例，就是原子弹的发明，实际上就是一个非常非常恶劣的东西，那这个东西虽然也是一个科技的巨大成功，但是它可能导致的结果是让人类跌入一个万劫不复的境地。包括我前段时间参加某个大会，有一个报告讲的是某军事院校的一个研究成果，可以自动的瞄准人头部，直接爆头，比任何一个神枪手都要做的好。我认为这个技术是一个非常恶劣的事，完全应该避免。所以我的观点是，技术能拥有人文关怀是非常重要的，它有可能向一个邪恶的方向去发展，也有可能向从善和彰显人性的、使人获得充分自由的这个方向去发展。
我的话就是说对技术的方向，你的选择，要有人文关怀，要有更大的胸怀来看这个问题。不是更多的考虑小我，而是考虑大我，如果能考虑整个社会，就是更广泛范围的利益的话，实际上就能够获得大家共赢的这种局面，这是我基本的观点。
对于奇点临近的问题：以过去我从事人工智能行业十几年的经验，然后再看我的前辈，比如说在八十年代到现在整个的发展，人工智能发展的这些年，其实我是很担心的。因为我觉得整个产业确实是以非常快的速度发展，特别是过去的三十年里，我觉得无论是互联网行业，还是其他行业取得的进展，实际上跟技术能力本身的发展关系并不大。其实最大的两个因素，我觉得一个是计算能力，另外一个数据量。就这两年的话，实际上是发展得非常迅速。所以从库兹韦尔的一些观点，就是说价值1000美元的电脑的计算能力，是不是就是说所谓到2045年能够超越人脑的计算规模，其实我觉得这个大家可以去想象。至少我从过去三十年的时间里，看到的这种进展来讲，是计算能力跟数据量的这种成长，整个人工（计算）智能的这种发展走势看是有可能的。我认为有了数据以后，计算能力不断加强，我们可以去开发更好的东西。从过去30年来看，计算能力和数据量制约了人工智能的发展，若说对于2045年奇点临近的问题，我对机器智慧未来的发展是担心的。
【杨静】余凯是对人工智能发展的乐观派，但业界也有谨慎派，例如我们的另一位嘉宾，中国计算机学会副秘书长，中国科学院计算所副所长陈熙霖先生，他对人工智能的发展就持相对保守的态度。现在我们请他来分享下自己的观点。
【陈熙霖】对2045奇点到来的结论我是不认同的。机器智慧很难超越人类，也许更像永远处在逼近的过程中。提到这里首先涉及到如何衡量智慧的问题，如果仅仅是从记忆能力上看，或者计算能力上看，今天的计算机已经远远把人的能力甩在后面了。千百年来，我们很多工作都是希望延伸人的能力，从体力到智力。但从人类的智力活动来看，我们包括了记忆、联想、归纳、演绎、判断、思考、顿悟、甚至做梦等诸多智力活动，我们的智力还与情感有关，从这个意义上看机器智慧很难超越人类。现在所谓的超越，更多靠的是蛮力搜索，超强的记忆。但这远远不够，以围棋为例，虽然今天19X19的围棋盘上，机器还不是人类的对手，但如果是9X9的棋盘，可能机器已经是冠军了，同样，即使在某一天机器成为19X19围棋的冠军，恐怕又会面对29X29棋盘上人类的优势。因此对2045奇点到来的结论他是不认同的。
另外，技术本身的善恶是不存在的，如何让技术在一个法律和伦理框架下发展，需要好好教育我们的下一代，从一开始就要教育他们，先伦理、道德，然后才能技术。如果我们过早的让他们看到技术的强大，结果会很可怕。你想为什么，我们都从年轻过来的，在座的男士请回想你们最愿意打架、最乐意挨打是什么时候，从初中开始到高中，年轻的时候！人类也是一样，当人类处在年轻的时候，也容易鲁莽，就像现在我们在某种意义上，将人工智能娱乐化了。
【杨静】看来熙霖老师对奇点理论持比较保守的观点。下面我们请高性能计算的专家，中科院计算所研究员张云泉谈一下他对奇点的看法。中国的天河二号超级计算机现在排名世界第一，那么超级计算机能否进化出超越人类的机器智能也是我们非常关注的话题。
【张云泉】我认为机器智慧很难超越人类。现在的科技有创新过度的倾向，有些时候技术发展被资本的力量所绑架。创新的东西越来越快越来越快，我们跟不上了，我们刚消化一个东西，接着又来一个东西，然后又出现另一个。大家看过去，二战以后创造的那些科技成果，人类享用了几十年，大家过的很幸福。但现在自从互联网出来了以后，情况大不相同，人被分成了很多的信息阶层：听广播的，读报纸的，看新闻联播的，刷微博，刷微信的，结果信息绑架了我们。奇点我认为仅从超级计算机的技术发展状况看，几十年内实现的可能不大，但在资本的推动下，也有自我实现的可能。
【杨静】中科院的两位专家对奇点的态度都比较保守，下面我们来听听人工智能专家的意见。请浙江工业大学计算机学院王万良院长谈谈您的看法。
【王万良】我给自己的学生讲人工智能的时候，经常这样说：大家没有学人工智能的时候，你感觉到很了不起，对人工智能往往充满激情幻想。但是当你学了之后，你会感觉到人工智能其实还很初级，局限性很大。我相信你们学了《人工智能》之后，绝对会比现在理性。人工智能要真正超过人的话，它必须产生新的思想，必须自己产生新的算法，而且是人没有掌握的。我个人的观点，只有在这种情况之下，人工智能才是超过人的智能，才会威胁到人类。许多人担心由于人的误操作，机器会失控。其实，这就像我们制造武器搞错了，结果打在自己战士身上一样，完全可以避免。现在，不管它对我们未来有没有威胁，它现在还小着呢，还不足威胁到我们人类的生命，还是让它为我们人类服务。再说现在的人类，自我毁灭的可能性相比机器人毁灭人类的可能性我感觉是更大。
【杨静】学界对人工智能的态度都偏谨慎，让我们再来听听产业界的看法。有请科大讯飞的江涛副总裁。
【江涛】我们科大讯飞一直走产学研一体化的路，在自动控制、云领域与计算所也联合成立了实验室。因为原来也是一台一台写代码的，对机器智慧超越人类智慧的问题也的偏保守的。我觉得没那么容易，实际上在战略上，讲未来会怎么发展，但是具体做起来，举我们迅飞自己的例子，迅飞早期从语音合成开始切入这个市场，语音合成就是机器把文字能够读出来。最早开始，80年代开始做语言识别的时候，大家说就是要理想化的，做了很多尝试和努力，发现做出来的东西，就跟鬼叫一样，后来这个方向被业界彻底放弃了，还有什么呢？还是把人的录音放在一起，然后刚才余凯也讲到，我们看到智能的驱动，确实是靠运算能力。早期语音合成效果很差，现在的语音合成，我估计百度也进步很快，我们现在已经是多少G的系统，可能今天我们在这里开会的开字，在我的系统里可能有成百上千个部首项。这些说明什么呢？就是跟人、跟智能相关的东西，其实我们真正的还没有研究透，人到底是怎么发出声音的，人到底是怎么听到声音的，这是人脑的一些高级活动，我们没法完成。当然讲语音识别，最终还是把大自然赋予人的声音给录下来，我拿到录音以后，但实际并不是机器真正了解整个发声的过程，这有一个复杂的过程，而我其实是靠数据，有足够的数据，如果没有其他的发音，再加上足够的运算能力，能找到对应的样本。现在语音合成、语音识别作为人工智能里边的一个分支，普遍被认为已经处理的比较好的，还仅仅是流程。包括语音之间也是，其实百度我们都这么做的，业界都这么做，找到足够多的样本，你对应的声音，数据简单的时候，我找到对应的，还是没有真正理解大脑是怎么听的这个过程，还没有把那个技术用进去。这些人脑的高级活动，我们没法合成。
所以今天我很有共鸣的，李老师讲的，GNR，就是未来的突破点在什么地方？有可能这些技术发展过程中共振，真正的基因，生命科学发达，科学发展，可能到了一定阶段能够产生新的共振，目前靠计算能力，靠数据堆积的只能到一个点，不像语音识别，现在已经做到99%了，再往下，每一步的提升会越来越难，越来越会接近一个瓶颈。下一步的突破可能，我们只能预期，是GNR这些材料科学，生命科学互相交叉，可能会产生一个新的东西。但至少我们具体实际干的，目前都不太可能看到未来有什么新的机会，大家还是没办法，靠数据去推，靠计算能力去推，这个途径越来越困难。
【财讯传媒总裁 戴小京】 我完全是门外汉，对这个领域很好奇。看了《奇点临近》再听各位讨论，我觉得有三个问题很重要：第一个是机器学人，模仿人，在智能上能否接近人或超过人？我觉得是否2045不重要，关键有没有这么一个时间能超过，有还是没有？我倾向认为可能有（以前我认为可能没有）。首先在形而下的能力上，刚才王院长讲的乘法变成加法，机器通过加快运算，把复杂的拆成简单的，多算快算，再复杂的方程开根号都能算出来。另一个在寻找目标的时候，我们不用高瞻远瞩，不用什么直觉悟性，就盯住目标的差值反复迭代，最后总能给你找着了。你只要给我足够多的数据，有足够快的运算，总能给算出来。而现在的运算速度显然是越来越快，现在收集数据的能力显然也是越来越快，传递的速度也越来越快，所以通过这种笨办法，在形而下的问题上，机器应该很容易就超过人了，刚才陈熙霖老师讲的这个围棋，就算变成29×29，机器可能一下算不过你，但是我最后运算能力提高还是能追上你。
再就是人有时靠直觉。我想直觉一方面可能是后天养成习惯变成下意识的，这个机器不难模仿，另外则可能是经过几百万年的生物积累，基因积累，做出的一些选择，我们说的也就是带有直觉的，这个不太好模仿。刚才陈熙霖老师讲的艺术家对艺术呈现的这种选择确实不是逻辑理性的。但是只要不是后天习得的，就应该能在基因里头找到这些原因。现在人类的基因学，微量痕量脑化学，加上纳米，加上脑电波扫描，加上快速运算，还有包括对非结构性数据的采集和处理，这些东西已经不是简单的只局限于把乘法拆成加法来运算了，机器恐怕也可以模仿直觉了。其实在现代生物科学进入基因层面研究的情况下，这些东西我认为看见曙光了，就算不是2045，但是它很可能是能达到的，所以说，奇点这个东西关键是y=1/x有没有一个明显小于1了还在不断变小的x，x有没有会明显趋于零的这么一个趋势，一旦这个东西存在，你自然相信我们的y正在攀上去，而且会加速攀上去。它是哪年并不重要，重要的是它存不存在。这是关于第一个问题的想法。
第二个问题我更关心的就是机器什么时候会反客为主。如果它在一些能力上，甚至在智慧、聪明的程度上都要接近或超过人类的时候，机器什么时候会反客为主？我们一直说，刚才余凯也说技术有没有善恶的问题，其实关键是机器有没有自己的主张。人是主人时候，善恶主要由人决定，但是机器一旦反客为主呢？机器会不会反客为主呢？自我主张的根源是情感区域。但是情感是怎么来的？为什么我们看到蛇就紧张，看到一些东西就害怕？其实也都跟基因积累有关，可能远古人类感知到的东西现在在你这儿会表现出各种情绪，比如你一激动，脖子上的毛就会竖起来，你的肌肉会紧张，愤怒了你的牙就会咬，这都是基因帮你选择的，你一愤怒就这样了。人们对这个区域研究越来越深入。或者在某一个点上，刚才咱们几位老师都表示对生物创新要警觉，但人工智能技术要真是创新到哪一天，人们把那个情感密码，包括价值观什么赋予了机器，你确定它不会产生自我主张吗？你知道它不会反客为主吗？所以这是一个点，但是如果有第一个点，我认为第二个点也是总有一天我们要碰到的。
第三，就算没有第二个点，这第三点仍然是非常危险的，是什么呢？《奇点临近》里面讲的生物和机器的边界越来越模糊，人和机器越来越融合。人的所有的问题，所有的冲突，迄今为止所有的灾难和所有的幸福和痛苦都源于我们内心的纠结，人类内心本身都是矛盾的，但是好在人类能够用一个群体的组织结构，保障不让某个个别纠结崩溃引发特别大的问题，给人类带来全面灾难，即便如此这种情况也出现过，比如说希特勒。又如马航事件的各种假说，有一种机长自杀假说，实际上说明现代技术其实会突然赋予某一个人非常大的权力，这种权力可能失控。今天这儿有许多懂技术的，都知道现在的信息技术已经无孔不入了，而且能够瞬间被操控，有时候有可能局部的某一个人，他有机会控制了非常巨大的，足以毁灭人类好几次的技术，而恰巧在那个时候这个人崩溃了他滥用了这个权力，也许人类就万劫不复了。
【杨静】关于失控的问题，我们问一下安全问题的专家，奇虎360副总裁谭晓生，他今天也是刚刚从另一个特别论坛赶过来，谭总自我介绍一下，另外请教您对于2045奇点临近的观点。
【谭晓生】《奇点临近》这书我还真看过，所以推荐给大家读一读。刚才说到机器会不会出差子，其实不完全是理性判断的，你想所有计算机程序都会有bug，因为在正常运行，哪怕适应了，刚才说机器人服从三定律，我在上中学的时候，看过阿西莫夫的小说，但是后来大家都没想，你这个定律最后靠什么去规约，是靠有一套监督机制去规约，这个监督机制会不会出错，它完全可能会出错，可能由于某个器件的故障，出错了，已经变成1了，或者是有一束射线那时候刚好就过来了，0就变成1了，这个就可能会导致整个体系的崩溃。在计算机这个专业干了二十多年，到最后现在的感觉是计算机系统是一套最不可靠的东西，它到处都是漏洞，人为的留后门这是一种，编程的能力不足，留的漏洞是一个，体系结构天然的缺陷是一些，还有一些偶然因素会触发的，它的工作机制本身出了问题。刚才大家都讨论多余的假设前提，都是在现有的游戏规则之下，你们有没有想过游戏规则会改变的？我们现在是用人类游戏规则来做的，机器在跑起来之后，将来这个世界上可不可能存在另外一种不同的模式？这个计算机会不会运行另外一套逻辑，那套逻辑也可能是很差的，会变成一个机器一个样，这是很难的，再加上人类中间人机化这种进化其实是有大量的组合，如果全部都是基因的组合，人的进化恐怕不是有这么快，里面有大量的基因突变。
刚才说到平板，基因射线，其实都是计算机系统或者是机器复杂的基因突变，基因突变这里边才会产生新的问题，但在规则未设立前，这个突变未来会变成什么样的，我觉得是极难预测的，现在这种计算能力本身，机器操纵人也有可能，再加上突变的可能，我觉得未来的世界人类完全变成边缘化的，是挺正常的。