9551
2021年4月10日-12日，吴文俊人工智能科学技术奖十周年颁奖盛典暨2020中国人工智能产业年会在北京和苏州同期圆满成功举办。中国科学院院士何积丰、京东集团技术委员会主席、京东人工智能研究院院长、IEEE Fellow周伯文、复旦大学计算机学院院长姜育刚、上海交通大学教授李建华，受邀在上海中谷小南国花园酒店，2020中国人工智能产业年会—可信AI专题论坛上围绕「新基建时期，如何推进人工智能安全、伦理、标准等的建设？」主题进行了探讨。尖峰对话由武汉大学计算机学院教授，卓尔智联研究院执行院长蔡恒进主持。
武汉大学计算机学院教授
卓尔智联研究院执行院长蔡恒进
Q：AI开发是否会威胁到人类的存续？如果是，多长时间后会达到这个地步？我们知道的背景是，有科学家们曾经表示对这个问题非常担心。这个问题没有标准答案，只是想听一下嘉宾们怎么回答这个问题，请从何院士开始。
何积丰：人类本身是会进步的，它有很大的动力，就是人类对新的东西会很好奇的，不断想探索后面到底有什么。有时候好奇心带来好东西，有时候带来坏东西，我们人类还有一个特点，我们很愿意纠错。从这两条出发，人工智能其实还是在起步阶段，所以它对我们有多大威胁，我估计这个阶段还不大，如果到了一定阶段有偏差了，我相信人类有办法纠正，所以现在不要担心这个问题，现在还是希望让它在正确道路上，先发展，先早点走，这是我个人的观点。
周伯文：我非常同意何院士的观点，任何的技术在发展过程中，一方面会给人当前带来很大的价值，另一方面它的想象力会让社会产生面向未来的设想，历史上都有过。人工智能，显然是人的想象力远领先于技术现状的阶段，这个正好反应了人工智能技术，不管从理论还是从方法，还是实践上讲，远落后于想象力，这也说明技术本身不成熟，我认为这个问题目前一点都不需要担心，因为我们目前看到的理论、方法、实践都不支持目前我们做的人工智能能够具有很强的自我意识，具有像人这样的意识驱动的能力，目前没有看到这个路径，所以这个阶段我们把很多时间拿去讨论将来会不会被人工智能控制，是对我们当前技术的干扰，不应该花太多时间讨论，这是第一个观点。
第二人工智能有关的治理，敏捷治理什么意思呢？我们对人工智能的理解并不够深刻，我们的治理规则，因为对人工智能理解不够深刻，规则也不够深刻，所以第二点到人工智能开始，会对这个问题产生异议的时候，那时候应该有诸多的时间，因为人类纠错，会让我们有足够的空间和时间做成，即使这个东西将来到那个地步，我相信还是有办法的，这是第二点，前提是我们研究要透明，就是AI的伦理研究，伦理研究这个东西不会突变。这个东西是很长的变化过程，这其中有机会修改。
第三，娱乐性质的，这个问题问得太多了，跟这个问题类比还有一个问题，你们怎么看待外星人，这两个问题有类比，但是第二个问题更深刻得多，我们对外星文明怎么共处，将来是不是处在黑暗森林这样的法则，这个问题比人工智能更迫切，即使这样我们也不应该停止探索太多，停止探索技术的进步，更不要说人工智能。同时强调可信赖AI，强调人工智能治理，强调人工智能伦理价值观。
姜育刚：特别赞同前面何院士和周总讲的，任何新技术在诞生的时候，都会引起大家各种各样的顾虑，恐惧也好，当年路上都是马车的时候，突然出现了汽车，我们也有担忧的声音，所以现在人工智能其实还是在发展的早期，我们现在还是讲弱人工智能，强的人工智能还没有出现，弱人工智能我们也没有做好，只是某些场景能用的，过去做了很多年都不能用，现在能用了，根据有很大的进展，但是很多场景还没有做得很好，这后面还有很长的路要走，所以现在确实是像何院士讲的，担忧太早了。
而且现在技术发展到这个点上，弱人工智能还没有做好的时候，我们今天还有这样的论但，所以我们意识到技术发展的同时，也要适当做一点人工智能向善、可信的规划，整体上来讲，整个对前景还是比较乐观的，人工智能肯定是有利于社会的进步。
李建华：前面三位专家谈的观点我非常赞同，我觉得的确今天的时代是弱人工智能的时代，我讲一个非常简单的例子。
小区现在进出车，识别车牌。如果你车开得快一点，或者方向偏了一点，你基本上是要倒出来，第二次给它识别车牌，所以我觉得人工智能是很好的前景和方向，因为它也是要跟技术发展相通的。
像我们第二个话题的物联网，5G，当我们看每次信息技术革命性突变的时候，今天有人工智能这个时代，其实我觉得跟大规模的计算能力，大规模的接入能力，大规模的处理能力，大规模的存储能力是分不开的。这些年我们唯一的兴奋点就Alpha Go和人类的PK。
第三是畅想的观点，当我们看好莱坞两部片子，可能大家都有印象，《终结者5》当中的液态机器人，如果做到那种程度很厉害，中间还是施瓦辛格的，搞来搞去你最后把它灭了，它还是很多电线存在的，如果我们看最高境界的时候，其实有很长的路要走的。因为我是做安全的，如果我们看一部电影叫《黑客帝国》，它中间有很多知识点就不展开讲了，但它也代表了今天我们讨论人工智能这个话题，比如漏洞、网络攻击，当我们把机器看成复杂的智能体，都会改变意识，都会从一个好人变坏人，坏人变好人，它也在博弈中。
Q：刚才周主席提到，现在机器还没有自我意识，我想追问一下，未来机器会不会有自我意识？
周伯文：自我意识是需要分层的，目前深度学习领域里面，自我的关注力某种意义可以认为是自我意识的初级表达，从技术研发的角度来讲，AI从弱人工智能向强人工智能进化过程中，会慢慢增加这块儿技术比重，我相信会有越来越多研究人员往这个方向发力。但是这个层面的自我意识和我们说的机器要代替人类需要的自我意识完全不同层面，这个差距就像一粒沙和一片海洋一样。
Q：别的嘉宾有没有补充的？何院士有没有补充的？
何积丰：实际上从向善的观点，我们希望机器人慢慢有自我学习能力，如果都是我们每次训练它的话，那就不是我们培训的方向，但是我觉得也没有什么可害怕的东西。人是自己的自我意识高，也有差别。只有好的意识，现在还没有看到坏的意识，除非一些动画片的可怕例子，目前我们机器人设计过程还是比较向善的。
Q：AI的快速进步是否会导致大规模，比如30%的失业？如果是，什么时候会到这个地步？因为这个问题也是有很多人会担心的，我们知道从AI进步的角度来讲，AI系统从AlphaGo到AlphaZero、MuZero这种算力的进步,大概是每一年翻十倍的样子，进步非常快，而且它应用领域的进步也是在扩大规模的，各种领域都开始逐渐有很强的AI，就自然有人有这方面的担心，我们请问一下各位嘉宾，你们是怎么看这个问题的？这次我们从李教授那边开始。
李建华：我觉得在劳动密集型或者知识密集型的话题下，来讨论失业的话题会更有趣，因为现在很显然，你让员工24小时高强度的迎接各种各样的变化，这真的受不了。包括密集型的生产制造这样的场景下，机器人与它的智能，与它的情感、意识取代，高强度密集的能力真的还要用一部分人，我觉得是有可能的。
另外，未来很大的担忧，就是讲到现在的无人机，将来AI带来的变革，原来比如说是人海战术，我估计在未来新的战争生态下，这一类武器装备会更多，另外把这个延伸讲，我们一些高危险的从业者，这些可能会被智能机器人所取代。
姜育刚：机器取代人或者人工智能替代人，现在某些场景下已经发生了，比如说在公安破案的时候看视频，现在节约的劳动力不只是30%，尤其是人工智能的方法，初步过滤70%可能都没有问题，已经有了。可能某些场景下现在做不到，但是有一些场景确实是可以，比如安检人脸识别大部分都在用，其实已经发生了，我们觉得至少到现阶段还没有太大影响。我特别同意前面报告提到的，未来如果很多工作被取代的时候，如果做低端工作的人，要通过教育进入一些高层次一点的行业里面去，所以怎么投入教育是很重要的。
另一方面，取代一些人也没有什么不好，我们以前一些人工作五天，未来可以工作四天、三天，可以把海滩修好，大家日子好了，也蛮好的。
京东集团技术委员会主席、京东人工智能研究院院长、IEEE Fellow周伯文
周伯文：这个问题可以跳出人工智能看，有一种说法，人类整个发展历史，就是不断通过新的技术手段，去从能源和信息两个层面改造这个世界，不仅是人工智能，蒸汽机、发电机等新科技的使用，都会重塑人和机器的协同关系。
回到AI这边，昨天的演讲提到，AI在社会中部署一定会改变人和AI的协同关系，AI的普遍，像何院士讲的，AI作为一种工具，作为我们认识和改造世界的工具，会和各个行业结合，结合过程中一定会重新定义和人是怎么协同的，协同的效能提升会真正带来，像以前看到能源和信息的进步，这是第一点，不可避免的。
第二我们没有必要悲观，AI也好，技术也好，协同关系会进入三个阶段：首先替换阶段，像汽车的发明替代了马车和马车夫，中国的《红楼梦》里面有叫班，整个官老爷出行有叫班、班子领导，一叫二叫，这些之前都有的，车发明以后都没有了，所以第一阶段产生替代，替代是初级阶段。替代之后马上会产生协同，替代以后新的生产秩序下，需要新的工作岗位产生，怎么定义协同，让协同更有效率，才会产生新的工作机会。第三阶段就是重塑，人和AI的协同关系会重塑人的生产流程，重塑过程中也会产生新的机会。比如用京东智能客服的例子，首先人工智能取代了很多繁忙、繁琐、半夜咨询的问题，这些问题给人工来做，员工幸福感并不高，这块儿替代某些情况是良性的。到后面协作，你发现它会重构，形成新的岗位，比如如何产生人工智能训练师，人工智能训练师在不同的商品、不同环境下让人工智能能够对不同人服务更好，所以新的岗位就产生了，这是代替开始的过程，代替处理好的话，那围绕我们提的价值对齐来讲，替代的本身是更好的，可能不可避免会有一点点，但是整个对社会影响是良性的，而且将来随着技术的进一步成熟，带来的正面效益，带来新的岗位会远超过原来替代的岗位。
何积丰：最近大家注意到网上说招工很困难，什么原因？过去农民到城市来，能够找到工作很高兴，现在大家也挑选了，有的工作可能没有人要干，现在建筑工地招建筑工人越来越难，还有山里面招矿工很难，所以人工智能替代一部分行业是大势发展，不是人工智能想替代，是人希望人工智能替代。
第二条从人类历史发展来看，技术进步会提高人的生活质量。我同意周总说的，我们人和机器要协同，这里面有一个配合的问题，有的工作你不愿意做。所以发展前景还是非常美好的。
Q：感谢四位嘉宾的回答，我们进入第三个话题，在全球范围内达成人工智能伦理共识的有没有难点？如果有的话，难点在哪里？怎么解决？
何积丰：我相信大家在追求达到共识。过去是达不到共识的，因为很多东西相互是矛盾的，我们现在做数据挖掘，我们做人脸识别，这个事情欧洲是通不过的，我们用惯了，就算了。如果技术上做一个统一标准，我相信很难。
我举一个小例子，大家注意到家里的插座吗？那么简单的东西，美国有自己标准，日本有日本的标准，中国有中国的标准，怎么没有统一？就是关于人脸，每个人理解也不一样的。比如新冠疫情期间，中国政府说关城，大家觉得挺好，保证安全，在欧洲为什么就行不通？它觉得这个事情侵犯了所谓的个人自由了。有的事情没有办法追究的，我们只能在标准、理论上执行，具体的措施上我不太相信会统一，本身就是多元化的社会，怎么会统一了，我对这个观点比较悲观。
周伯文：我也同意何院士的讲法，比较潮流趋势浩浩荡荡，不会看到说大家都在用汽车了，我们国家说就要用马车，因为这个更环保，这个国家全建立在以马车的基础上发展经济和GDP，这种非共识是不存在的。
刚才几位专家，不管欧盟也好、中国也好、美国也好或者其他发展中国家也好、联合国也好，我们看到了很多他们对人工智能治理和人工智能准则的讨论，如果大家用NLP的算法找关键词的话，或者找匹配的话，把他们放在一起，是半径很小的圆，大家都在圆里面，不会存在南辕北辙的情况。这个角度讲，所以大的方向上很是有共识的。
但是具体的细节，比如顺序方面先做哪件事情，后做哪件事情，优先级在实践方面因为各自的国情不一样，发展情况不一样，应用场景不一样，产生价值不一样，我相信是存在差异的。刚才何院士说的例子特别好，因为我经常出差，所以我有美国、欧盟等各个国家的插头， 这个东西存在有它的原理，插座的转换是标准产品，现在还有更多SMART device。首先不要担心差异的存在，差异存在的情况下，只要大家保持沟通，如果不透明我并不知道欧洲插座的细节，那我可能转换器不知道怎么设计，我不知道你的电厂怎么分布的，能源主要是来自哪里，但是你产生的电的界面和参数是共享的，这样的话也没有特别值得担心的。
总结下来，第一大的原则达成共识，这个共识目前看，我举的同心圆的例子看，理念上讲是慢慢达成共识的，现在只是在执行过程中，大家的先后顺序、优先级能不能达成共识，这个我个人是持谨慎的态度，我们要密切观察。
第二不会觉得吃惊看到不同标准和差异的存在，大的原则不应该错，这个世界还是大的原则应该共享，这是人类社会存在的基石，但是要充分尊重各国发展国情和阶段。
第三呼吁大家多透明，交流，细节可能不能共享，但是相互之间知道边界在哪里，基于共识和边界，可以设计标准的产品，一个国家的人工智能系统，通过何院士说的例子一样，有可能有机会在全球范围帮助解决同样的问题，技术影响力超越边界，这是我的观点。
姜育刚：非常同意前面两位专家的意见，可能不只是这些问题上，任何问题上全世界达成100%的共识很难，大概是不存在的。
像前面嘉宾讲的，大家关注的点还是有很多相似之处的，反过来我更关心一点，可能更希望各个国家都有开放的心态，多交流、多了解对方的观点和需求尤其是对我们企业来讲，未来我们的人工智能相关产品、技术、服务，我们希望不只是给中国用，我们还希望到其他地方用，在推出去的时候，就要了解当地的规则和要求。
前面这么好的例子，相信全世界大部分插座都是中国产的，所以不管它有什么标准和要求，我们都能够给它定制的生产，汽车驾驶位无论左边还是右边，我们都可以做，这是我们希望看到的状态，所以在规则指定过程中，我们当然希望很多国家达成共识，但懂事不能达成共识的地方可以多了解，这样对我们技术发展、商业发展，多个角度都是好的。
李建华：我觉得从伦理角度来讲，世界的文化是多元的，而且技术今天来看人工智能的伦理和道德问题，很难说是单一的统一到技术层面，它是非常复杂的问题，人工智能未来的发展，中国把人工智能作为国家战略，包括美国发达国家，在多元化、多极化以及经济发展不平衡的情况下，大家讨论这个问题，其实跟人工智能发展特定的历史阶段是有关系的。
像欧盟通过了GPR，中国也有《数字安全和网络安全保护》、《数字安全法》、《网络安全法》，各自角度都不一样，在大的前提下，我们以伦理的层面，它的内涵和外延，我们今天几个词很好的透明、公正，在大的前提之下，人工智能确实非常复杂，符合人类发展本身的内在规律，大家可能会愿意。
当然，更深层次的像我们今天来看开放的互联网这个世界一样，它也是存在很多的竞争，你也可以讲共享、互联互通有错吗？没错，但它还有很多其他的问题，不断的在争论，争论过程中达成共识，这是它发展的规律。
Q：我们讨论第四个话题，在未来5年，如何在中国和世界推进人工智能安全、伦理、标准等建设？
李建华：我觉得可能大谈谈不出来，从人工智能安全方面谈一些想法，今天给各位同行在讲，人工智能安全从技术上我们是非常希望它是一个可解释、可度量，甚至可认证，还有可管、可控，这是人类从安全角度上，我们希望做一些工作。
如果说从这个角度上讲，所有的国家，我们从事技术研究也好，都会形成很好的热点方向和研究课题。像去年推动的人工智能安全，学术界角度希望这个课题是否在自然基金有重大项目，所以今天这个论坛非常好，我就说这一点。
姜育刚：李教授是结合安全，我们其实今天是可信人工智能，很多时候大家讲人工智能，这里面关注维度很多，今天很多讲者提到了很多方面，可以讲这里面安全是目前进展最快，做得最好，安全问题至关重要。在AI之前，我在其他的方面，软件安全等都是做比较成熟的程度，虽然AI在起步阶段，但是相比于其他的公平性、可解释性，做得已经走在前面了，有太多的事情要做，跟前面报告后面提到的，想提一点，其实学校里面也在提交叉融合，真正做起来蛮难的，做这个事儿也是一样，需要各个学科背景的人，真正坐在一起，还不只是这样开会研讨一下，可能开会研讨形成规则以后，后面还要具体的推动落实，真正把一些人整合在一起100%投入这个事儿，这样很多方面才能看到进展，这对我们推动人工智能治理或者可信AI发展也好，是特别重要的一个事儿，就是把跨学科不同背景的人，真正聚在一起，100%的投入。
周伯文：这个问题很好，也是我们今天有这个论坛的根本原因，这个过程中听了专家的演讲，台上的院士专家以及台下的复旦教授、中科院研究院，伦理方面不同方面回答了这个问题。
我把几个观点总结一下，大概是三个方面：
1.我们首先在战略底层设计上，要对人工智能的安全、伦理、治理足够重视，所以我们会有这么一个会，所以形成了不管学界、院士都有人士，我作为人工智能治理专家委员会的委员，从2019年就参与讨论，所以国家层面也重视，我们在G20也发表了八项共识，战略底层设计看，我们认为目前这方面共识已经有了，下面的工作是细化，这些基本原则，怎么落地到实际生产过程中，实施方面怎么监管、监控，都在慢慢展开，这是第一点。
2.第二为了让人工智能安全可控，所以我们提了可信赖AI，不管技术层面还是可信AI满足的特性，也慢慢形成共识，大家提了不同的概念，概念相互之间有一个地方有不同角度的诠释，有的地方可以进行合并，所以概念方面我们也可以形成共识。
姜院长提到，共识形成以后，今天的论坛可以认为是可信AI达成共识的起点，但是更重要的是我们如何形成工作机制，从伦理方面、技术层面，技术层面包括不同的层面，像学术界的数据算法层面非常多，但是在人工智能和各个应用系统，各个行业的融合方面，人工智能怎么跟GDP各个行业融合，还有很多问题解决。除了数据算法之外，AI系统的DevOps，整个生命周期、怎么开发、怎么运维、怎么修护、怎么运营，运营过程中怎么监管，这方面需要很多东西做，这需要学界、企业、生态、客户一起努力，所以我们提出了可信赖AI不是单点技术突破，是系统性的工作。如果不存在意味着更安全可控的人工智能需要大家一起努力的，在框架里面，大家一起努力。我们希望在框架里面，大家一起努力，把系统搭出来，这是第二点。
达成框架过程中，一方面是姜院长提到的，我们要形成工作机制，怎么在一起工作，我这边特别希望呼吁企业和学校形成联合项目组、工作组一起做，只有这样联合才能把问题解决。还有一点如果没有联合机制，信息不对称，何院士框架图里面写的关注不够的，我听到这个一方面特别欣喜，这些方面何院士看到了，已经开始做了，另一方面我们信息交流还要加强。当然我们当时标注这个很快，比如这个东西没有人做，可能是有人做的，我们只是呼吁希望有更多的团队，像何院士这样，有前瞻领导力的团结加入进来，所以这是很重要的问题。
3.透明。我建议人工智能的安全性要提升，一定要加强在不同国家，不同组织之间加强透明性。像何院士这样，相互深度的沟通、配合非常重要，这样在学界才会进展，何院士的进展也会在工业界证明成果，这些成果反过来可以帮助何院士，在下一步研究方向上得到更多的反馈，这是非常重要的。
同时在国家层面上，我们国家怎样做人工智能治理安全，也需要加大透明，我也希望其他国家更透明，我们中国一直保持对话的愿望。我们交流、对话应该持续保持下去，不同组织、不同国家之间配合。
何积丰：大概有几个方面进展会比较明显：一个是立法。有的事情不是技术能够解决的，所以上海有关的立法已经要公布了，从领导层面看到了立法的重要性，比如给大家颁布交通规则，这是第一条。
第二，可信跟我们发展要同时转，不仅是场景应用中间发现自己的短板，我们会想象很多问题，可能有的问题还没有想象出来，应用中问题就会暴露出来，所以今后的重点是人工智能技术要更加可信，更加受到大家的欢迎，就要加强场景应用，让更多场景使用人工智能，会提出更多新的要求，目前我们看到要求还是纸面上的要求。
第三，我相信整个发展过程，我同意刚才周总讲的，不会一个晚上所有问题都解决了，只有迭代，东西才会完善。比如我们的高铁，为什么能够发展比较快呢？因为我们通过做了多年努力，投入了很多高铁线，提供了很多服务，从中发现不满意的地方再去提高。有的国家没有高铁，你让它说高铁安全怎么做？不可能的。
最后这不仅是一个行业的工作，不单单是一些企业的工作，而是要大家一起做，信息透明确实是小困难，因为整个国家的人工智能重大项目布局过程中，专家是非常少的，他们往往也是等钱分完了，再说这个事情也很重要，所以以后最好多一些小规模沙龙，平常交流交流，看看大家希望做什么，国家做什么，企业需要什么，社会有什么需求，这样大家一起做，结果才会比较好。
台上各位嘉宾好，我是文汇报的记者，对人工智能的关注有两个路向，人文学科和自然学科。当前中国知名高校的哲学系都伸出自己的融合触角，北大领衔制定了《中国机器人伦理标准化前瞻（2019）》；我们姜院长所在的复旦大学哲学学院新成立的科学逻辑系也有融合发展；华东师大提出了“哲学就是哲学+”，他们不再按照传统的思辨哲学发展。但目前依我观察有两个壁垒，一是学科考核上很难真正融合；二是知识结构上有一定障碍。因此，是否可以理解，目前具备问题意识，有交流框架是走出的第一步，像知识结构的初通，需要下一代学者来达到。这些课程现在就要开始设置。各位都是学科带头人，你们心目中，融合的步骤应该是怎样的？是否一定要付出有“过渡一代”的代价？
姜育刚：抛砖引玉，说到复旦哲学，教授在那边，他前面做了很好的报告，在高校里面，当然过去传统就是各个学科做各个学科的事，最近我们已经看到趋势，大家都想做点交叉，人工智能活了以后都想和人工智能做交叉，这个非常明显了，在复旦有生物的、法律的，都有合作，但是现在目前学校比如对各个院系评价…都会碰到一些问题。
复旦最近在推融合创新，融创院，它的想法是以后融合交叉的事儿都放在那个平台做，不放在院系做，还在推进过程中，不知道后面会做到什么程度。
对于我们来讲，融合交叉是比较重要的，我们其实也在和哲学系等很多院合作，我前面讲，特别希望大家坐在一起，才能把服务推动起来。
Q：我提最后一个问题，在可信AI领域，您认为最有挑战性的问题是什么？请说一个认为值得深入研究的或者说有挑战性的。
李建华：现在人工智能的发展，最大的几点问题或者前景应用场景就是数据共享问题。
姜育刚：我没想好，就讲得偏基础一点，现在深度学习的方法已经碰到的瓶颈，可能更大的问题是不是基础角度，有没有更好的学习方法，我们讲了很多安全问题，都是因为深度学习本身存在的局限引起的，有没有可能，我不知道，数学的结合等等，形成新的突破。
周伯文：我还是维持报告的观点，“可信赖人工智能”是系统性的工程，不存在单独的问题，这个问题解决就解决了，它需要系统，其实人工智能为什么做到现在有可信赖的人工智能迫切的需求呢？因为我们原来太关注一个点上，一个应用上，没有考虑到其他的影响，没有作为系统考虑，这是原来单点发展带来的遗留问题，所以我不认为一个问题解决了，其他问题就解决了。
第二挑战里面相对是有关系的，鲁棒性和模型泛化是有关系的，模型泛化和公平性也有关系的，所以是一环扣一环，还是大家坐下来系统性解决。全生命周期的解决AI的可信赖问题。
何积丰：不要把这个事情想得太复杂，以前做硬件软件都要可信，不是因为这个问题没有解决人家就不用了，只是人工智能技术，早期人家就觉得这里面有问题，只是提得比较高一点，所以对它本身的危害性不要想得太多，我们也在不断的改善。我是这么看的。
