MIT CSAIL Tomaso Poggio | 智能科学与智能工程

　　大会邀请了8位院士对人工智能领域的前沿/热门研究进行解读。27日上午的压轴报告来自麻省理工学院人工智能实验室(MIT CSAIL)教授、美国人文与科学院院士Tomaso Poggio，他的报告题目为《The Science and the Engineering of Intelligence》。

　　Tomaso Poggio今年69岁了，老爷子在会前意外左膝盖骨意外受伤，行动不便，但他仍然坚持按照预定日程漂洋过海来演讲，并坚持不用轮椅，会后回去再做手术。让我们一起向他致敬!

　　Tomaso Poggio首先介绍，麻省理工学院在20年前就开始了对人工智能的研究，当前主要研究的课题是智能工程和智能科学(专访AlphaGo/Mobileye教父Tomaso
Poggio：智能科学需要融合机器学习、计算神经科学与认知科学)，希望能够把计算机科学尤其是机器学习和神经科学加以整合，以便能够帮助我们找到一种新的途径促使人工智能的发展，来自MIT、哈佛的神经科学、计算机科学、认知科学等学科的学生都有参与。

　　随后他介绍了智能科学和智能工程背后的数学原理，并就神经网络、深度学习与自然神经网络的关系进行了阐述。他还详细解读了深层学习和浅层学习之间的关系，以及在何种情况下深度学习表现比浅度学习更好。Tomaso最后表示，智能和科学跟工程有非常多的联系，深层学习、浅层学习以及神经科学都是需要关注的方向。

　　以下为Tomaso Poggio演讲的现场翻译速记整理(未经演讲者本人确认)：

　　非常感谢，非常高兴来到这里，我的朋友铁牛邀请我过来之后，我是没有办法拒绝的，而且我也对今天参加会议的这么多人给我留下了深刻的印象，而且我们也希望把今天早上的这些会议包括我们对人工智能跟神经科学联系起来，大家也可以看到我今天的演讲，也看到了神经科学和人工智能之间的联系性。

　　智能工程的进展

　　大家知道在最近在智能工程方面取得了重要的进步，比如10年以前的深蓝，当时也出现了非常多的文章，也讲到了机器学习;最近两三年我们也看到了很多的文章，尤其是今年在3月份的时候，Google Deepmind开发的AlphaGo，击败了韩国的顶级围棋手，也引起了全世界的关注。这对未来的竞技都会产生深远的影响，对未来的世界也都会产生深远的影响，事实上已经有很多计算机变得越来越好或者变得比人更坏的讨论。

　　(我参与的)在AI方面的另一家公司，是以色列的Mobileye，他们让这个车可以做一些模拟，比如像是用通用或者是特斯拉做的一些工作，在这里是车可以看到的视野，这个体系是基于深度的学习，比如在这里这一页上面，Mobileye有一个绿色的界限，他可以知道有不同的界限，他也可以了解到这个车的一些密度或者跟其他车的距离，感知距离，目前也是使用了很多训练的数据，这也是具有深远的影响，在我的实验室当中我们有一个项目，这是和Daimler合作的，大概20年前的合作，这是最初把机器的学习应用在这个案例当中，大家看到能够感知行人，而且大家看到这是在德国的南部街道上进行测试，大家也可以看到他能够进行很好的探查，而且有一个框架，能够帮助我们每小时或者每一秒都能够察觉，如果出现错误的话能够进行计算，而在实际当中是非常有益的，行驶了4万公里，而且在大概20年当中呢，我们有了非常大的一个进展，这就是之后我们在驾驶方面得到的进展的来源。

　　但是有些人可能不太清楚一点，对于深度学习的架构或者是机器学习的模式，在过去3年当中就它的性能有了提升，而这样的一个架构最基本的原因是来自于神经学的进展。大家可以看到，同样的架构是存在于大脑皮质当中，它能够给大家以视觉的模式还有深度学习的网络进行比较，我们对一些动物，比如猫、猴子，都进行了测试，我们了解到大脑皮质非常的与众不同，更多的是和这里的比如说他的大小、复杂程度等等，都是非常相近的，对于日本福岛当中他们进行了一些实际的使用，而且就这个架构他其实是和深度学习的网络是非常相似的，之后和VGG的图片也是非常相近，这里的基础架构是一样的。

 

　　智能工程背后的智能科学 

　　对于智能的科学，基本来说是涉及到神经科学，就促成了今天工程方面取得的重大的成功，总之我们需要做出一个最基本的努力，一方面是在工程方面，同时也是在基础科学方面都要进行更多的努力，这主要是便于我们进行更深入的研发，我们也需要了解智能科学，这样才能够有助于今后的工程的进一步发展，大概是在3年之前，这是一个五千万美金十年的项目，这是我们涉及到了大脑思维机器人机共存分辨的研发中心，我们希望能够使得大家更好的了解人工智能，我们希望能够把计算机科学尤其是机器学习和神经科学加以整合，以便能够帮助我们找到一种新的途径，促使人工智能的发展，有很多麻省理工还有哈佛大学的学生都参与到了这一个实验室的工作当中，他们来自于不同的学科，包括神经科学、计算机科学、认知科学等等。 

　　我们是组成了一个国际合作的团队，在这里大家可以看到我们的目标是希望得到谷歌、IBM还有微软等等的支持和参与，我们非常高兴我们建立起了一个咨询委员会，很有意思的一点是我想稍微做一下广告，我们所做的工作并不是说要来做克隆，而是希望进入一个领域，使年轻人更好的了解神经科学，更好的理解机器学习，所以我们组成了一个夏季学习营，这是在Woods我们组成了一个人机学习夏季营，学生在这里进行了很多的头脑风暴，互相学习互相交流，总之，他们能够在生物学各方面进行交流，对于微生物学的创始人，他也是在此来进行了参与，他也告诉我们对于科学家他们在这个领域是可以获得诺贝尔奖的，我们使得诺贝尔奖获得者也参与进来。 

　　大家可以看到我们所提供的一些课程非常的受欢迎，而且在这里给大家列出一系列的讲者的名字，稍微给大家介绍一下我们所做的一些工作，比如说我们所提供的是不同的学科，首先涉及到了人脸的识别，怎么来识别脸谱，而且我们希望婴儿头脑当中开发出这样的认知能力，我们也希望对于成年人来说，或者是对于我们的成象科学来讲都能够借用这样的人脸认知的技术，能够进行激活，如果是识别人脸的时候就能够激活。 

　　另外对于猴子的头脑当中所进行辨认的过程也是非常相似的，我们可以找到具体的领域进行成像之后就可以了解具体的局部的神经元他们是怎么进行成像的，之后建立了一个模型，这个模型能够帮助我们重现神经元在人脸识别的时候所经历的过程和反应，比如说这里涉及到了眼睛，之后看到了人脸，我们再看一下出现了对人脸的反应，另外可以进行预测，而且在认识人脸方面猴子的整个的程序和反应和人是非常相近的，通过这样的工作，我们就可以充分的了解到在一些智能的任务，比如说识别人脸方面怎么来进行开发，而且在这个过程当中有没有什么样的秘密，我们可以进一步的探索。 

　　神经学与深度学习 

　　下面稍微讲另外一个科学方面的议题，这是在工程和神经学之间所涉及到的深度的学习，很有意思的一点，就是关于深度学习已经有成千上万个研究者在进行这方面的研究了，比如说可以应用在无人驾驶方面，现在已经使用了，比如说涉及到了一些有关的语音的识别，谷歌、Facebook都已经采纳了，可是我们还是不知道为什么他会奏效呢，他的机理是什么，对于我们来讲，我们现在希望能够进行不同参数的组合，有的时候可能仅仅出于本能，但是我们现在在计算方面还没有得到稳健的方法，我们对此很感兴趣另外一个原因呢，可能是涉及到了能够同样回答第二个的问题，这就是为什么在大脑的皮质方面会有一些不同的层次，那么和深度学习的网络是一样的，在这里给大家展示出一个图片，他能够展示出不同的层级的序列，比如涉及一些图像，最初得到的是神经元不同层次，之后我们得到这样的输入，之后我们要了解这样的物体，通过成像是什么样的东西，也就是进行分类，在这里大家可以看到更多的例子，那么涉及到了更多的成像，大概是在4年之前，深入学习网络取得了很重大的进展，这是在有关识别的精确度方面得到很高的提升，我们当时有一个假设，这样的成像是什么，就有关的性能来说，我觉得这样的网络可能已经达到人类的级别了，当然了他们所犯的错误的类型可能和人类犯的错误类型是不一样的，我认为他们认出更好的一些狗的种类，但是在另外的一些场合他们做出的回答很愚蠢，而人类是不会犯这样愚蠢的错误的。 

　　对于有关的神经网络的计算，神经元有不同的权重，有不同的值，之后我们可以看到经过修整之后的单位，我们可以看到这里是有Y，我们可以看到现在只能够进行这样的测算，对于所有的神经元都是同样的，他们都是按照不同的序列排序的，而对于这样的一个神经元的网络，我们要发现他们的权重是什么，这里的梯度是下降的梯度，我们希望能够来给错误最小化，通过进行大量的练习和大量的示范减少错误，通常是通过梯度下行的模式来进行的，给大家留下深刻印象的一点就是在此我们发现这里的节点甚至多达几百万个。 

　　有了这样的深度的网络，我们能够做很多的事情，比如说涉及到了对于成像方面进行分类，而且我们也可以进行学习，比如说学会游戏，之后玩的比人类还要好，而且我们也使得了机器能够学会视觉方面的皮质方面影响，我有两位同事他们是在麻省理工，他们做出了研究之后发现呢，对于在深度网络当中的神经元，他们看起来可能在不同的级别就视觉来说可能都是非常相似的，看起来就好像大脑所使用的架构至少在第一个阶段呢在视觉识别方面是一样的，所以我们又回到了这个想法。 

　　就这个模型他的运作是非常好的，同时也能够对于任务进行优化，通过对任务进行优化，我们能够做的更好，这个模型现在已经足够好了，不用再进一步优化，能够帮助完成一些简单的任务，比如说是不是在成像当中有没有动物或者是没有动物，而实际上像这样的模型，我们看到所出现的错误和人类犯的错已经很相似了，这两位同事工作当中他们有了进一步的发现，他们发现深度学习的模型相关性非常的高，他们对自己的模式也发现了，比如跟猴子或者说是这些识别的一种模式，这个神经元在识别猴子的时候是非常类似的反应，这是让我们可以深思的，也就是说同样的模式在大脑当中的模式和学习的模式当中是类似的。 

　　两个基本问题 

　　两个基本的问题，一个问题是有关为什么训练会如此奏效呢，还有一个就是能够做些什么，比如从规定的训练，或者说非监督的训练，哪一方面做的更好，因为人并不是说每次都有非常多的一些图像，他们会识别到这种车，他并不是说需要一百次的去重复跟他说这是一个车，或者这是一个图像，我们现在这种训练也是不可能的。 

　　现在想说的是第一个问题，就是为什么这些深层次的为会比浅层次的更好，这个问题我也是对机器学习进行回顾的时候，做的一个论文，那是在很早以前，我们对数学的这些机制把它称之为经典的学习模式，这个只是讲到网络，只有一个内在的层次，在这里你可以做很多重要的事情，其实已经在90年代得到了验证，也就是说这将是一个隐藏的层次，这个是第二个浅层次，这个就一个是浅层的学习一个深层的学习，你不能够把这个输入到输出，你只能是任意的一种，他会对我们的激活产生新的方法，浅层次的环境你不可能是多层次的学习，深层学习和浅层学习之间的区别是什么，我们在机器学习方面也有一些机制，比如像这种管理，这些其实都是属于浅层的学习，他们只是有一个隐藏单层次的网络，他们可以做任何的事情，但是他不可能在某些方面像深层次学习那么好，为什么呢，我们来看一下。 

　　对于我们整个的模拟来说，但是他整个的模式呢可能是从普通来讲他是没有那么有效的，如果我们来思考，我把它称作一个成分的函数，我们是有各个不同的数字，比如有8个变量，但是他并不是基于基本的函数，你可以把他分成两个变量。 

　　如果我现在使用浅层的网络，那像这样的一个变量在这里浅层的网络就会被看作是这样的类函数，但是像这样的一个构架他是跟函数类似的，每一个都可以会看作g11，实际上我们确实也证实，我们用了数学的一些方法，如果是成分可以组成，其中一些参数将会基于指数的提醒，你需要一些参数，这样子的话呢能够在低维度上面在机器学习方面是很出名的，而且深层的网络当然也需要不同的维度。 

　　我们现在不会讲太深的部分，这是属于直觉，但是我们也需要对算法进行一些改善，你可以看到这个维度的表现，也是用相似的方法在严谨，如果他是属于成分式的函数，是一个深层网络，不是浅层网络，就会造成我刚才所说的结果，有同样的一个共同性，传统的结果他会使用到这样的函数，也就是像这个布尔函数，用深层的网络，而不是用一些浅层的网络，这是一个比较重要的原理，下一步要来问一下自己，为什么不同的函数整合起来是很重要的，他在几个环境当中都很重要，他们并不是一些类函数，比如深层网络在解决任何问题上都不可能比浅层更好，但我们有成分函数，大家需要了解成分函数是一种比较好的，因为你需要把这些结果进行一个整合，你不需要把这个图片跟那个图片结合起来。 

　　这里是一个原理问题，Max Tegmrk，他是我物理系的同事，你可以把衡量指数在物理来进行改变，你可以把它正则化，但并不是所有的都可以标准化，这里希望展示的就是一些集成性。 

　　总结 

　　我做一个总结，首先我认为是非常重要的，不能够忘记的，就是说在智能和科学方面跟工程有非常多的联系，需要了解科学的基础，比如像深层学习也是智能一方面，这也是让机器或者说我们的头脑学习的重要性，刚才也讲到了这是神经科学，它也是跟我们的运算有关系，另外的一个例子是跟数学有关的，也讲到了深层为什么会比浅层好，以及在什么时候会比浅层好，这个方向也是可以更多去了解的。谢谢!