金瓶梅在线

真实 勾引

第二期中原基石数智期间指令力特训营热招中！

报名即送十月督察论坛限额一个！价值12800元！

开首 |  Z Highlights，管千里着安祥慧

参谋合作| 13699120588

著述仅代表作家本东说念主不雅点，图片开首于pixabay

图片开首：Arts & Science - University of Toronto

'我决定斗胆少许，制作一个前所未有的数据集，不管是在数据量上如故在种种性上王人超越以往。经过三年的努力，ImageNet成为了一个包含1500万张互联网图像的数据集，涵盖了22000个物体类别倡导。'

'我依然认为，咱们必须通过让懂得数据的东说念主和懂得如何使本领灵验的东说念主建立计划来搭建这座桥。是以我的主义一直是创造能进行视觉识别的本领，而况这种识别步地要像东说念主类那样。'

'如若我(李飞飞）回到斯坦福，独一的原因即是建立以东说念主为本的AI研究所，确实分解这项本领的东说念主文一面。是以我认为这十年相等关键，尽管在公众眼中它莫得那么权贵，但这项本领仍是徐徐渗入到咱们生活的方方面面。'

'如若比咱们贤人得多的事物想要掌控，咱们是无法间隔的。是以咱们必须想办法间隔它们产生想要收敛的意图。'

'如若咱们作念得对，咱们将从"办事经济"转向"尊荣经济"，通过机器的配合，东说念主类将因为心境、个性化和专科常识而获取收益，而不再是从事那些贫寒枯燥的服务。'

'我饱读舞人人不仅要禁受这项本领，还要相识到这是一个新篇章。即便你认为我方是本领民众或科学家，也不要健无私方身上也有"东说念主文主义者"的一面，因为你需要这两者才能为天下带来积极的变化。'

我相等欢畅地接待人人参加此次由Geoffrey Hinton和李飞飞的计划。Geoffrey Hinton是多伦多大学的名誉讲授，被许多东说念主称为深度学习之父，而李飞飞是斯坦福大学的首任红杉计较机科学讲授，而况是斯坦福东说念主本中心AI研究所的辘集主任。

我要感谢Radical Ventures和其他行径合作伙伴与多伦多大学一起创造了这个珍爱而颠倒的契机。多亏了Hinton讲授绝顶共事的始创性服务，多伦多大学几十年来一直处于学术AI领域的前沿。深度学习是推动AI闹热的主要突破之一，许多关节发展王人是由Hinton讲授绝顶在多伦多大学的学生始创的。这种越过的传统延续于今。

面前很清醒的是，AI和机器学习正在推动系数这个词经济的改进和价值创造。它们还在蜕变药物发现、医学会诊和先进材料搜索等领域的研究。天然，与此同期，东说念主们对AI在塑造东说念主类来日中的作用也越来越担忧。因此，今天的计划显著是一个实时且关键的话题，我相等欢畅人人能够在这个关键的时刻与咱们一同参与。

那么，事不宜迟，当今让我先容今天的主执东说念主Jordan Jacobs。Jordan是Radical Ventures的督察结伴东说念主和辘集独创东说念主，Radical Ventures是一家因循基于AI企业的起初风险投资公司，总部位于多伦多，并在全球范围内运作。此前，他辘集创立了Layer 6 AI，并在被TD银行集团收购前担任辘集首席履行官，之后他加入TD银行，担任首席AI官。Jordan亦然加拿大高等研究院的董事会成员，而况是Vector研究所的独创东说念主之一，这个倡导是他与Tomi Poutanen、Geoff Hinton、Ed Clark以绝顶他几位共同构念念出来的。那么，尊敬的客东说念主们，请和我一起接待Jordan Jacobs。

Jordan Jacobs：相等感谢Meric！我起初想感谢多伦多大学的许多东说念主，Meric、文理学院院长Melanie Woodin，以及繁多合作伙伴，他们共同促成了今天的行径。这是咱们Radical举办的AI独创东说念主年度四部分系列巨匠班的第一场行径，亦然第三年举办。本年的第一场行径就在今天，咱们同期以线上和线下的步地进行，是以当今有数见不鲜的东说念主在线上不雅看。咱们与Vector研究所合作举办这一行径，也相等感谢他们的参与与因循。此外，还有阿尔伯塔机器智能研究所和斯坦福AI研究所的因循，颠倒感谢李飞飞讲授。相等感谢诸君合作伙伴的大力相助。

咱们但愿今天会有一场相等风趣的计划。这是Geoff和李飞飞讲授第一次公开共同计划，诚然他们是一又友，我平时也有契机与他们交谈，但此次是他们初次在公众面前一起对话。是以我认为这将是一次相等风趣的计划。让我快速先容一下他们的布景。Geoff常被称为AI的教父，他获取了图灵奖，是多伦多大学的名誉讲授，亦然Vector研究所的辘集独创东说念主。他培养了许多如今在全球范围内AI领域的指令者，包括许多大公司的顶尖研究东说念主员和学术界的首级。因此，当咱们称他为教父时，如实有许多他的'子孙'正在引颈AI领域的发展，这一切王人可以追忆到多伦多。李飞飞是斯坦福东说念主本中心AI研究所的独创主任，同期亦然斯坦福大学的讲授。她是好意思国国度工程院、国度医学科学院以及好意思国艺术与科学院确当选院士。在2017至2018年放假期间，她担任了谷歌云的首席AI/ML科学家和副总裁。此外，李飞飞讲授还培养了许多在全球范围内指令这一领域的关键学生。

对于还莫得传闻的一又友们，李飞飞讲授行将出书一册书，这本书将于11月7日刊行，名为《The Worlds I See: Curiosity， Exploration， and Discovery at the Dawn of AI》。我仍是读过这本书，相等精彩，人人王人应该去买一册。我想给人人读一段Geoff写的封底保举语，因为比我我方说的要好得多。

Geoff这样描摹说念："李飞飞是第一个确实分解大数据力量的计较机视觉研究者，她的服务为深度学习怒放了大门。她在书中清醒而迫切地描摹了她匡助开释的AI本领的弘大后劲和风险，而况她对于行动与集体使命的敕令在这个关节历史时刻尤为必要。"是以，我热烈建议人人提前预定这本书，并在它出书后尽快阅读。

好了，相等感谢李飞飞和Geoff能参加今天的计划。我认为绝不夸张地说，如若莫得这两个东说念主，当代的AI期间将不复存在，至少不会以当今的步地出现。是以让咱们追念一下我认为是AI的"天地大爆炸"时刻——AlexNet和ImageNet。Geoff，你欢快从你的角度谈谈阿谁时刻吗？当今仍是昔时11年了。

Geoffrey Hinton：好的，在2012年，我的两名相等贤人的研究生赢得了一场公开比赛，他们展示了深度神经汇注可以远远超过其时的现存本领。其实如若莫得一个大数据集供他们老师，这是不可能达成的。而在那之前，还莫得一个标注好的大范畴图像数据集，而这个数据集恰是由李飞飞负责的。我要从扣问李飞飞讲授驱动，望望在构建这个数据集时有莫得遭遇什么问题。

ImageNet: 推动AI发展的里程碑

李飞飞：谢谢Geoff，也谢谢Jordan，感谢多伦多大学，相等欢畅能够参与此次行径。是的，Geoff你提到的数据集叫作念ImageNet，我从2007年驱动构建它，接下来的三年险些王人在和我的研究生们一起服务来完成它。你问我在构建历程中是否遭遇喧阗题？我该从那儿提及呢？

其实从这个款式的构意象实施，仍是遭遇了不少问题。其时我是一个年青的助理讲授，铭刻那是我在普林斯顿大学担任助理讲授的第一年，领域内一位相等受尊敬的导师，在2007年我告诉他们这个霸术时，他劝我不要作念这个款式。

Geoffrey：那应该是很大的压力吧？

李飞飞：如实，他们给出的建议是，如若我作念这个款式，可能会影响我获取毕生教职的契机。此外，我还尝试邀请其他合作伙伴，但莫得东说念主欢快在机器学习或AI领域接近这个款式。天然，也莫得任何资金因循。

Jordan：能给咱们先容一下ImageNet，颠倒是给那些还不太了解的东说念主？

李飞飞：好的，ImageNet的构想大要是在2006年到2007年。构建ImageNet的原因其实有两个。起初，Geoff，我想咱们有相似的布景，我禁受的是科学家的老师。对我来说，作念科学研究即是追寻"北极星"。在AI领域，颠倒是在视觉智能方面，对我来说，物体识别，即让计较机能够识别图像中的物体，比如识别出图中的桌子或椅子，这即是所谓的物体识别，应该是咱们领域中的一个"北极星"问题。我合计咱们真的需要在这个问题上有所突破，是以我想要界说这个北极星问题。

这是ImageNet的一个方面，另一个方面是我相识到其时的机器学习有些停滞不前。咱们在构建相等复杂的模子，但莫得饱和的数据来驱动这些机器学习模子。用咱们的术语来说，这其实是一个泛化问题，对吧？我相识到咱们需要重新念念考机器学习，转向一个数据驱动的视角。是以我决定斗胆少许，制作一个前所未有的数据集，不管是在数据量上如故在种种性上王人超越以往。经过三年的努力，ImageNet成为了一个包含1500万张互联网图像的数据集，涵盖了22000个物体类别倡导。

Geoffrey：为了作念个比较，其时在多伦多，咱们制作了一个名为CIFAR-10的数据集，它包含了10类物体，总计60000张图像。作念这个数据集花了好多功夫，每张图像的资本是5好意思分。

Jordan：然后你将这个数据集调理成了一场竞赛。能否为咱们先容一下这意味着什么，然后咱们快进到2012年。

李飞飞：咱们在2009年完成了数据集，并强迫在一个学术会议上作念了一张海报展示，但没东说念主关注。其时我有点绝望，但我校服这是正确的地点。于是咱们开源了数据集，但即使是开源后，仍然莫得引起饱和的防备。是以我的学生和我决定加多少许能源，发起一场竞赛，邀请全球的研究社区通过ImageNet来参与物体识别问题。因此，咱们举办了ImageNet竞赛。咱们得到的第一批反馈来自一又友和共事们，他们认为数据集太大了，以致无法装入硬盘，更别提内存了。

因此，咱们创建了一个较小的数据集，称为ImageNet挑战数据集，只好100万个图像，散布在1000个类别，而不是22000个类别。这个数据集在2010年发布。我铭刻你们在2011年正式到了它，对吗？

Geoffrey：在我的实验室里，咱们的深度神经汇注仍是在语音识别方面进展得相等可以了。然后Ilya Sutskever说，咱们现存的本领应该能够赢得ImageNet竞赛。他试图劝服我参与，我说，这关联词一大堆数据啊。他又试图劝服他的一又友Alex Krizhevsky，但Alex起先并莫得兴致。是以Ilya先处理了所特等据，将其步地化。

李飞飞：你们缩小了图像的尺寸，对吧？

Geoffrey：是的，他略略缩小了一下图像的尺寸，并将其预处理得相等完整，终末Alex容许参与。

与此同期，在纽约的Yann LeCun的实验室里，Yann拚命地让他的学生和博士后使用这个数据集，因为他说，第一个将卷积神经汇注应用于这个数据集的东说念主一定会赢。但他的学生们王人不感兴致，他们王人忙着作念其他事情。于是，Alex和Ilya持续进行了他们的服务。

咱们通过运行上一年的竞赛数据发现，咱们的本领比其他本领好得多，是以咱们知说念咱们会赢得2012年的比赛。然后出现了一个政事问题，咱们顾忌如若证明神经汇注赢得了比赛，计较机视觉领域的东说念主尤其是Jitendra Malik，可能会说，这只是证明了数据集不好。是以咱们必须事前让他们容许，如若咱们赢了比赛，就证明神经汇注是灵验的。于是我打电话给Jitendra，咱们计划了可能使用的数据集。我的主义是让他容许，如若咱们在ImageNet上取得成效，那就证明了神经汇注的灵验性。经过一些计划后，他建议咱们尝试其他数据集，但最终咱们达成一致：如若咱们能够成效应用于ImageNet，那就证明神经汇注灵验。Jitendra铭刻这是他建议咱们使用ImageNet的。

他认为是他告诉咱们要作念ImageNet的，但试验上有点相背。咱们作念到了，驱散令东说念主咋舌。咱们的造作率只好轨范本领的一半，而这些轨范本领经过了多年的调优，由相等优秀的研究东说念主员开发。

李飞飞：我记恰当时的轨范本领是因循向量机稀零化（ZP注：一种因循向量机的纠正算法）的。你们提交比赛驱散的时刻大要是在8月底或9月初。我铭刻那天晚上很晚时收到了一封电子邮件或电话，是我的学生发来的，他负责运行此次比赛。咱们负责处理测试数据，目的是处理系数参赛者的驱散并选出告成者。那一年，海外计较机视觉会议ICCV 2012将小心大利佛罗伦萨举行，咱们仍是预订了年度研讨会。

在那次会议上，咱们将通告告成者。这是第三年了，是以咱们提前几周就要处理告成队伍的驱散。坦荡说，前两年的驱散并莫得让我感到欢快。而且其时我如故一位哺乳期的姆妈，是以我决定不参加第三年的行径，也莫得订票。我合计离我太远了。但是那天晚上驱散出来了，是通过电话如故电子邮件，我真的记不清了。我记恰当时对我方说，'糟了，Geoff，当今我必须买一张去意大利的机票'，因为我知说念那是一个相等关键的时刻，尤其是卷积神经汇注，这个我在研究生时学到的经典算法阐发了作用。

天然，到了那时，仍是只剩下从旧金山飞往佛罗伦萨的中间座位的经济舱机票了，还得半途膺惩。此次去佛罗伦萨的路径很贫寒，但我想要亲身见证阿谁时刻。不外你莫得去，对吗？

Geoffrey：没去。是的，那确切一次贫寒的路径。

李飞飞：但你知说念那会是一个历史性时刻吗？

Geoffrey：是的，我如实知说念。

李飞飞：我明白了，然后我把这个音问发给了Alex。Alex，阿谁淡薄我好几次邮件的家伙。

Geoffrey：他无视了你系数的建议，对吗？

李飞飞：是的，我给他发了好多邮件，建议他作念一些可视化，我说'Alex，这太酷了，请作念这个可视化、阿谁可视化'，但他一直没回复我。不外Yann LeCun来了。对于那些参加过学术会议的东说念主来说，你们知说念研讨融会常会安排在较小的房间里。咱们预订了一个相等小的房间，可能就只好当今这里中间区域这样大。我铭刻Yann不得不站在房间的后头，因为房间里挤满了东说念主。最终，Alex也来了，我相等弥留，顾忌他根蒂不会出现。正如你所预测的那样，在阿谁研讨会上，ImageNet受到了攻击，有东说念主公开月旦这是一个灾祸的数据集。

Geoffrey：不是Jitendra，因为他仍是容许了数据集的灵验性。

李飞飞：我不铭刻Jitendra是否在阿谁房间里，但我铭刻对我来说那是一个相等奇怪的时刻。作为一个机器学习研究者，我知说念历史正在被创造，但ImageNet却在被攻击。那确切一个相等奇怪又令东说念主欢快的时刻。然后，我不得不坐在中间座位飞回旧金山，因为第二天早上我还有事。

AI前驱Geoffrey Hinton和李飞飞的探索之旅

Jordan：你提到了几个东说念主，我想稍后再计划他们。比如Ilya，他是OpenAI的独创东说念主兼首席科学家，Yann LeCun自后成为了Facebook（当今的Meta）AI负责东说念主。此外，还有好多其他风趣的东说念主物。但在咱们持续探讨这场AI激昂的服从之前，让咱们先追念一下。你们两位最初王人怀抱着相等具体的主义，这些主义既个东说念主化，又可以说是冲突传统的。你们经验了好多挑战，但耐久坚执了下来。Geoff，你能先给咱们先容一下，为什么你最初想进入AI领域？

Geoffrey：我本科时学的是心理学，但获利不太好，我合计如若不先搞明晰大脑的服务旨趣，心理学是遥远无法弄明晰心智的运作步地的。是以我想弄明晰大脑是如何服务的，并但愿能有一个确实灵验的模子。

你可以把分解大脑想象成搭建一座桥。一方面是实验数据，可以从中学到好多东西；另一方面是可以达成咱们所需计较的东西，比如识别物体的智力。这两者之间存在很大各异。我一直合计我方是在研究那些能够确实运作的东西，并试图让它们越来越像大脑，但同期它们仍然能起作用。其他东说念主则专注于基于实验数据的表面，试图找出可能灵验的表面。

咱们是在试图建造这座桥，但并莫得太多东说念主尝试这样作念。Terry Sejnowski是从另一端尝试建造这座桥，是以咱们合作得很好。好多作念计较机视觉的东说念主只想找到灵验的处置决策，他们并不轻柔大脑。而那些轻柔大脑的东说念主则专注于了解神经元如何服务等，但并不太关注计较的试验。我依然认为，咱们必须通过让懂得数据的东说念主和懂得如何使本领灵验的东说念主建立计划来搭建这座桥。是以我的主义一直是创造能进行视觉识别的本领，而况这种识别步地要像东说念主类那样。

Jordan：咱们稍后会回到这个问题。我想问你对于最近的发展，以及你如何看待它们与大脑的关系。

飞飞，Geoff刚刚概述了他的启程点——从英国到好意思国，再到加拿大，80年代中后期到1987年他来到加拿大的历程中，对神经汇注的关注和资金因循经验了起升沉伏。飞飞，你的启程点则透顶不同，你能否分享一下你是如何进入AI领域的？

李飞飞：是的，我的生活启程点是在中国。15岁时，我和父母一起来到新泽西州的帕西帕尼市，成为了别称新外侨。我驱动的时候是上英语作为第二语言的课程，因为我不会说英语，课余时刻在洗衣店和餐馆打工。但我对物理学充满了样式，不知说念为什么我会有这样的想法。我其时想去普林斯顿，因为我知说念爱因斯坦曾在那里。自后我真的考上了普林斯顿，诚然他早已不在了，但校园里有他的雕像。我在物理学中学到的，除了数学之外，最关键的是勇于提倡最豪恣的问题，比如原子天下中最小的粒子，或者空间时刻的规模，天地的发源。在此历程中，我在大三时构兵到了大脑，读了Roger Penrose的书。你可能有我方的看法，但至少我读过那些书。

Geoffrey：也许你没读过那些书反而更好。

李飞飞：当我毕业的时候，我想作为一个科学家提倡最斗胆的问题。而对我这一代东说念主来说，2000年时，最眩惑东说念主、最斗胆的问题即是智能。是以我去了加州理工学院，险些算是同期攻读了两个博士学位：一个是奴才Christof Koch学习神经科学，另一个是奴才Pietro Perona学习AI。是以Geoff，我相等赞同你对于"桥梁"的说法，因为那五年让我可以同期研究计较神经科学，了解大脑如何运作，也可以从计较的角度脱手，尝试构建能够模拟东说念主类大脑的计较机轨范。这即是我的旅程，它从物理学驱动。

Jordan：好的，你们的旅程在2012年ImageNet上交织了。

李飞飞：趁便说一下，我在研究生时就相识Geoff了。

Geoffrey：我铭刻我时常去Pietro的实验室参不雅。事实上，他曾在我17岁时给我提供了加州理工学院的服务。

Jordan：是以你们在ImageNet上相遇了。对于这个领域的东说念主来说，人人王人知说念ImageNet是一个关键的'大爆炸'时刻。在那之后，起初是大科技公司进场，基本上驱动挖走你们的学生和你们我方，显著是他们最早相识到了这项本领的后劲。我想聊一聊这个历程。但快进到当今，我认为自ChatGPT问世以来，公众才确实相识到AI的强劲，因为他们终于可以亲体魄验它了。东说念主们可以在董事会会议中计划AI，回家后，孩子也可以用ChatGPT写出一篇对于恐龙的五年级作文。这个粗鄙的体验蜕变了东说念主们对AI的领会，但在这十年间，大科技公司里面的AI爆炸式增长却很少被外界察觉。你能分享一下你的经验吗？因为你从ImageNet之后就身处这个"零点"。

神经汇注与深度学习的发展历程

Geoffrey：咱们很难进入其他东说念主不解鹤发生了什么的视角，因为咱们明晰地知说念发生了什么。许多本应处于前沿的大学在禁受这一本领上反而相等迟缓。例如，MIT和伯克利。我铭刻在2013年时，我去伯克利作念了一场回报，尽管那时AI在计较机视觉领域仍是取得了很大的成效。回报扫尾后，别称研究生走过来说，他仍是在这里学习了四年，这是他第一次听到对于神经汇注的讲座。他合计相等风趣，而他们早就应该了解这些了。

李飞飞：他们应该去斯坦福。

Geoffrey：MIT也一样，他们热烈反对使用神经汇注，但ImageNet的成效驱动让他们调理态度。当今他们是神经汇注的因循者了，但很难想象，在2010年或2011年，计较机视觉领域的好多民众相等反对神经汇注。反对的进程如斯之深，以至于某个主要期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》一度有个战术，即是分歧神经汇注计划的论文进行评审，平直归还，认为这耗费时刻，不应该出当今期刊上。

Geoffrey：Yann LeCun曾向一个会议提交了一篇对于神经汇注的论文，展示神经汇注在行东说念主识别和分割方面优于其时的最先进本领，驱散论文被拒却了。拒却的旨趣之一是，评审认为这对计较机视觉毫无匡助，因为他们信托计较机视觉的服务步地是：你研究视觉问题的试验，提倡一个算法来处置它，然后再发表论文。

大多数东说念主强硬反对神经汇注。然后在ImageNet竞赛之后，发生了一个了不得的事情：他们险些在一年内王人调理了态度。那些曾是神经汇注的最多数评者驱动使用神经汇注，而且比咱们作念得还好。比如牛津大学的研究东说念主员，他们很快就作念出了更好的神经汇注。但这恰是科学家应有的步履步地：他们曾热烈信托这些本领是毋庸的，但由于ImageNet的成效，咱们证明了它的灵验性，他们就蜕变了态度。这点让东说念主感到欢喜。

Jordan：你们的主义是用神经汇注来准确地标注这些1500万张图像，背后你们仍是有了这些标签，可以通过造作率来掂量驱散。你们的造作率从前一年的26%着落到大要16%。

Geoffrey：是15.3%，确切地说是15.32%。

Jordan：我知说念你会铭刻。随后几年，跟着越来越强劲的神经汇注的使用，造作率执续着落。

李飞飞：在2015年，有一个相等贤人的加拿大本科生加入了我的实验室，他叫Andrej Karpathy。他有一个夏天感到有点败兴，决定测量东说念主类在ImageNet上的进展。你可以去读读他的博客。他组织了好多东说念主类参与ImageNet测试的派对，我想他给了他们披萨作为奖励，和实验室的学生一起进行测试。他们的准确率大要是5%，或者是3.5%。

Jordan：我铭刻是3.5%。也即是说，东说念主类在3%傍边的时刻里会犯造作。

李飞飞：我铭刻是在2016年，那一年的优越算法ResNet超越了东说念主类进展。

Jordan：最终你们不得不取消了这场比赛，因为机器进展得远远超过了东说念主类。

李飞飞：咱们不得不住手比赛，因为咱们用完结资金。

Geoffrey：阿谁学生最初在多伦多大学学习，然后去了你的实验室，自后成为了特斯拉的研究负责东说念主。

李飞飞：起初，他来到斯坦福成为我的博士生。昨晚咱们还在聊这件事，其实在这个历程中有一个突破性的博士论文。自后他成为OpenAI的独创团队成员之一，但之后去了特斯拉。

李飞飞：他当今归来了。不外我如实想回答你对于那十年发展的问题。

Jordan：那十年一起有几项关键的进展，比如Transformer。Transformer的研究和论文是在谷歌里面完成的，另一位加拿大东说念主Aidan Gomez是论文的合著者，他当今是Cohere的CEO和辘集独创东说念主。其时他是谷歌大脑的实习生，年仅20岁。加拿大东说念主一直在这些突破中饰演正式要脚色。Geoff，你其时在谷歌，那篇论文写出来时，谷歌里面是否相识到它的关键性？

Geoffrey：我不认为有这种相识。也许作家们知说念，但我花了好几年才相识到它的关键性。在谷歌，直到BERT（ZP注：是2018年10月由Google AI研究院提倡的一种预老师模子）使用了Transformers，而况在许多天然语言处理任务上进展得更好，人人才相识到Transformers的特殊之处。

李飞飞：2017年Transformer论文发表时，我也刚加入谷歌。我铭刻咱们在我第一周见过面。我想2017年和2018年大部分时刻，谷歌主要的赌注是神经架构搜索，那时用了好多GPU，是以这是一个不同的地点。

Geoffrey：通俗解释一下，神经架构搜索基本上即是获取大量的GPU，尝试各式不同的架构，望望哪个效果最佳。自动化这一历程即是神经汇注架构的自动进化。

李飞飞：同期也调整超参数（ZP注：AI语境下，超参数指机器模子外部的一种配置，其值无法从数据中估算出来），对吧？

Geoffrey：是的，这如实带来了一些权贵的纠正，但远远不足Transformers。Transformers在天然语言处理方面带来了弘大的纠正。

李飞飞：神经架构搜索主要用于ImageNet。

Jordan：我来说一下咱们对Transformers的经验。其时咱们正在作念Layer 6这家公司，我铭刻咱们提前看过那篇论文的预印本。其时咱们正处于融资和收购要约的历程中，读完论文后，我和我的结伴东说念主计划过，他曾和你（Geoff）一起学习过，还有Maksims Volkovs，他是从Geoff的实验室出来的。咱们认为这是神经汇注的下一次迭代。于是咱们决定卖掉公司，成立一家风险投资公司，投资那些将使用Transformers的公司。咱们规划这项本领需要五年才能被谷歌之外的公司选拔，接下来十年，全球系数的软件王人将被这项本领替代或镶嵌。

咱们在ChatGPT发布前五年零两周作念出了这个决定。我很欢畅看到咱们的预测是准确的，但我要向我的结伴东说念主们致意，他们比我更深入地分解了那篇论文，并能够完整地向我解释它。

Geoffrey：我需要更正一下，你提到的Tomi其实从未和我一起学习过。他原来想来跟我学习，但咱们系里的一个共事告诉他，如若他弃取和我一起服务，那将会是他劳动生涯的驱逐。

Jordan：是以他如实上过一些课，但他并莫得跟Geoff学习。这是我的结伴东说念主，他在90年代末在多伦多大学攻读硕士学位时，想跟Geoff学习神经汇注。其时他女友（当今是他太太）的父亲是一位工程学讲授，告诉他不要这样作念，神经汇注是绝路一条。是以他上了课，但最终写了一个对于加密货币的论文。

从本领到社会的调理：探索东说念主工智能的历史与来日

李飞飞：你们还会谈那十年吗？因为我合计有一些关键的事情。

Jordan：请持续。

李飞飞：我认为有一个很关键的事情全天下淡薄了，那即是在ImageNet、AlexNet和ChatGPT之间的这十年。大多数东说念主将这十年视为本领发展的十年，在大科技公司里，事情徐徐酝酿起来，比如序列到序列的Transformer，诚然进展磨蹭，但却有紧要的风趣。但我个东说念主认为，这不单是是本领的十年，亦然从本领到社会的调理。我个东说念主在这十年里从一个科学家调理为一个东说念主文主义者。因为在我加入谷歌的两年间，赶巧Transformer论文的发表期间，我驱动相识到这项本领对社会的影响。

这是AlphaGo之后的时刻，很快咱们又到了AlphaFold的时刻。此时，偏见问题和诡秘问题驱动涌现，咱们也驱动看到作假信息和误导性信息的苗头，之后便驱动计划AI对服务的影响，诚然最初只是小圈子里的计划，但很快成为了民众话题。

那时我个东说念主驱动感到吹法螺，2018年，尤其是在剑桥分析事件之后，本领对选举的弘大影响变得清醒起来，诚然不全是AI，但却是算法驱动的本领。这时我作念出了个东说念主决定，要么持续留在谷歌，要么回到斯坦福。如若我回到斯坦福，独一的原因即是建立以东说念主为本的AI研究所，确实分解这项本领的东说念主文一面。是以我认为这十年相等关键，尽管在公众眼中它莫得那么权贵，但这项本领仍是徐徐渗入到咱们生活的方方面面。天然，到2022年，这一切王人变得相等清醒，本领的关键性变得不言而谕。

Jordan：那段时刻还有一个风趣的事情，即是最终你、Ilya和Alex王人加入了谷歌。但在此之前，有一家大加拿大公司有契机构兵这项本领。我听过这个故事，但好像从未公开分享过，也许你可以分享一下？

Geoffrey：好的，咱们用于ImageNet的本领，其实是咱们在2009年为语音识别开发的，成心用于声学建模部分。你可以获取声波，并将其回荡为一种叫作念频谱图的东西，它骄慢了每个时刻点上各个频率的能量。这些频谱图你可能见过，而咱们想要作念的，即是通过不雅察频谱图来猜测哪个音素的哪个部分在频谱图的中间帧中被抒发。

我有两个学生，George Dahl和另一个我与Gerald Penn共同指导的学生Abdo，他的名字很长，咱们王人叫他Abdo。他是语音民众，George是学习领域的民众。在2009年夏天，他们作念出了一个模子，进展比30年来语音研究的大型团队作念出的服从还要好，诚然差距莫得ImageNet那样大，但如实进展更好。之后，George去了微软，Abdo去了IBM，他们将这个模子带到了微软和IBM，两大语音研究团队驱动使用神经汇注。

我还有一个学生Navdeep Jaitly，他想把这种语音本领带到一家大公司，但由于复杂的签证原因，他但愿留在加拿大。是以咱们计划了黑莓公司（RIM），告诉他们咱们有一种新的语音识别方法，效果优于现存本领。咱们提倡让别称学生在夏天去他们那里，展示如何使用这项本领，这样他们就可以领有最佳的手机语音识别本领。经过一些计划后，黑莓的一位高档垄断示意不感兴致。是以咱们尝试将这项本领提供给加拿大工业的努力失败了。于是Navdeep将这项本领带到了谷歌，谷歌是第一家将其参加款式的公司。

差未几在咱们赢得ImageNet比赛的同期，George和Abdo的语音识别声学模子也被应用了。诚然有好多服务让它成为一个好的产物，比如镌汰延长等问题，但最终它被用在了安卓系统中。有那么一个时刻，安卓的语音识别一忽儿变得和Siri一样好，而这即是神经汇注的功劳。我认为，这对大公司高层来说是另一个关键要素：他们看到了这项本领在视觉方面取得的惊东说念主服从，也看到了它仍是在语音识别产物中运作清雅。是以他们相识到，神经汇注不仅能作念语音识别，还能作念视觉识别，显著，它能够作念任何咱们想要的任务。

Jordan：咱们如实错失了一些契机。

Geoffrey：的确，这很缺憾。可惜的是，加拿大工业莫得收拢这个契机。如若其时他们收受了这项本领，也许咱们今天还在用黑莓手机。

AI的发展历程及来日预测

Jordan：咱们就先聊到这吧。我之前听过这个故事，但我合计让公众知说念这个幕后故事很关键，这项本领本可以留在加拿大，以致是免费提供给他们的。

好吧，让咱们持续往前看。当今Transformer之后，谷歌驱动以多种步地使用并开发这项本领。OpenAI成当场，你的前学生Ilya离开了谷歌，与Elon Musk、Sam Altman、Greg Brockman等东说念主成立了OpenAI。Ilya是首席科学家，而Andre，你的学生亦然OpenAI的早期成员。他们构成了一个相等小的团队，最初的想法是要构建AGI（通用AI）。Transformer论文发表后，他们驱动选拔这项本领，并在里面取得了越过的进展，但他们并未公开分享他们在语言分解和其他领域取得的服从。他们还在机器东说念主领域有一些服务，比如Pieter Abbeel创立了Covariant，自后咱们也投资了这家公司。但是语言模子方面的发展握住鞭策。

外界对OpenAI的进展并不了解，直到前年11月30日ChatGPT发布，才让人人关注到。

李飞飞：其实，GPT-2仍是引起了一些东说念主的关注。我铭刻在GPT-2发布时，我的共事Percy Liang，一位斯坦福大学的天然语言处理讲授，告诉我，他一忽儿对这项本领的关键性有了全新的相识。Percy立即请求建立一个中心来研究这一领域。我不知说念这在多伦多是否有争议，但斯坦福是最早提倡"基础模子"这个术语的大学，有些东说念主称之为大型语言模子（LLM），但咱们认为它不单是限于语言，是以称之为基础模子。咱们在3.5版块发布之前就创建了研究基础模子的中心，肯定是在ChatGPT之前。

Jordan：能不成给人人通俗先容一下什么是基础模子？

李飞飞：这是个很好的问题。有些东说念主合计基础模子必须包含Transformer。

Geoffrey：它需要大量的数据进行老师。

李飞飞：对，我认为基础模子最关键的一个特色是它可以在多个任务上进行泛化。你不会只老师它作念某一项任务，比如机器翻译。在天然语言处理领域，机器翻译是一个相等关键的任务，但像GPT这样的基础模子不仅能作念机器翻译，还能作念对话生成、选录等好多任务。这即是基础模子。当今咱们在多模态领域也看到了它的应用，比如视觉、机器东说念主和视频。是以咱们建立了这个中心，但你说的对，公众是在2022年11月才确实正式到这项本领。

Geoffrey：对于基础模子，还有一个相等关键的点：在领会科学领域，耐久以来的广漠不雅点是，神经汇注诚然能在有饱和数据的情况下作念复杂的事情，但它们需要大量的老师数据。东说念主们认为神经汇注需要看到数见不鲜只猫的图片才能学会鉴别，而东说念主类的学习服从要高得多——只需要很少的数据就能学会访佛的任务。当今，这种不雅点仍是不再那么流行了。

一个神经汇注从随机权重驱动，可以在有限的数据上学会完成一个任务。如若你想作念一个平正的比较，你可以拿一个仍是在大量数据上老师过的基础模子，然后给它一个全新的任务，再望望它需要若干数据来学会这个新任务。这被称为"少样本学习"，因为它不需要太多数据。你会发现，这些神经汇注在统计服从上相等出色，与东说念主类比较，它们在学习新任务所需的数据量方面进展得相等好。

昔时的不雅点认为，咱们领有大量的先天常识，这让咱们比这些神经汇注要强劲得多，因为它们只可从数据中学习。当今，东说念主们险些放胆了这种想法，因为你可以拿一个莫得先天常识但领有大量训导的基础模子，给它一个新任务，它能相等高效地学习，不需要大量的数据。

李飞飞：你知说念吗？我的博士论文即是对于"一次学习"（Oneshot Learning）的。不外很风趣的是，即便在基础框架中，你可以进行预老师，但只好神经汇注的预老师才能确实让你达成多任务学习。

Jordan：这种本领基本上即是在ChatGPT中达成的产物化，全球在10个月前体验到了它，诚然对咱们中的一些东说念主来说，嗅觉时刻要长得多，因为跷足而待，阿谁发生了很久之前的"大爆炸"驱散驱动显败露来。我个东说念主的譬如是，就像是行星和恒星仍是造成，人人当今能看到并体验到10年前的服从。当你输入文本指示，生成图像、视频或回答超出你预期的问题时，这种反馈体验让东说念主嗅觉有些像魔法。

我个东说念主认为咱们一直在转移AI的主义线。AI老是被认为是那些咱们还作念不到的东西，它老是充满魅力的。一朝咱们达成了某些功能，就有东说念主会说那不是确实的AI，主义线又会被转移。在这种情况下，当ChatGPT发布时，你的反馈是什么？我知说念你的一部分反馈是你离开了谷歌，决定作念一些不同的事情。但当你第一次看到它时，你的想法是什么？

Geoffrey：就像飞飞说的，GPT-2在我心中留住了久了印象，之后的版块也在稳步发展。此外，我在谷歌里面看到了比GPT-3.5和GPT-4同样出色的模子，比如PaLM。PaLM给我留住久了印象的原因是，它可以解释为什么一个见笑是可笑的。我一直用这个轨范来判断模子是否"分解"了内容：如若它能解释为什么一个见笑可笑，那它就真的明白了。而PaLM如实能作念到，诚然不是每个见笑王人能解释，但能解释好多见笑。

趁便说一句，这些模子当今解释见笑的智力相等可以，但它们讲见笑的智力却相等灾祸。这是有原因的，因为它们是一次生成一个词。如若你让它们讲一个见笑，它们会尝试讲出听起来像见笑的东西。它们可能会说，"一个牧师和一只獾走进了酒吧"，这听起来有点像见笑的伊始。然后它们持续说一些听起来像是见笑伊始的话，但当需要讲出笑点时，它们并莫得提前念念考笑点是什么。它们只是在尝试制造一个像见笑的情境，终末给出的笑点时常很弱，因为它们不得不想出一个笑点。诚然它们可以解释见笑（因为它们能在回答之前看到系数这个词见笑），但它们不成讲见笑。不外咱们会开采这个问题。

Jordan：不管如何，你对此的反馈是什么？毕竟你一齐上见过了好多幕后情况。

李飞飞：我有几种反馈。我的第一个反馈是，诚然我一直以为我很了解数据的力量，但我如故被数据的力量颠簸了。这是一个本领性的反馈，天啊，我应该作念一个更大的ImageNet数据集，不外资金真的是个问题。

当我看到ChatGPT引发公众对AI的觉悟时，不单是是看到GPT-2的本领时刻，我衷心合计，感谢咱们昔时四年对以东说念主为本的AI的投资。感谢咱们与战术制定者、民众部门和民间社会建立了桥梁。诚然咱们作念得还不够，但至少这些对话仍是驱动了，咱们也参与其中，并在某些方面引颈了这场对话。比如，作为斯坦福大学的研究所，咱们正在主导一项关键的国度AI研究云法案，这项法案仍在国融会过历程中。

Geoffrey：不外当今国会没在运作。

李飞飞：对，征询院的议程还在进行中。咱们意料了这项本领的社会时刻。咱们不知说念它何时会到来，但咱们知说念它一定会来。这让我感到了一种迫切感。说真话，我合计这是咱们作为本领东说念主员和东说念主文主义者必须要布置的时刻。

Jordan：我认为你们两位的共同反馈是，咱们既要探求这项本领带来的契机，也要念念考它可能带来的负面影响。

Geoffrey：对我来说，有一件事我直到很晚才相识到，那即是让我对社会影响更感兴致的原因，正如飞飞所说，数据的力量。这些大型聊天机器东说念主处理的数据量是任何东说念主王人无法想象的，是咱们看到数据量的数见不鲜倍。它们能够作念到这少许的原因是，你可以创建数千个同样的模子，每个模子可以处理不同的数据子集，并从中获取调整参数的梯度，然后这些模子可以分享系数的梯度。因此，每个模子王人能从其他模子处理的数据中受益。而咱们无法作念到这少许。

假定有1万个东说念主，他们辨别读了1万本不同的书。每个东说念主读完一册书后，系数东说念主王人能知说念系数书的内容。通过这种步地，咱们可以变得相等贤人。这即是这些模子正在作念的事情，是以它们比咱们更优秀。

李飞飞：诚然咱们在努力尝试作念到这少许，但步地不同。

Geoffrey：通过教育达成基本上是灰心的，险些不值得用钱。

李飞飞：除了多伦多大学和斯坦福大学。

Jordan：我曾试图向一又友解释Geoff的幽默感相等调侃，如若你和他相处饱和久，你就会明白。不外，我就让你我方判断吧。

Geoffrey：咱们交换常识的步地大致是这样的，这是一个简化的说法。我说出一句话，你弄明晰你需要在大脑中蜕变什么。如若你信托我，咱们也可以用这种步地在模子之间传递常识。

李飞飞的乐不雅与Hinton的悲不雅：本领与东说念主性的交织

Geoffrey: 我给出一个句子后，你需要在大脑中进行调整，才能让你我方也说出这句话。天然，这取决于你是否信任我。其实，咱们也可以用这些模子来作念同样的事情。如若你但愿一个神经汇注架构分解另一个透顶不同的架构，你不成只是通俗地给它权重数据。是以，你需要让一个汇注师法另一个汇注的输出，这即是所谓的"distillation"。诚然这亦然咱们互相学习的步地，但因为受限于每句话只好几百个bits的信息带宽，服从很低。

但如若你有这些模子，这些digital agents每一个王人特等万亿个参数，它们辨别处理不同的数据片断，然后分享梯度。这相等于它们在分享数万亿个数据。因此，把它们的常识分享智力和咱们几百个bits的信息带宽比较，显著要强劲得多。它们在常识分享上远远优于咱们。

李飞飞: 我分解你在本领层面上的不雅点，但听起来这似乎是让你感到颠倒悲不雅的一个时刻。

Geoffrey: 那一刻我合计咱们东说念主类的历史也许就这样了。

李飞飞: 我莫得你那么悲不雅，我稍后会解释我的看法。

Jordan: 咱们不如聊聊这个。李飞飞，你为什么感到乐不雅？Geoffrey，为什么你相对更悲不雅？

Geoffrey: 我之是以悲不雅是因为正常悲不雅者老是对的。

李飞飞: 咱们之前计划时我也合计我方是个悲不雅主义者，是以我也不笃定我当今算不算乐不雅。当你十五岁来到一个透顶目生的国度，不会说一句当地语言，从零驱动时，你会发现我的念念维步地其实相等求实。我认为东说念主类和本领的关系比一般学术界的东说念主预期的要复杂得多。因为咱们在象牙塔里从事学术研究，老是但愿能作念出一些新的发现，发明出某种本领，但咱们时常会很空想化。然而，当本领，比如AI，进入社会层面，它不可幸免地会与东说念主类步履夹杂交织在一起。这即是为什么你说我是乐不雅的，我认为这更多是我对东说念主性的信心。

我信托东说念主类，不仅信托东说念主类的韧性，还信托集体的意志。历史的轨迹有时如实扭捏不定，但只须咱们作念正确的事情，咱们如故有契机的，咱们还有契机创造一个更好的来日。是以我当今的感受并不是一种盲目的乐不雅，而是一种使命感和迫切感。另外，Geoff，我真的但愿你能看到积极的一面。当你看到这一代学生时，比如我春季讲授的"深度学习和计较机视觉"课程，这门课有六百名本科生。比较五年前，这一代学生仍是透顶不同了。他们进入课堂时不单是是为了学习Deep learning、Transformer和生成式AI；他们还想接洽伦理、战术、诡秘和偏见问题。而这恰是我看到东说念主性在这一刻崛起的地方。

我认为这种状态很脆弱。望望当今天下上的情况，比如华盛顿的阵势，如实很不踏实。但如若咱们认清当下的场所，我合计还有但愿。

Geoffrey: 我不再讲授本科课程，但我如实看到了一些年青的教职职工的变化。以多伦多大学为例，两位相等有才华的年青讲授赶赴Anthropic专注于研究alignment问题。例如Ilya，当今全职戮力于这一领域的研究。是以，面前真的有一股强劲的变革力量。我个东说念主不太可能提倡处置这个问题的创意，但是我可以饱读舞这些40岁傍边年青的研究者们持续在这个领域努力，他们当今相等肃肃地在进行这些研究。

李飞飞: 只须咱们能够把最优秀的头脑聚合到这个问题上，这即是我但愿的开首。

Jordan: Geoff，你离开Google很猛进程上是为了能够解放地抒发你对这个问题的看法吗？

Geoffrey: 我离开Google是因为我年龄大了也累了，想退休看点Netflix。而那时我刚好有契机说出一些我对使命的念念考，而不必顾忌Google会如何回复。

AI的多重风险与恐吓

Jordan: 你如实驱动在媒体上发表了好多意见。在昔时的八个月里，你们两位相易政客的数目可能比这辈子相易的还多，从总统、总理到国会、议会等等。Geoff，你的担忧是什么，你但愿通过抒发达到什么目的，以及你合计是否达到了效果？

Geoffrey: 东说念主们时常计划AI的风险，但试验上存在好多不同种类的风险。比如，AI可能会导致服务岗亭减少，且并不会创造出同样多的新服务契机。这样一来，咱们可能会有大量休闲的东说念主群出现。咱们必须肃肃对待这个问题，因为AI带来的分娩力提高不会惠及那些失去服务的东说念主。富东说念主会变得更富，而穷东说念主会愈加空泛。即便有基本收入也不成处置东说念主类尊荣的问题。许多东说念主，包括学术界，但愿通过服务感受到我方在作念有风趣的事情。

还有作假新闻的问题，这是一个透顶不同的领域。再有即是斗殴机器东说念主，这又是一个透顶不同的恐吓。各大防务部门王人但愿制造战斗机器东说念主，莫得东说念主会间隔他们。或然最终在咱们经验了一些机器斗殴后，会出现访佛日内瓦公约那样的协议，就像对待化学刀兵一样，化学刀兵在被使用后才被收敛。

接下来是存在性风险，这亦然我最顾忌的。存在性风险是指东说念主类可能会被咱们创造出的更高档智能所隐藏，这种智能可能决定要掌控一切。如若这些智能变得比咱们贤人好多，就会出现好多假定。当今是一个弘大的不笃定性时期，你不应该过分肃肃地看待我的话。如若咱们创造出比咱们贤人得多的东西，因为这些数字智能可以更好地分享常识，是以它们可以学得更多，咱们将不可幸免地看到这些智能体为完成任务而种植次级主义。如若你但愿它们作念某件事，它们会先决定需要作念另一件事。比如，如若你想去欧洲，你得先去机场，这即是一个次级主义。因此，它们会设定次级主义，而一个相等昭彰的次级主义即是，如若你想完成任何事情就需要获取更多的收敛权。如若你有了更多的收敛权，事情就会更容易达成。

因此，任何领有设定次级主义智力的事物王人会设定获取收敛权的主义。如若比咱们贤人得多的事物想要掌控，咱们是无法间隔的。是以咱们必须想办法间隔它们产生想要收敛的意图。但还有一些但愿，因为这些智能体和咱们有很大的不同，它们莫得进化出竞争和攻击性，它们透顶是由咱们瞎想的，它们是"长生"的。对于数字智能，你只需将它们的参数存储在某处，就可以在其他硬件上重新运行。是以，咱们试验上仍是发现了长生的巧妙。独一的问题是，这不适用于咱们。咱们是凡东说念主，但这些智能体是"长生"的。这可能让它们变得愈加友善，因为它们不需要顾忌亏蚀，也不必像东说念主类那样为了糊口而竞争。

李飞飞: 就像希腊神话中的众神。

Geoffrey: Elon Musk曾对我说过访佛的事情。他认为咱们就像是数字智能的启动轨范——咱们是一种相对愚钝的智能，只是饱和贤人去创造电脑和AI。而这种智能将会比咱们更贤人得多。他认为它们会把咱们留住来，因为有东说念主的天下比莫得东说念主的天下愈加风趣。这似乎是一个相等脆弱的但愿，但这与李飞飞提到的希腊神话中的神明模子相似，那些神明有时会留住东说念主类来取乐。

李飞飞: 我想把你提到的四个问题归类：经济、劳能源、作假信息和刀兵化，然后再加上覆没和希腊神话中的神明问题。

Geoffrey: 我健忘提到懊悔和偏见了。

李飞飞: 我把它们分红两个类别，希腊神明和覆没风险属于覆没性风险，其他系数的称之为不幸性风险。作为AI生态系统的一员，有使命确保咱们不会大言不惭。尤其是在与民众战术制定者的交流中。诚然说覆没风险如实是一个相等值得学术界和智库研究的风妙语题。

Geoffrey: 这亦然我多年来的看法。我一直认为这件事距离咱们还有很永劫刻，合计让形而上学家和学者们研究它很好。但我当今认为情况迫切多了。

李飞飞: 但这个历程并不单是是机器在运作，东说念主类也在其中，因此需要更多的细致念念考。比如，咱们计划核能问题时，不单是是核聚变或裂变的表面。还波及到铀和钚的获取、系统工程、东说念主才等一系列问题。我信托你也看过《奥本海默》这部电影。是以，如若咱们按照这个方上前进，我合计咱们比以往更有但愿。因为咱们是一个社会，会建立保护步履，并风雨同舟。我并不想描述一个翌日就会出现大量机器东说念主统领天下的场景。咱们需要严慎对待这个问题，但我也不否定咱们如实需要肃肃念念考。

至于那些不幸性的风险，我更现实。咱们需要采集更多最贤人的东说念主才来布置这些问题。例如刀兵化是一个相等真实的恐吓，我透顶容许咱们需要海外合作，可能需要制定契约，分解计划参数。尽管我对东说念主类保执乐不雅，但也不得不承认咱们有自我澌灭与互相澌灭的智力。

第二个是作假信息的风险。2024年好意思国大选行将到来，AI将会在这个历程中饰演什么样的脚色？咱们必须处理酬酢媒体和假信息的问题。面前我看到在本领层面仍是有更多的服务在进行，例如数字认证（Digital Authentication）本领的研究，我认为咱们需要参加更多资源。Adobe和学术界王人在研究这个领域，我但愿来日也会有更多初创企业加入。

接着是服务的问题，我相等赞同这点。你提到的最关键的少许即是东说念主类尊荣，如若咱们作念得对，咱们将从"办事经济"转向"尊荣经济"，通过机器的配合，东说念主类将因为心境、个性化和专科常识而获取收益，而不再是从事那些贫寒枯燥的服务。这亦然为什么斯坦福大学的东说念主类增强研究中心（HAI）有这样一个创立原则，即东说念主类增强（human augmentation）。

在医疗领域，咱们仍是看到这样的应用。刚驱动使用ChatGPT时有一位来自斯坦福病院的大夫一又友找到我，说他们用GPT的医疗总结器用匡助大夫松开了包袱，使他们有更多的时刻专注于患者。这即是一个很好的例子，咱们会在更多领域看到访佛的情况，以致是蓝领领域。是以咱们有契机把事情作念好。

我想再补充一个对于不幸性风险的担忧，那即是权利失衡（power imbalance）的问题。面前我看到的一个正在马上恶化的权利失衡状态即是民众部门的缺席。我不知说念加拿大如何，但面前好意思国莫得一所大学有饱和的计较智力来老师一个像ChatGPT这样的模子。我认为，即使好意思国系数大学的GPT、A100或H100算力加在一起，可能也无法作念到。A100还不足以老师ChatGPT。但咱们在民众领域中领有私有的数据资源，比如用于癌症治疗、布置征象变化、经济和法律研究的数据。因此咱们需要对民众部门进行投资。如若咱们当今不选定行动，咱们将会失去整整一代东说念主，而况让这种权利失衡问题变得愈加危急。

是以我容许你的看法。咱们濒临好多不幸性的风险，咱们需要尽快布置。这即是为什么咱们需要与战术制定者和公民社会合作。是以我不知说念我当今说的是乐不雅或悲不雅的口吻，我我方听起来更像是悲不雅的，但我如实认为有好多服务要作念。

民众部门中改进与监管的均衡

Jordan: 从乐不雅的角度来看，在昔时的六到八个月里，你们王人毋庸婉词地计划了好多这些问题。咱们如实看到了一些紧要变化，如Geoff提到的，计划键研究东说念主员转向这些议题，民众和战术也在变化，列国政府如实驱动肃肃对待这些问题了。你们正在为白宫和好意思国政府提供建议，还和多位总理进行了对话。这在十个月或十二个月前是不太可能发生的。你对面前的地点感到乐不雅吗？

Geoffrey: 我如实感到乐不雅，东说念主们终于相识到咱们濒临着好多问题，包括不幸性的风险和存在性的风险。我透顶容许李飞飞的看法，不幸性的风险愈加迫切，尤其是在2024年。我相等乐不雅，东说念主们当今如实在倾听。

李飞飞: 是的，他们在倾听。但我想说的是，起初，在倾听谁的意见？我看到民众部门和私营部门之间的非对称性，即使在私营部门内，你在听谁的意见？不应该只听大科技公司和明星初创企业的意见。还有好多像农业、教育等领域需要关注。

第二，在系数这些杂音之后，什么才是好的战术？咱们计划了监管与否的区别，我不知说念加拿大的态度。正常是好意思国在改进，欧洲在监管。加拿大呢？

Jordan: 可能在中间。

李飞飞: 那很好。是以我咱们需要的是既有激励战术，也有民众部门的建设，解锁数据的后劲。咱们有许多数据被锁在政府，比如丛林失火、野天真物、交通和征象数据。在制定本领战术时，咱们需要探求的一个关节点是如何进行灵验的监管。咱们时常谭论监管或不监管的问题，但试验上，咱们需要深入分解监管的具体档次。一个相等迫切的监管领域，即是当本领以产物或服务的步地呈现，并平直影响东说念主们生活的时候。不管是在医疗、食物、金融服务，如故交通领域，当这些本领与东说念主类交互时，现存的监管框架可能并不完善。因此，咱们需要加强和更新现存的框架，而不是耗费时刻或可能造作地建立全新的监管系统。这样可以更快、更灵验地处置问题。

Jordan: 我还有终末两个问题。第一个问题是，这项本领险些将影响系数领域，其中的一些正面影响相等权贵，比如匡助休养癌症、糖尿病等疾病，缓解征象变化，还能推动新材料的发明。这些新材料可以应用在能源、航空航天和制药领域，这如实是多伦多大学正在进行的一项紧要努力。咱们当今可以达成以前无法想象的新天下，可以说科技在以往只存在于演义或想象中的步地推动着科学超过。你们对这些方面的长进感到乐不雅吗？

Geoffrey: 咱们王人相等乐不雅，我认为这项本领将对险些系数领域产生弘大的影响。

Jordan: 对于当今正在学习的学生来说，这是一个相等激昂东说念主心的时刻，他们有契机参与进来，减少负面影响，同期也可以期骗这个契机创造新的可能性，处置咱们耐久以来濒临的问题。这如实是东说念主类历史上最越过的时刻之一。对于那些行将驱动劳动生涯的东说念主，我的建议是尽量去念念考最大的挑战，念念考如何期骗这项本领来处置那些极具挑战性的问题。尽量把眼神放远，去追求那些最繁重、最有挑战性的主义。

李飞飞: 我饱读舞人人不仅要禁受这项本领，还要相识到这是一个新篇章。即便你认为我方是本领民众或科学家，也不要健无私方身上也有"东说念主文主义者"的一面，因为你需要这两者才能为天下带来积极的变化。

Jordan: 终末一个问题，咱们当今是否处在一个这些机器仍是具备分解和智能的阶段？

Geoffrey: 是的。

李飞飞: 不是。

问答技艺

Q1: 你提到教育中的挑战，颠倒是如何让大学能够赋能学生使用这项本领并进行学习。李飞飞也提到这项本领可以创造一个"尊荣经济"，让东说念主们能够专注于个性化和心境方面的服务，而不单是是为了经济糊口。我想问的是，你们是否顾忌在教育和劳动生涯中，尤其是对孩子和学生来说，过度依赖AI可能会带来的问题？他们需要培养妙技，动脑念念考，磨真金不怕火大脑，如若不学习大脑就会变得笨拙。你们对这方面的过度依赖有什么看法？比如当咱们有了可以使用Stable Diffusion生成画作的器用，或者当你有了可以像Shakespeare那样写稿的ChatGPT，学习这些妙技的能源是否会减少？跟着这些系统握住进化，能够处置更复杂的问题，这对咱们的智力会有如何的影响？

Geoffrey: 这个问题让我想起了以前口袋计较器刚出当前，东说念主们说孩子们会健忘如何作念算术，但事实证明这并不是一个大问题。孩子们可能如实健忘了算术，但他们有了口袋计较器。不外这可能不是一个很好的类比，因为口袋计较器并不比他们贤人。孩子们可以健忘算术，然后去作念确实的数学。但面对AI，我并不笃定。

对我我方来说，我发现这反而让我对天下更感兴致了，因为我不需要花半小时去藏书楼找书，只需要问ChatGPT就能得到谜底。这如实引发了我的意思心，因为我能更快地获取谜底。

李飞飞: 我想用一个小故事往返答这个问题。自从我成为斯坦福大学的讲授以来，我一直对大学里的一个巧妙办公室感到意思，那即是招生办公室。我从来不知说念他们在那儿、是谁或是他们的办公地点，直到本年早些时候我接到一个电话，他们想和我计划对于ChatGPT和大学招生的问题。他们的问题是，咱们是否应该在招生历程中允许使用ChatGPT。当今有了ChatGPT，咱们该如何进行招生？

于是我回到家，与我11岁的孩子计划了这个问题。我告诉他，我接到了一个电话，接洽对于ChatGPT和学生肯求的问题。如若一个学生提交了最完整的肯求，但是用了ChatGPT，咱们应该若何办？我问他，你会若何处理呢？他说，斯坦福应该登科那些最会使用ChatGPT的前2000名学生。最初我合计这个谜底很豪恣，但自后我相识到这是个很风趣的谜底。孩子们仍是把它行动一种器用来看待，他们把我方与这个器用的关系视为一种赋能的步地。显著，我11岁的孩子不知说念如何掂量这点，这意味着什么。但我认为，这即是咱们应该看待教育的步地，咱们应该更新咱们的教育体系。咱们不成像Geoff所说的那样把这种器用抛弃在咱们的教育之外。咱们需要拥抱它，并教育东说念主类，让他们知说念如何期骗这个器用为我方带来克己。

Q2: 当今咱们领有相等好的基础模子，但在许多应用中咱们需要模子的实时性能。你如何看待这个领域的研究地点，期骗这些民众级的基础模子来老师更小、更快的模子？

李飞飞: 咱们需要驱动念念考性能、推理历程，同期还要让模子符合不同的设备，这取决于使用的情况。不进入本领细节的话，系数这些研究，包括超出研究范围的情况，如实正在发生，但这需要时刻。

Q3: 在你们20多岁时，是什么驱动你们成为研究东说念主员？是什么促使你们进入学术界和AI领域？因为我当今有点困惑，不知说念该持续进入industry，如故平直读博，或者先读硕士再回到industry？还有一个问题，如若我肯求平直进入你的实验室读PhD，你正常会垂青什么？是GPA、发表的论文，如故保举信？

Geoffrey: 我对大脑如何服务产生兴致是在我十几岁的时候，因为我有一个相等贤人的一又友，有一天他来到学校，接洽全息图，还提到大脑中的顾虑可能像全息图一样。而我的反馈是，什么是全息图？从那时起，我就对大脑如何服务产生了兴致。是以，是因为在学校有一个相等贤人的一又友。

李飞飞: 我得说得不客气点，如若你读过我的书，你会知说念其实这即是我书中讲的内容。有好多对于AI本领的书，当我驱动写这本书时，我想写一个旅程，尤其是给年青东说念主看的，颠倒是来自不同布景的年青东说念主，而不单是是某种特定布景的东说念主。这本书报告了一个年青女孩的旅程，在不同的环境中，她徐徐相识到我方的空想并达成了它。这和Geoff刚才说的并莫得什么不同，一切王人源于样式。非论其他声息如何的样式。这种样式可能来自一又友，来自你看的一部电影，来自你读的一册书，或者是你在学校里最心爱的学科，任何王人有可能。

对于我招的学生，我会寻找他们的样式。我寻找的是志在四方，想要蜕变天下的健康宏愿，而不是单纯为了获取一个学位。天然，我也垂青本领布景，不单是是查考分数，当今的轨范如实很高。当你肯求博士或研究生款式时，你可能仍是有了一些获利纪录，诚然不一定必须有。你可以有透顶不同的布景，你可能来自一个残障布景。我所垂青的不是你当今的位置，而是你走过的旅程。这个纪录展示了你的旅程，展示了你的样式和信念。

Q4: 我认为benchmarks相等关键，它就像问题。ImageNet试验上是一个问题，东说念主们尝试用模子往返答它。当今LLM的评估相等淆乱，那些选定行动的generalist agents以致更难评估。因此，我的问题与这些benchmarks计划。

起初，如若你坐下来和GPT-5、GPT-6或GPT-7交流，你有五分钟的时刻去使用它们，你会问什么问题来判断它们是否属于下一代模子？其次是一个更全面的benchmark，咱们需要什么样的更概述性的benchmark来评估LLM或generalist agents？

Geoffrey: 这是个相等好的问题。不外我想略略偏离一下，回答一个计划性不太强但有计划的问题。当GPT-4出当前，这个问题就涌现了——咱们如何判断它是否"贤人"？我和Hector Levesque计划过，他以前是计较机科学系的讲授，他的看法险些和我不止天渊。但他相等赤诚，对GPT-4的进展感到骇怪，而况想搞明晰它到底是若何运作的。于是咱们聊了好多。我请他给我一些问题去测试GPT-4。他给了我一些问题，咱们想通过这些问题判断GPT-4是否真的"分解"它在说什么。

问题是，它真的分解它的回答吗？如故只是期骗复杂的统计模子来预测下一个词？有东说念主挑剔说，要想准确预测下一个词就必须分解之前说的内容。是以，准确预测其实是建立在分解的基础上的。但话说归来，有时候你也可以在不透顶分解的情况下作念出还可以的预测。那么，GPT-4真的分解了吗？

Hector提了一个问题："我家的房间刷成了白色、黄色或蓝色。我但愿系数房间王人变成白色，我应该若何作念？"我知说念GPT-4可以回答这个问题，于是我把问题变得更难。我说："我家的房间刷成了白色、黄色或蓝色。黄色的油漆一年后会褪成白色。我但愿两年后系数房间王人变成白色，我该若何作念？为什么？"如若你问"为什么"GPT-4会给你解释。

ChatGPT处置了这个问题。它说，你应该把蓝色的房间刷成白色，你不消顾忌黄色的房间，因为它们会褪成白色。它对措辞相等明锐。如若你不使用"fade"这个词，而是用"change"，就会出问题。有东说念主说他试了但没成效，因为他用的是"change"而不是"fade"。咱们分解"fade"是指样式蜕变后保执不变。但如若你说"change"，它可能会变样式，但也可能再变且归。是以，当你换成"change"而不是"fade"时，谜底就不一样了。它对措辞相等明锐。

但这让我信托它如实分解了。它还作念了其他好多事情。最近有东说念主提倡了一个风趣的问题，好多chatbots王人答错了，以致有些东说念主也会答错，但GPT-4答对了。问题是这样的：Sally有三个伯仲，每个伯仲王人有两个姐妹，Sally有几个姐妹？大多数chatbots王人答错了。

李飞飞: 那东说念主呢？

Geoffrey: 我刚作念了一场炉边对话，采访者让我例如阐发chatbots出错的例子。我给了他这个例子，他说谜底是6个。这有点窘态，咱们就不说他的名字了，但东说念主也会答错。但我不解白，如若不成进行一定进程的推理，你若何可能答对。它必须在某种进程上建立一个模子。Andrew Ng有一些例子，比如在玩辱骂棋时，即使你只给它字符串作为输入，它也会在里面建立一个棋盘的模子。是以我认为它们如实分解了。

Jordans: 进一步说，分解是否意味着跨越了智能的界限？

Geoffrey: 是的，我容许图灵测试对智能的界说。东说念主们只是在咱们通过了图灵测试后才驱动质疑它。

李飞飞: 我会补充Geoff的回答，我认为他试图推动的是咱们如何评估这些大型模子的基本智能水平，不外还有几个其他方面。起初，斯坦福大学HAI的基础模子研究中心正在创建这些评估规划打算，我认为这项本领仍是发展得相等深入，以至于有些benchmarks比你想象的更复杂。比如像ImageNet这样的benchmark，在与政府合作时会愈加复杂。咱们需要驱动针对社会计划问题进行基准测试，而不单是是中枢智力。还有少许，我想略略推广你们的视角，有好多超越LLM的来日AI本领，咱们还莫得为它们建立好的benchmarks。我的实验室正在作念一些对于机器东说念主学习的研究，Google昨天刚刚发布了一篇对于机器东说念主学习的论文。在这个领域将会有好多新的研究。

Q5: 正如你之前提到的，大学贫寒饱和的资金来老师基础模子。我想在AI和农业领域作念研究，防备这个地点但资源有限。我可能能瞎想出一个很好的模子架构，但莫得资源去老师它。是以我可能会探求去企业推行我的想法，但那样一来我就无法掌控这个想法了，我不知说念他们会如何使用它。你对这种情况有什么建议吗？

Geoffrey: 如若你能获取一个开源的基础模子，你可以用相对较少的资源去微调这个模子，是以大学依然可以进行微调。

李飞飞: 这是一个现实的谜底，但咱们正在和高等教育的指令东说念主、战术制定者相易，敕令投资民众部门，咱们需要建立national research cloud。我不知说念加拿大是否有这样的研究云，但咱们正在推动好意思国的建立，让像你这样的研究东说念主员有契机构兵到。但你作为学术研究者的上风在于能够构兵到那些对民众利益有匡助的data sets。你可以期骗这点与政府机构或者社区合作，因为民众部门依然享有很高的信任度。但就面前而言，微调开源模子是个好方法。

Q6: 一家AI初创公司的CEO提倡如何负使命地开发AI的问题，好多计划王人围绕这个话题伸开。他们想知说念作为团队，如何确实成为推动积极影响的首级，而不是生长负面驱散，而况想了解"守护者"的使命究竟意味着什么。

李飞飞：这个问题很棒。对于负使命的AI框架当今仍是有好多了。几年前有东说念主统计过，不祥有300个不同层面的框架，从国度级到企业级王人有。我合计每家公司王人应该有我方的负使命AI框架。你可以模仿好多现存的框架，以致像Radical这样的公司也在制定我方的框架。打造你信托的价值体系，相识到AI产物其实是一个系统，从最初问题的界说、数据集、数据的完整性，到模子的开发和最终的部署，王人需要建立一个多方参与的生态系统，匡助构建负使命的框架。

另外，建立合作关系也很关键。比如和像咱们这样的学术机构合作，或者和关注诡秘、偏见等问题的社会团体合作。作为一家公司，你要有我方的态度，但同期也要融入这个生态系统，和有计划训导的东说念主合作。这是我面前的建议。

Jordons：和那些对这个问题感兴致的东说念主合作相等关键。当今投资界有不少东说念主在念念考并引颈这个地点。在Radical，咱们在每一份投资协议中王人加入了一条，公司有义务选拔负使命的AI框架。最驱动一些讼师看到后会问"这是什么东西？"并试图删掉，但咱们如故坚执加且归了。咱们还在制定一个负使命的AI投资框架，并霸术粗鄙推行。咱们和全球多个组织一起合作，昔时四年里咱们见过7000多家AI公司，投资了其中40家傍边。是以咱们眼光了好多，尝试建立一个供其他公司参考的框架。咱们也会开源这个框架，人人可以一起纠正它，让它更完善。我合计各家公司只须主动计划那些志同说念合的东说念主，如实可以作念出好多有风趣的事情。

Q7: 研究东说念主员和工程岗亭的从业者今天是否也应该学习督察课程？

Geoffrey：我在Google时指挥一个小团队，每六个月咱们王人会收到职工的反馈回报。其中一份回报上写说念："Geoff相等好相处，但他可能需要上一些督察课程。不外如若他上了督察课程，那他就不再是Geoff了。"这即是我对督察课程的看法。

Q8: 从私营部门的角度来看，咱们与各方合作，戮力于将NLP和LLM带给更粗鄙的社会。在民众部门和研究机构，颠倒是那些领有大量东说念主才和数据的大学，如何找到最佳的步地来找到一种互惠的关系，让咱们和他们王人有所孝顺？

李飞飞: 推动民众部门的投资相等关键，我更倾向于提倡合作。咱们需要政府、私营部门和民众部门联袂合作。在斯坦福大学HAI的昔时四年里，建立一个行业生态系和谐直是咱们的主要服务之一。咱们可以详备计划这些内容，但如若我和大学指令或高等教育界语言，我认为咱们应该积极地、负使命地拥抱这种合作。每个东说念主可能会用不同的步地称号它，但我认为这个生态系统相等关键。建立这种合作伙伴关系，成为相互负使命的合作伙伴，对两边王人很关键。资源亦然一个关键要素，咱们真的会相等感恩这少许。

原文：Geoffrey Hinton in conversation with Fei-Fei Li — Responsible AI development

https://www.youtube.com/watch?v=QWWgr2rN45o

编译：Faye Yu， Grace Bo