作为深度学习领域的亲历者，以及深度学习灵魂人物的同行者，谢诺夫斯基分享了这一技术发展过程中的洞见和轶事。这本书记录了人工智能这场狂飙运动，字里行间都能感受到作者的兴奋和投入。 ——谷歌副总裁 文顿·瑟夫作者简介：特伦斯·谢诺夫斯基（Terrence Sejnowski），世界知名 AI 科学家，美国四大国家学院（国家科学院、国家医学院、国家工程院、国家艺术与科学学院）在世仅 3 位的“四院院士”之一，全球 AI 专业会议 NIPS 基金会主席。作为神经网络的先驱，早在 1986 年，特伦斯就与杰弗里·辛顿共同发明了玻尔兹曼机，把神经网络带入到研究与应用的热潮，将深度学习从边缘课题变成了互联网科技公司仰赖的核心技术，实现了人工智能井喷式的发展。特伦斯现任美国索尔克生物研究所(美国生命科学领域成果最多的研究机构) 计算神经生物学实验室主任，是美国政府注资 50 亿美元“脑计划”项目（BRAIN，the Brain Research through Advancing Innovative Neurotechnologies）领军人物。特伦斯同时是全球最大在线学习平台 Coursera 最受欢迎课程《学习如何学习》（Learning how to learn）主理人，通过系统讲解大脑认知的底层知识，让学习者可以改变思维模式，提高学习的能力和效率。目前该课程学习人数已经超过了 300 万。书籍摘录：18
深度智能遗传密码西德尼·布伦纳（Sydney Brenner）在南非出生并接受教育，随后参与了剑桥大学早期的分子遗传学研究工作（图18–1）。他曾与弗朗西斯·克里克在分子生物学实验室（LMB）共用一个办公室。如果是你，在发现 DNA 的结构并解开了遗传密码之后，会在下一个项目里做什么？克里克决定把重点放在人类的大脑上。布伦纳开始研究一种新模式生物——线虫（C. elegans），这是一种生活在土壤中的蛔虫，有 1毫米长， 只有 302个神经元。长期追踪体内的每个细胞，了解个体如何从一个胚胎逐渐发育成熟的研究，使得这些线虫成了许多突破性发现的源头。布伦纳因为这项研究，在 2002 年和罗伯特·霍维茨（H. Robert Horvitz）、约翰·苏尔斯顿（John E. Sulston），共同分享了诺贝尔生理学或医学奖。布伦纳也因他的智慧而闻名。他在诺贝尔获奖者演讲中，赞扬了线虫：“我今天的演讲题目是‘大自然对科学的恩赐’（Nature's gift to Science）。内容并不是关于一个科学期刊对另一个期刊的致敬，而是关于生命世界的多样性如何启发和服务于生物研究领域的创新。”看上去西德尼·布伦纳似乎见证了“创世记”。布伦纳 2009 年在索尔克研究所做过三场系列讲座，标题是“阅读人类基因组”（Reading the Human Genome），讲座很精彩，没有借助任何幻灯片或道具。他注意到，除了电脑，还从没有人曾经阅读过整个人类基因组，一个个地检查碱基对，于是便将其作为自己的目标。在这个过程中，他发现了不同的基因和物种的 DNA 序列之间有趣的相似之处。布伦纳在全球多个研究机构都有教职。他在新加坡有一个实验项目；也是日本冲绳理工学院的创始校长；弗吉尼亚州阿什本（Ashburn）附近霍华德·休斯医学研究所珍妮莉亚研究园区的高级研究员；还是我在拉荷亚索尔克研究所领导的克里克– 雅各布理论与计算生物学中心（Crick-Jacobs Center for Theoretical and Computational Biology）的高级研究员。以上只是其中的几个头衔。在戴维·马尔获得了他的博士学位后，布伦纳聘请马尔在 LMB 从事计算研究工作，后来布伦纳通过自己的南非朋友西摩尔·帕普特，在麻省理工学院的AI 实验室为马尔安排了一个职位。分子遗传学和神经生理学之间的关系很深，而布伦纳在这两个领域都处于中心位置。图18 - 1 西德尼·布伦纳是生物学界的传奇人物。他研究遗传密码，DNA 中碱基对被转录成蛋白质的方式，并因其对模式生物的开创性研究工作而获得诺贝尔奖。这张照片来自 2010 年《科学网络》对他的采访。布伦纳有一次去拉荷亚的时候，我和他吃了顿晚饭，其间我告诉他，多年前我在哈佛医学院做博士后的时候听过一个故事——弗朗西斯·克里克死后到了天堂。圣彼得看到这个坚定的无神论者感到很惊讶，但弗朗西斯去天堂是想问上帝一个问题。他被带到了田野中的一个木棚里，里面散落着各种轮子和齿轮，都是失败的试验品。弗朗西斯看到上帝围着皮质围裙站在工作台边，正在修补一个新的有机体。“弗朗西斯，”上帝说，“见到你真是太高兴了。我可以为你做些什么？”“在我的一生中，”弗朗西斯说，“我都想知道这个问题的答案：为什么苍蝇有成虫盘？”“亲爱的弗朗西斯，”上帝回答道，“这真是个惊喜！从来没有人问过我这个问题。我已经将成虫盘放入苍蝇体内数亿年了，还从来没有听到过任何抱怨。”听完这个故事，布伦纳没说话。我猜想，讲这么一个贬损他的亲密朋友的故事，或许有些冒犯。“特里，”他说，“我可以告诉你我第一次碰到这个故事的那个场景。弗朗西斯和我坐在办公室里，他当时正在读一本关于发育生物学的书，突然举起手说：‘上帝才知道苍蝇为什么会有成虫盘！’”我惊呆了。找到你几十年前就听过，并复述了无数次的故事的源头的机会，有多少呢？我让布伦纳告诉我最初的版本。他说故事的标题是“天堂里的弗朗西斯·克里克”；他的故事版本与我的版本有着相同的基本结构，但细节却不尽相同 ── 就像进化过程一样，故事的基本核心不变，但许多细节却改变了。我于 2017年 1月探望了在新加坡的布伦纳，庆祝他的 90 岁生日。他因为健康问题不再旅行，还需要坐在轮椅上，但仍和我之前每次见到他时那样有活力。西奥多西厄斯·多布赞斯基（Theodosius Dobzhansky）曾经说过，没有进化论，生物学中的任何东西都讲不通。布伦纳于2017 年 2 月 21 日在新加坡南洋理工大学举行了一场关于细菌进化的演讲，该演讲是系列讲座《10个10：进化编年史》（10-on- 10：The Chronicle of Evolution）。 2017 年 7 月 14 日，我也在这个系列讲座中做了关于大脑进化的主题演讲。在演讲的开头，我对多布赞斯基的那句话做了些许改动：没有 DNA ，生物学中的任何东西都讲不通。每个物种都有智能智能在许多物种中发展起来，以解决它们在环境中面对的生存问题。在海洋中进化的动物与在陆地上进化的动物相比，面临着许多不同的问题。视觉感知使我们能够感知周围的世界，我们还发展出了视觉智能来解释这些视觉信号。研究非人类动物的自然行为的动物行为学家们，已经在这些动物身上发现了人类并不具备的能力和技巧，如回声定位：蝙蝠主动发出听觉信号来探测它们所处的环境，并对回声进行分析。这创造了外部世界的内部表征，所有表象都与我们的视觉体验一样生动。蝙蝠具有听觉智能，它能分辨来自鼓翼的昆虫（可以捕捉）和来自障碍（需要避免）的信号。纽约大学的哲学家托马斯·内格尔（Thomas Nagel）在 1974 年写了一篇题为《 成为一只蝙蝠是什么感觉？》（What Is It Like to Be a Bat?）的文章，并得出结论，如果没有回声定位的直接经验，我们就无法想象蝙蝠世界是什么样的。但缺乏这种经验并没有妨碍我们发明雷达和声呐技术（这些技术使我们能够积极探索看不到的世界），也不会阻止盲人通过适应声音的反射来摸索周边的环境。我们也许不知道成为一只蝙蝠是什么感觉，但我们可以发展类蝙蝠的智能，协助自动驾驶汽车使用雷达和激光雷达行进。我们人类是大自然中学习方面的佼佼者。我们可以在更广泛的领域中学得更快，记住得更多，通过不断繁衍所积累的知识更是胜过任何其他物种。我们创造了一种名为“教育”的技术，以增加我们在有生之年能够学到的东西。现在，儿童和青少年在教室里度过了自己的成长期，不断学习着世界上他们从未直接体验过的事物。作为相对近期的人类发明，阅读和写作需要很多年才能掌握。但是，这些发明使得积累的知识能够传递给下一代，比如写书、印制再到阅读这个流程，仅靠口口相传是积累不了那么多知识的。正是写作、阅读和学习，而非说话，使现代文明成为可能。特伦斯·谢诺夫斯基，来自：salk进化的起源我们的进化起源是什么？我在 1998 年协助建立的拉荷亚人类起源小组，最初是作为一个小组定期举行会议，讨论可能帮助我们回答这个问题的许多证据，这些证据来自古生物学、地球物理学、人类学、生物化学、遗传学，还有比较神经科学。它逐渐吸引了很多国际会员，并在 2008 年成为加州大学圣迭戈分校/ 索尔克人类学学术研究和培训中心（UCSD/Salk Center for Academic Research and Training in Anthropogeny，简称CARTA）。正如NIPS 召集所有科学和工程团队来了解神经计算一样，在探索我们人类来自哪里，如何走到现在，培养新一代思考者来寻找这些古老问题的答案方面，CARTA 也吸取了来自所有科学领域的见解。600 万年前，人属的谱系从黑猩猩的血统中分离出来（图18–2）。黑猩猩是一种非常聪明的物种，但黑猩猩的智能与我们的完全不同。在试图教授黑猩猩语言基础知识的尝试中我们发现，它们仅能学会几百个符号，用它来表达简单的需求，尽管以这种方式衡量它们的智能显得有些不太公平。如果我们不得不在黑猩猩的队伍中生存下去，我们又会有多好的表现呢？所有的物种都和我们一样以自我为中心吗？在人类和黑猩猩之间存在的差异，可以在我们的 DNA 中找到。我们知道这一点已经有一段时间了，人类的 30 亿个 DNA 碱基对中，与黑猩猩不同的只占1.4%。当黑猩猩的基因组被首次测序后，我们认为自己将能够阅读生命之书，发现人类与黑猩猩有什么不同。很遗憾，此书大约有90% 的内容我们都没有能力读懂。我们的大脑与黑猩猩的大脑非常相似；神经解剖学家已经在两个物种中确定了相同的脑区。与人类和黑猩猩在行为中的显著差异相比，这两个物种大脑之间的大部分差异处于分子水平，并且十分微妙。这再一次证明了，大自然比我们聪明。图18 - 2 黑猩猩的大脑和体积更大的人脑之间的比较，人脑已经进化出显著增大的，有更多褶皱的大脑皮层。图片来源：Allman, Evolving Brains, p. 164。人类终将解决智能难题莱斯利告诉我，奥格尔的第一法则指出，细胞中的每一个基本反应都会演化出一种酶，来催化这种反应。这种酶不仅加速了反应，而且还可以通过与其他分子的相互作用来调节反应，从而使细胞更加高效，适应性更强。自然以一个巧妙的反应路径开始，通过添加酶和备份路径逐渐改善这个路径。然而所有这些在缺失核心过程的情况下是无法工作的，这个核心过程对于细胞来说就是 DNA 的维护和复制，它在细胞生物化学领域中扮演着“蜂王”的角色。单细胞生物已经适应了许多不同的环境，并在生态中演化出它们自己的位置。例如，细菌已经适应了极端的环境——从海底的高温液体喷口到南极洲的冰层，以及更多温和的环境，比如我们的胃肠中有数千种细菌。像大肠杆菌这样的细菌（图18–3）已经发展出了按照梯度游向食物来源的算法。由于细菌太小，在几微米的体长里不能直接检测到梯度，于是就使用了趋化性，这涉及周期性地翻滚并随机游动。这看起来可能会适得其反，但通过在高浓度的地方将游动时间延长，细菌可以准确地按浓度梯度爬行。它们的智能是一种原始智能，但细菌比最聪明的生物学家还要聪明。这群最聪明的生物学家尚未弄清楚细菌是如何在如此多样的环境中生存的。在多细胞动物中可以发现更复杂的智能形式。图18 - 3 大肠杆菌的扫描电子显微照片。细菌是地球上最多样、最健壮、最成功的生命形式。通过研究它们，我们可以学到很多关于自主智能的知识。图片来源：NIAID，NIH。我们已经看到，强化学习的时间差分学习算法可能导致高度复杂的行为，通过人类大脑皮层的深度学习，强化了人类的复杂性。自然界有一系列的智能行为，可以让人工系统从中学习。跨越计算机科学和生物学的算法生物学是一个新的科学领域，寻求使用算法的语言来描述生物系统所使用的问题解决策略。我们希望，确定这些生物算法将会启迪新的工程计算范式，并能让我们对生物网络有系统级的理解。以上都不是重点，最终的目标是解释跨空间和时间尺度的生物系统中嵌套的复杂性：基因网络、代谢网络、免疫网络、神经网络和社交网络——全部都是网络。深度学习取决于对一个成本函数的优化。自然界的成本函数是什么呢？进化成本的倒数被称为适应度，但这是一个概念，只在具体的约束条件下才有意义，无论约束条件是来自环境，还是来自要被优化的系统。在大脑中，有一些调节行为的固有成本，例如对食物、温度、安全、氧气和生育的需要。在强化学习中，需要采取行动来优化未来的回报。但除了保证生存的奖励之外，从人类令人眼花缭乱的行为中可以看出，还有各种各样其他的奖励可以被优化。是不是一些潜在的通用成本函数导致了这种多样性呢？我们仍在寻找暴露智能最高形态秘密的核心概念。我们已经确定了一些关键原则，但是却没有一个概念框架能像 DNA 解释生命本质那样，优雅地解释大脑如何运转。学习算法是寻找统一概念的好地方。也许，我们在理解深度学习网络如何解决实际问题方面取得的进展，将引出更多线索。我们可能会发现细胞和大脑中使进化成为可能的操作系统。如果我们能解决这些问题，就可能会有想象不到的收获。自然可能比我们每一个人都更聪明，但作为一个物种，我并不认为人类无法解决智能难题。题图为电影《她》剧照，来自：豆瓣