神经网络简史

神经网络简史 2015-01-12团成片的尼克36 大数据 自图灵提出“机器与智能”，一直就有两派观点，一派认为实现人工智能必须用逻辑和符号系统，这一派看问题是自顶向下的；还 有一派认为通过仿造大脑可以达到人工智能，这一派是自底向上的，他们认定如果能造一台机器，模拟大脑中的神经网络，这 台机器就有智能了。前一派，我想用“想啥来啥”来形容；后一派就称之为“吃啥补啥”，估计他们的思想来源于中国古代的原始思 维，套一句庸俗的哲学词，前者偏唯心，后者偏唯物。这两派一直是人工智能领域里两个阶级、两条路线的斗争，这斗争有时 还你死我活。   麦卡洛可（McCulloch）   皮茨（Pitts) 模拟神经网络的原创文章发表于1943 年，两位作者都是传奇人物，麦卡洛可（McCulloch）和皮茨（Pitts)。话分两头。 皮茨打小就喜欢数学和哲学，初中时还读过罗素的《数学原理》， 还和罗素通信，罗素爱才，邀请他到英国跟随自己学习逻辑。 但皮茨家里是苦出身，连高中都读不起，英国留学自然未果。 他十五岁时，他爸强行要他退学上班， 就像所有爱读书的穷孩子， 皮茨一怒就离家出走了。他打听到偶像罗素那时要到芝加哥大学任教，就只身来到芝加哥，还真见到了罗素，老罗遂把他推荐 给那时也在芝加哥任教的卡尔纳普。卡尔纳普想看看这孩子到底有多聪明，就把自己的《语言的逻辑句法》一书送给皮茨，没 过一个月，皮茨就看完了， 把写满笔记的原书还给卡尔纳普。 老卡惊为天人，于是给他在芝加哥大学安排了份打扫卫生的工作。 别看不起打扫卫生，电影《心灵捕手》（Good Will Hunting）里马特·达蒙饰演的角色也是在知名大学打扫卫生时，不小心解了 道数学难题，引起老师的注意。扫马路至少可避免流浪街头。皮茨后来结识了也在芝加哥的麦卡洛可。 沃伦-麦卡洛可比皮茨大一辈，他本科在耶鲁学哲学和心理学，后在哥伦比亚得了心理学硕士和医学博士（ MD)，其实医学博士 和哲学博士不是一回事，MD 不是学术学位，属终极职业学位，和MBA、MFA 差不多。MD 的那个 D 是指“医生”，PhD 的 D 才 是博士。麦卡洛可毕业后做了几年实习医生，先去了耶鲁研究神经生理学，后又去了伊利诺伊大学芝加哥分校，做精神病学系 的教授。麦卡洛可的强项是神经科学，但不懂数学，他和十七岁的流浪汉数学票友皮茨是绝配。他们合作的成果就是神经网络 的第一篇文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”,发表在《数学生物物理期刊》上。这篇文章也成了 控制论的思想源泉之一。   诺伯特·维纳 控制论的始作俑者诺伯特·维纳早年自称神童，他爸是哈佛教授，曾经带着他到英国见过罗素，但罗素特不喜欢这孩子和他爹。 自打进入二十世纪后，甭管哪门哪派的学问，最后都能扯到罗素那儿，不想得诺贝尔文学奖的科学家都不是好情人。维纳后来 也在哈佛任教，但不被主流数学家喜欢，没拿到终身教职。最后到了隔壁的麻省理工落脚，在二战时搞了点武器研究。那时最 好的数学家和物理学家都参与了造原子弹的“曼哈顿”计划，维纳却没沾边。这也许同他的个性有关系，他的同事和家人都觉得他 对数学之外的事情反应迟钝。维纳提出 “控制论”后出了大名，在麻省理工搞了一大笔钱，麦卡洛可就带着皮茨等一票人马投奔维 纳，有钱才能当老大，哪都一样。维纳的老婆玛格丽特是纳粹，在二战时，家里还偷藏了本英文版的希特勒的《我的奋斗》。 那时他们的女儿芭芭拉正在读小学，有意无意也看过那书，写作文时居然引用书里的 “警句”，差点被学校开除。 麦卡洛可的老婆是犹太人，与玛格丽特形同水火。其实维纳祖上是波兰犹太人，玛格丽特早干啥去了？维纳娶玛格丽特是为了 自嘲吗？就像很多中国男人讨洋老婆或老外娶中国剩女， 图的不是相貌， 是稀罕。 反正最后维纳被中和为“不可知论者（” agnostic） 。 玛格丽特有次对维纳说麦卡洛可小组有人（可能暗指皮茨）勾引宝贝女儿芭芭拉，维纳大怒，随即断绝和麦克洛克及其学生的 所有往来。现在看玛格丽特是有意造谣。但维纳的举动对皮茨造成巨大创伤，皮茨本来是维纳的特招学生（ special student）， 但估计他年幼时受过挫折，秉性怪异。和维纳闹翻后，他拒绝麻省理工给他的研究生学位，对学问也心灰意冷。皮茨 1969 年比 他的长辈麦卡洛可早几个月离世，只有四十六岁。   迈克尔·阿比卜（Michael Arbib) 得维纳真传的人不多，不能不说一下迈克尔·阿比卜（Michael Arbib)。他二十三岁就在维纳手下得了PhD，他出名是那本科普 书《大脑、机器和数学》。阿比卜后来创办了麻省大学的计算机系，并延揽一帮人工智能人马，其中有后来以 “强化学习”出名的 巴托（Andy Barto)，使麻省大学的人工智能一直处领先地位。阿比卜后来转往南加州大学，担任一堆系的教授，包括计算机、 生物、生物医学工程、电气工程、神经科学、还有心理；他那名片要是印出来，估计很像中国的农民企业家，就差 “政协委员” 或“人大代表”了。阿比卜到南加州后，没出过什么有影响力的原创成果。在神经网络不景气时，巴托的 “可适应学习实验室”曾经 短期收容了很多人，其中就有后来的大佬级人物，如乔丹（ Michael Jordan），乔丹在伯克利时又培养了Andrew Ng 等一干人 马，那是后话。 1949 年，神经心理学家Hebb 出版《行为组织学》（Organization of Behavior)，在该书中，Hebb 提出了被后人称为“Hebb 规 则”的学习机制。 这个规则认为如果两个细胞总是同时激活的话， 它们之间就有某种关联， 同时激活的概率越高， 关联度也越高。 换句话说，就是“吃啥补啥”。2000 年诺贝尔医学奖得主肯德尔（Eric Kandel）的动物实验也证实了Hebb 规则。后来的各种无 监督机器学习算法或多或少都是Hebb 规则的变种。   弗兰克·罗森布拉特 神经网络研究的后一个大突破是1957 年。康奈尔大学的实验心理学家弗兰克·罗森布拉特在一台IBM-704 计算机上模拟实现了 一种他发明的叫作“感知机”（Perceptron）的神经网络模型。这个模型可以完成一些简单的视觉处理任务。这引起了轰动。罗森 布拉特在理论上证明了单层神经网络在处理线性可分的模式识别问题时，可以收敛，并以此为基础，做了若干 “感知机”有学习能 力的实验。罗森布拉特1962 年出了本书：《神经动力学原理：感知机和大脑机制的理论》（ Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms ），这书总结了他的所有研究成果，一时成为 “吃啥补啥”派的圣经。罗森布拉 特的名声越来越大，得到的研究经费也越来越多。国防部和海军都资助了他的研究工作。媒体对罗森布拉特也表现出了过度的 关注。毕竟，能够构建一台可以模拟大脑的机器，当然是一个头版头条的抢眼消息。此时的罗森布拉特也一改往日的害羞，经 常在媒体出镜，他开跑车、弹钢琴，到处显摆。这使得另一派的人相当不爽。 明斯基是人工智能的奠基人之