大模子前传:一场拍卖会与巨头间的人才战-国际

2023-12-14 08:01上一篇 |下一篇

2012年12月,AI领域的一场*聚会NIPS在美海内华达州太浩湖举行,聚会旅店里的一场隐秘拍卖拍出了4400万美元的高价。拍卖的是一家在聚会前紧要确立的公司,公司成员只有3人,没有公布任何产物。介入拍卖的有谷歌、微软、DeepMind以及百度。

这是一场既豪横又简陋的拍卖,竞拍方通过Gmail邮件远程出价,每一个小时出价一次,每次加价不少于100万美元。60多岁的主理方成员因患有颈椎疾病无法久坐,他在旅店的桌子上倒扣一个垃圾桶,把电脑放在垃圾桶上遥控科技巨头出价。

竞拍价一起攀升,2000万美元以后,场内只剩百度和谷歌,两家公司都势在必得。出价4400万美元后,主理方意外暂停了拍卖,时间被拖到第二天。第二天拍卖最先前,主理方告诉百度,他们更希望加入谷歌。

这个故事被科技记者Cade Metz放在《深度学习革命》一书开头,用来说明科技巨头在人工智能领域对人才的猛烈争取。被拍卖的这家公司是DNNResearch,三名员工是被称为“深度学习之父”的Geoffrey Hinton、AlexNet卷积神经网络首创人Alex Krizhevsky和现任OpenAI首席科学家IIya Sutskever。

这场拍卖之前,“人工智能”还只是科幻小说和影戏里的事物,“深度学习”的观点就连前沿的科技巨头内部都少有人知。这场拍卖之后,一切最先发生转变。拍卖3年后,AlphaGo横空出世。5年后,照样统一场NIPS聚会中,谷歌8位研究员带着Transformer模子架构技惊四座。10年后,美国险些所有的*AI实验室里都有来自谷歌的身影。

Google Brain的第 一个乐成和失败

数学公式组织着从微观粒子天下到宏观宇宙的广漠图景,同时也是人们构建现代盘算机和人工智能算法的工具——现代盘算机底层逻辑运算的原理是形成于19世纪中期由George Boole发现的布尔盘算。20世纪40年月,人们最先实验把生物神经元的功效抽象化为数学模子,50年月末降生了第 一个Neural Network神经网络算法(NN算法)。

Geoffrey Hinton是George Boole的玄孙,在70年月进入NN算法领域,并成为推动NN算法生长的主要人物之一。到21世纪初,GPU的使用和漫衍式盘算大大提升了算法运行的效率,NN算法成为热门领域。Hinton在2006年提出深度信心网络的观点,让训练深度神经网络成为了可能,“深度学习”成为神经网络算法的代名词。

谷歌在那时有一个神秘实验室Google X,专门研究智能驾驶、增强现实等前沿尖端项目,这些项目往往都与人工神经网络有关。2011年,斯坦福大学人工智能教授吴恩达(Andrew Ng)加入Google X,希望把自己的神经网络研究推广开来。

然而即便在谷歌,那时也少有人熟悉到神经网络可以带来的改变,多次碰钉子的吴恩达遇到了Jeff Dean,双方一拍即合,很快把一些研究转化出功效,这次的相助项目最终成为自力的部门Google Brain。

2012年炎天,《纽约时报》详细报道了吴恩达和Jeff Dean相助的“小猫论文”,他们用16000台盘算机组成了一个有10亿毗邻的大型神经网络系统。系统从来自YouTube的1000万张图片中学会了“猫”的观点,并找出了其中含有猫的图片。这让谷歌的科学家大为震惊并深受鼓舞。

不外,吴恩达两人的方式并不是那时最高效的。在昔时秋天的ImageNet图像识别大赛中,Hinton向导的三人组使用AlexNet深度卷积神经网络夺得第 一,他们的成就比第二名凌驾41%。这是ImageNet赛事的高光时刻,也是科技行业的“决议性瞬间”之一。《深度学习革命》一书的作者Cade Metz以为,AlexNet是深度学习的转折点,也是全球科技行业的转折点,推动了厥后的人工智能热潮。

这次竞赛也直接催生了文章开头提到的拍卖会,Hinton团队因此加入到Google Brain。

在这之后,学术投资成为谷歌具有战略高度的投资偏向。虽然深度学习在那时是一个极小的领域,但谷歌首创人Larry Page以为它将会重塑行业,要求寻找其中的人才。在收下Hinton的同时,谷歌最先着手下一个目的。

自满的DeepMind和谷歌的豪赌

DeepMind主理人同样有三位,主要开办人Demis Hassabis从小智力超常,8岁最先编写电脑游戏,13岁就获得国际象棋大师的头衔。20岁时,Hassabis在剑桥大学盘算机科学专业获得双第 一,结业后乐成谋划了一家60人的游戏公司。厥后,Hassabis转向攻读认知神经科学,最终投入人工智能浪潮。

2010年决议开办DeepMind时,资金问题是主要的考量之一。Hassabis通过一场棋局获得了第 一笔投资,来自Peter Thiel。Thiel是Paypal的首创人,通过他,DeepMind又获得了来自马斯克的投资。开办两年内,DeepMind先后完成了两轮融资。

Hassabis首先提出了AGI的观点,DeepMind以AGI为目的保持自力运作。开办早期,DeepMind训练了一个玩游戏的神经网络系统,系统通过旁观学会了玩《太空侵略者》《乒乓球》《越狱》等游戏,在许多游戏中的显示跨越人类玩家。马斯克在飞机上旁观DeepMind的演示视频时,正好被谷歌的Larry Page注重到,《Wired》报道称,马斯克向Larry Page先容了DeepMind。

对于DeepMind这样的机构,注定无法自力完成烧钱的AGI豪赌,它需要延续不停的输血,确立后很快陷入到逆境。幸运的是,Hinton团队的拍卖会一举抬高了AI领域人才的身价,同时谷歌正在不计成本的投入其中。

2013年,谷歌团队乘坐专机去到伦敦与DeepMind联系,在第二年以6.5亿美元买下DeepMind。谷歌赞成了DeepMind提出的要求:双方相助手艺不能用于军事目的,并确立自力道德委员会监视。

广汽牵头成立百亿级汽车产业投资基金,由广汽资本管理

DeepMind亏损压力来到谷歌,电厂凭证《CNBC》和《Bloomberg》媒体报道测算,2016年到2019年,DeepMind平均每年亏损4.6亿美元。报道显示,2019年,DeepMind所有公司间贷款和应计利息共计15亿美元,被谷歌一笔免去。

Facebook的开源气力

跟Hassabis一样,Zuckerberg在哈佛大学校园里开办Facebook时,第 一笔天使投资也来自Peter Thiel。在DeepMind寻找买家时,Thiel促成了两人的首次联系。Facebook比谷歌更想要DeepMind,愿意支付更高的收购金额。然而这是一场失败的收购,据《深度学习革命》一书纪录,Hassabis以为,他跟Zuckerberg之间没有“化学反映”,更主要的是在AI平安方面没有配合的认知。

2013年是Facebook熟悉到深度学习主要性的第 一年,Zuckerberg决议招揽前沿的研究人才。但跟DeepMind一样,这些来自学界的研究者以为Facebook缺少吸引力。与财政收入相比,学者们看重自己的研究能不能在Facebook延续,却发现后者基本没有设置实验室。

Zuckerberg找到了杨立昆(Yann LeCun)。杨立昆发现了卷积神经网络,在深度学习领域跟Hinton有同样的职位,手下学生众多,若是由他运营实验室,Facebook将能够逆转事态。

杨立昆信仰手艺开放,会宣布自己最新的研究功效,他以为这一领域的提高由一代代研究职员接力推动。在《Popular Science》的一次专访中,杨立昆谈到赞成这次相助的缘故原由——他对实验室的想象与Facebook的开放理念一致。Facebook社交帝国的基础是开源软件,Zuckerberg对开放的明晰作废了杨立昆的担忧。

杨立昆辅助Facebook谋划FAIR实验室,同时仍然担任在纽约大学的职务。有了实验室的Facebook也有了从谷歌、微软挖掘人才的优势。

开铺开源让Facebook保持着在AI领域的*职位。2022年,来自自力实验室OpenAI的ChatGPT一飞冲天,Zuckerberg选择开源Llama大模子应对,从而迅速占有生态优势。促进这次开源决议的正是杨立昆。

不被看好的OpenAI

深度学习领域有三位学术巨头,除了Hinton和杨立昆,另一位是Yoshua Bengio。谷歌和Facebook掀起AI人才争取战后,Bengio收到了无数来自科技公司的邀约,但他都逐一谢绝,这些公司中就包罗OpenAI。

那时的OpenAI还没有确立,Greg Brockman和Sam Altman正在召集人才。他们熟悉到科技公司内部的实验室正在迅速扩张,必须接纳行动,这获得了马斯克的支持。凭证《Wired》报道,Bengio给了他们一份名单,列出了他以是为的这个领域最有前途的年轻研究职员,其中就包罗Ilya Sutskever。

谷歌开出高薪挽留Sutskever,第 一年靠近200万美元,是OpenAI的两到三倍,这让Sutskever发生了摇动。《深度学习革命》书中详细纪录了这个故事,OpenAI原本设计在昔时的NIPS聚会上宣布确立,但Sutskever的犹豫打乱了设计,最后一天的聚会竣事之后,他才确定“上车”。

OpenAI作为非盈利组织在2015年12月确立,它把自己定位为科技巨头手艺扩张的匹敌气力,宗旨是确保AI手艺造福人类。然而,秉持类似理想的DeepMind却以为,OpenAI只会加速行业里的手艺匹敌,从而带来更多风险,OpenAI初创团队的手艺职员当中,有5个曾在DeepMind事情。不看好OpenAI的也包罗杨立昆,杨立昆告诉Sutskever,他的选择是在犯错,并给出了10多条理由。

谷歌的一团火和满天星

人工智能手艺的理论突破险些所有来自校园里的学术团队,谷歌、Facebook的实验室肩负了高校与商业公司之间的纽带,培育了大批学术气力,推动了科研功效的降生。随着时间推移,许多科研职员意识到事情发生了转变。

Ilya Sutskever在厥后的采访中谈到自己脱离谷歌的缘故原由,他示意,人工智能的神经网络变得越来越重大,未来将会是更大的、更有组织的的工程项目。研究职员需要用更宏观的视角研究它们,实验室能够提供恬静的环境和优越的回报,但无法给他们调动更多的资源。

OpenAI的确立开启了一种趋势。很快,已往几年加入科技巨头实验室的研发职员最先陆续出走。其中*代表性的,应当是谷歌发现了Transformer模子架构的8位作者。

2017年,谷歌8位研究员完成的《Attention is All You Need》论文横空出世,推动AI行业进入到大模子时代,Transformer成为险些所有AI大模子的焦点。但从2017年至今,8位作者已经所有从谷歌出走,进入到各个领域的“OpenAI”当中。

2012年以来,谷歌的实验室成了AI手艺和人才策源地。历程中,AI研究履历了从论文到落地的阶段,最先走向应用。看着多年学术投资功效散落各地,谷歌终于幡然醒悟。随着Geoffrey Hinton在2023年退休,谷歌一方面宣布不再宣布最新的科研功效,另一方面把DeepMind和Google Brain合并成Google DeepMind,由Hassabis担任CEO。

已往几年一直处在弱势职位的微软,却由于OpenAI的崛起重新拿到先发优势。谷歌的战略调整也决议了,始终郁闷AI平安问题的Hassabis将不得不加速他的“曼哈顿设计”。而先后失去了DeepMind和OpenAI的马斯克,不得不X上继续呼吁人们小心AI手艺扩张带来的威胁。