亲,双击屏幕即可自动滚动
第113章 意外的邀请
    相比效果显著,非常出色的老虎算法,移动端优化排序算法的效果要稍差一些。

    因而孟繁岐并没有急着推动上线测试,而是等待结合AI语言解释模型的那一个更新准备一起推动。

    目前针对语言问题所采用的通常是循环神经网络(RNN)和长短期记忆办法(LSTm),这两个工作都是上个世纪末的老办法了。

    这两种方法简明好用,因而一直兴盛到2017年左右。

    直到Transformer,也就是ChatGPT的T方法出现。

    通常来说,大家都认为Transformer方法之所以能够迅速取代RNN和LSTm,主要是因为它更方便并行进行。

    在多个设备上容易做到并行,这件事最核心的意义便是让规模庞大的版本成为可能,这也为后来ChatGPT这样的究极巨无霸模型奠定了基础。

    “其实老版的RNN也有办法可以把并行做得很好,领域内对这件事有很大的误解。”孟繁岐皱着眉头思索道。

    原本时间线,Transformer出来之后,所有人都放下了手头老方法的研究,拥抱了T方法。

    可18年实际上有人专门做了RNN的高度并行,只可惜已经太迟了。

    如果这个发现可以早一年的时间,可能RNN会长期作为T办法的竞争对手,我们也有可能看到ChatRNN的出现。

    “早期的T方法需要很多数据,各种参数比较难调整,需要的计算能力也很庞大。”孟繁岐即便根据后来成熟的许多方法做了一个改进的版本,T方法在早期仍旧比较麻烦。

    “好在谷歌的数据和算力都不缺,而我也比较熟悉各种经典的参数设置。”孟繁岐先写了一个雏形版本的T方法,进行了一下测试。

    “不过,受限于现在显卡的显存,模型没有办法做得很大,除非我专门再去开发deepSpeed这样的高级并行方式。”

    在多张卡上训练模型,可能是为了追求速度,也可能是因为一张卡上放不下了。

    其中,数据并行是最简单的,也就是不同的卡都在做同样的事情,每张卡上都会存放一个模型。

    只不过输入的数据不一样,不同的卡做完运算之后,再一起整合更新。

    就像是所有人都拿了同样的刀切不同的菜,最后把切好的食材堆在一起。

    可有的时候,一张卡上根本就放不下模型,这样的情况就比较麻烦了。因为一个人根本拿不动这把刀了,需要多人协作。

    可以把每一层拆分到不同的卡上,也可以把不同层分配到不同的卡上,如此一来,其实是用多卡实现了类似单卡训练的效果。

    显然,前者会比后者容易非常多,前者只需要在不同卡上复制这些模型,分别读取数据做运算就好。

    而后者则需要根据不同的情况和设置拆分合并,一个不小心就会搞错。

    看了下谷歌大脑的服务器,里面有好几批2013款的GTX泰坦,这东西着实价值不菲。

    考虑到当时的其他产品,6G的显存还是鹤立鸡群的。

    比起孟繁岐自己重金购置的4G旗舰款,多出的2G显存,足够做很多其他的事情了。

    用速度换显存,孟繁岐又做了许多参数和信息在Cpu和Gpu上反复转移的操作。

    因为在正式入职之前,谷歌大脑分配给他的显卡就已经有16张泰坦,这部分卡拨给孟繁岐独享,随时都可以使用。

    除此之外,还有32张在不同节点上的Gpu可以申请占用。

    “这时候的谷歌显卡还没有那么多,这个配置已经相当大方了。”

    不仅有统一配置的系统和环境,还有提供好的多卡并行方式和例子。

    再过两年,几千张上万张TPU都是标配。

    孟繁岐如果想要将AI接入搜索系统,有三个主要的方向。

    一是通过拆分关键词,通过语言模型来获取其在现实世界的含义,从而对结果进行更好的排名。

    二是通过扩大模型的规模,使得它具备一定的宽泛理解能力,从而扩大能够搜索的内容量。

    三则是让搜索引擎更能够理解不同语言顺序会如何改变查询的意图。

    其中二目前比较难办,一和三孟繁岐的把握很大。

    传统的RNN和LSTm的循环方式,就导致了在较长语句上比较难处理得当,对顺序的变化理解也没有那么充分。

    孟繁岐的雏形T方法,在这方面具有得天独厚的优势。

    除此之外,T方法虽然在小数据上难以学到东西,各个参数也很难微调,总体的训练难度大。

    但这在孟繁岐这个老炼丹师面前,不是什么难事,配合谷歌早已备好的海量数据,孟繁岐对这个方法的效果还是很有信心的。

    而将显卡资源都投入训练之后,在13年的圣诞节前夕,孟繁岐结束了在谷歌尚海大约十天的工作旅程。

    模型的训练需要一定的时间,广告算法后续两板斧可能过两周,元旦之后了。

    总算基本完成了早期生涯吸金最多的技术,孟繁岐如释重负。

    就在他计划开始开办公司,开始看工作场地,设备金额的时候,一个意料之外的电话打乱了他的节奏。

    “孟先生您好,我是创新工厂李开赴的秘书,他很想跟你面对面谈一谈,但由于身体原因,出行不大方便,不知道您方不方便过来呢?”

    李开赴?也算是谷歌系的华人大前辈了,最高做到全球副总裁,中华区第一把交椅。

    不仅如此,他也曾在苹果和微软干到很高的位置。

    不过09年四年约到期之后,他就辞职不干了,自己搞了一个天使基金投资大学生的梦想。

    “李开赴老师现在在哪里?”孟繁岐对李开赴的经历还是比较熟悉的,此时应当正值他罹患癌症初期,只是不知道他在何处接受治疗。

    “李开赴先生先在宝岛北市接受治疗,如果方便的话,我们就约一个时间吧?其实这段时间的治疗效果并不是特别好,因此李先生已经基本不再参与任何会议和公司工作了,不过他执意要抽出一天时间跟你聊一聊。”

    “我现在刚刚结束了手头的事情,明天就可以去办理入岛许可证。”孟繁岐觉得有些奇怪,自己虽然在AI界崭露头角,但对于李开赴这样级别的前辈来说,似乎没有什么是非见不可的。

    尤其考虑到他目前的身体状况不是很好。

    “不过办理下来,也该是两周往后了。”

    孟繁岐问了秘书,她也不大清楚具体的原因,孟繁岐便压下了自己的好奇心,约在一月中旬见面。

    尚海飞北市桃园,总共要不了两三个小时,比去燕京其实还近一些。他两辈子还真没有去过宝岛,去见李开赴顺便走一圈倒也还不错。

    只是入岛许可证,却像签证一样,办理起来让人很是不爽。