。”
他自己知道,赵文渊对训练管线做了相应的微调,但那也是为了适应汤圆的原始数据和标注数据。
归根结底,汤圆能做出这个成绩,还是来源于韩路一出的数据。
毕竟,汤圆在训练的过程中也没有发明什么新的算法,也没切换什么新的路线。
它只是在这个方向上,这个规模上,把数据卷到极致了。
出来的效果就是这么好。
听了韩路一这么直接的回答,邵教授一愣。
他其实第一反应是不信,因为这条路不是没人走,包括硅谷的顶尖模型也在走,如果汤圆走的是同一条路的话,她凭什么做到了世界第一呢?
韩路一这边话没停,还详细地解释了一下:“汤圆的模型架构、训练方法都不是什么独特的发明,汤圆之所以能做到这个程度,核心原因就两点——”
“一是在预训练阶段,数据的质量足够高。”
“二是在后训练和对齐阶段,标注数据的质量足够高。”
“我们不是把大量的垃圾喂进去,然后指望模型从垃圾堆里学知识,我们做的工作在训练之外,保证让每一个词元都有价值。”
这没有什么好隐瞒的,汤圆的护城河在数据上,不在训练方法上。
况且韩路一还馋着在座两位教授的影响力,自然愿意表现出一点儿诚意来。
在座的几个人,除了陆正平之外,都是业内的行家里手了,听了韩路一的话,都思考了起来。
这个理论不是新理论,但是方法听起来是个笨方法。
最大的问题是,这个方法很难scale(规模化)。
现在一个大模型几千上万亿的词元,你怎么去保证质量?
倒是陆正平听出来一点儿别的东西:韩总刚才是不是说他负责的部分就是数据收集来着?他刚才说的这两点,不都和数据有关吗?
这时候服务员开始进来上菜了,也就打断了几个人的思考。
菜上的很快,陆正平先起来提了一杯酒,庄院士又提了一杯酒,最后韩路一也提了一杯酒。
韩路一已经有点儿适应这种流程了,他也能看出坐着的章同学很不适应。
这不适应都快写到脸上了,不用视界也看得出来。
但是韩路一心里还有个小小的疑问:上次见周涵的时候,她小心翼翼的样子让韩路一印象深刻。不是说不让喝酒宴请了吗?怎么陆正平不在乎这个?