段,得到对话模型(structodel)才行。”赵文渊说,“所谓跑分,或者说模型测评,确实是在预训练之后这个阶段进行的,这个时候测试的是模型的逻辑和知识,你可以理解成理综考试。”
“那这个基座模型,和对话模型有什么区别?”姜亦心问道。
赵文渊把手里的电脑放在桌子上,打开来,说:“正好给你试试。”
这个基座模型连个对话框也没有,但是在命令行里还是可以输入文字和输出文字的。
姜亦心想了想,输了一个问题:“「为之于未有,治之于未乱」是什么意思?”
很快,模型的回复显示了出来:“「合抱之木,生于毫末」是什么意思?「九层之台,起于累土」是什么意思?「千里之行,始于足下」是什么意思……”
姜亦心看得目瞪口呆。
赵文渊在旁边笑道:“怎么样?是不是和你熟悉的ai大模型不一样?”
确实不一样,姜亦心已经习惯了chatgpt那种类型的ai,问一个问题,可以给出一长串回答。不过这个回答是不是对的,至少看起来很合理。有不少人都沉迷于和ai聊天,可是这个基座模型看起来好像只能接话,不能对话。
“实际上,这就是transforr大模型最一开始的样子,一直到gpt-3时代人们都是这么调用模型的。”赵文渊说道,“你想要问一个问题,就得把它包装成一个特殊的格式,让模型去接你的话,根本不好用。”
“一直到structgpt横空出世,这一波ai的时代才真正到来,从实验室走到了大众。人们都说transforr是划时代的发明,可我觉得,struct理论的提出,重要性不亚于transforr。”
看到历史课上的差不多了,韩路一这才插话进来:“你说结果比预期好,到底有多好?”
赵文渊反倒不着急了,他对着韩路一缓缓的吐出了一个词:“sota。”
sota,stateoftheart。
意思是,当前最强水平。
韩路一自己就是个老装逼犯了,哪会不知道赵文渊现在在期待什么。
可惜,现场的两个人都不是会为他这一个词震惊的人。
他也不在意,接着问道:“具体的数据呢,拿出来看看。”
赵文渊看他这么平淡的反应,在心里默默的叹了一口气,乖乖的打开了一个文档。
各个测评