能源的利好,出消息就加仓。
它闭市前从财经新闻里扒出一条《宁德时代与苹果达成深度合作》,反手就把你账户里的两百万梭哈了进去。
第二天你打开账户:跌停。
再一查,那条“深度合作”,其实并不是官方媒体的报道,而是哪个野鸡自媒体博眼球的假消息。
如果你问它,它甚至还会认真地帮你理出这条新闻和买入操作之间缜密的逻辑关系。
一个经常犯傻的模型,装上手脚之后所能造成的危害可比只有嘴的模型大多了。
关于什么是聪明的模型这一点,不从事这个行业的人会有很多误解。
有人说:“所谓大模型,不就是猜下一个词是什么的概率生成器吗?你怎么能指望这种东西产生智能?”
这个说法,其实没错,但容易让人误解。
因为这种概率不是在一张平面表上查的。
它是在一个巨大的多维向量空间里算出来的,每一段语义、每一种逻辑关系,都对应这个空间里的一个方向。
模型把你输入的那段字投进去,让它在这个空间里和见过的所有东西进行比较、融合,最后落到一个点上。
输入越多,落点越精确;空间的维度越高,对细微差别的分辨越清楚。
维度靠什么堆?靠层数。层数越深,这个落点在出来之前就被反复精修得越多,每一轮都更贴合你真正想要的意思。大模型比小模型聪明,核心就是这个原因。
从这个层面上来说,即使模型真的产生了“智能”,似乎也不足为奇,毕竟人的大脑进行思考的时候,也只是神经元的电位运动而已。
只是大脑里神经元之间的连接是以百万亿计的,而现在最大的ai模型,参数量也不过万亿级,还差了几个数量级。
而且,大脑运转的耗电量,还不到ai模型的几万分之一。
所以过去几年全世界的ai公司拼命砸钱,就是要把模型做大、维度做深。
但当算力砸到一定程度之后,每多加一层带来的提升开始递减,代价却越来越贵。
这个时候,标注的价值出来了。
好的标注,相当于提前告诉模型:“这一类问题你不用在整个空间里盲搜,只要在这一小片里搜就行。”分布空间一被收窄,有限的层数就能算出更准的结果。
韩路一面前这堆反复的红,恰好是这件事的反面——
具体拿这个任务来说,把三个已经上