鲁棒。
必须能在极端昂贵的算力成本下,把每一张卡的利用率压到足够高。
否则你花同样的钱,别人训练一个月,你训练三个月。别人烧一千万,你烧三千万。
最后模型效果还不一定赶得上。
赵文渊潜心研究了两天,越研究,脸色越难看。最大的困难不是技术上完全不可行。恰恰相反,很多东西理论上都有办法做。
最大的问题是,工程量太大了。
这不是一个天才程序员闭关三个月就能解决的问题。
这是业内十多年、无数公司、无数开发者、无数论文、无数开源项目共同堆起来的生态。
这就像愚公移山,别说是赵文渊一个人,别说是源码科技模型组的这点人,就算韩路一给他几百人的开发团队,花个几年时间,可能也就能把最核心的部分做一个可用版本。
这现实吗?
不现实。
赵文渊狠狠的抓了抓头发,然后看着自己抓掉的头发,又心疼的摸了摸。
他打开微信,找到一个在谷歌工作时的华人同事。
那个同事当年给tpu做过适配工作。谷歌自研芯片加自研框架的路线,面临的是一样的困境,只是他们当年砸钱砸出来了。
赵文渊写了一条长长的信息,把自己的困境简短说了一下。
如何从训练框架层面对新硬件做适配?自研芯片生态早期最难补的短板是什么?如果一个创业团队想在国产ai芯片上跑大模型,有没有现实一点的切入方式?
这里面可能会涉及一些保密内容,赵文渊和这个前同事也两年没联系了,他本来也不预期一定会收到回复。
没想到半个小时之后,对方回复了。
看到信息的内容,赵文渊气笑了。
回复很简短:
“别想了,没戏。”
原来人气极了真的会笑。
过了一会,对方又发了更长的一段话过来。
“tpu这条路不是创业公司能复制的。你们如果只是想省钱,直接买n卡。你们如果想支持国产芯片,那也应该让芯片厂来做生态,你们最多做应用层适配。总不能花几千万美元给硬件厂商补生态吧?”
几千万?美元?朋友,你说保守了。
赵文渊把手机锁屏,打开电脑,看着自己在飞机上写的那个文档。
《汤圆模型国产算力适配路线图》
有点儿讽刺。