然后他才意识到,姜亦心指的是陈建业。
哦,对了,他升技术负责人了。
韩路一又表扬了姜亦心两句,给小姜夸的都不好意思了才离开。
他还要去十三楼模型组的地方找赵文渊。
……
“文渊,你说的不太顺利,具体是指什么?”韩路一问道。
“韩总,国产适配的事,恐怕不可行。”赵文渊苦着一张脸,开口道。
“技术上有难度?”韩路一挑了挑眉,已经准备自己开视界上了。
“不是。”赵文渊叹了口气,“工程量太大了。”
“cuda做了十几年的生态,你让我带着模型组这几个人,别说适配生态了,一个算子的迁移都搞不定。”
韩路一倒是不觉得意外。
生态要是好做,国内的这些硬件厂商早做完了,哪还有这些问题?
“拿个例子来看看。”韩路一说。
赵文渊觉得韩路一有点儿多此一举。
就算你再能写,也不能让你一个一个写过去啊。
况且你不是已经在做标注了吗?
赵文渊没把这些话说出来,乖乖的从代码库里找出了一个算子的代码做例子。
scaled_dot_product_attention
这是变形金刚(transforr)架构中比较重要的一个算子,可以说没有这个就做不了大模型。
“n卡那边有专门的函数,性能和精度都做过深度优化,我手头连个等价实现都没有。”
韩路一拉过一个椅子坐在电脑前,接过鼠标,打开浏览器把相关的cuda源代码、国产显卡的ir文档、hlsdk都打开来。
赵文渊在旁边看的一愣:
“韩总,你要干什么?——你不会是要,自己写吧。”
韩路一头也没抬:“试一试。”
试一试?赵文渊心里吐槽,韩总,这可是一个团队几个月的工作量。
韩路一已经打开视界,把cuda实现中的几个关键地方都扫了出来,然后把要适配国产显卡的要点总结了一下。
接着韩路一在赵文渊的电脑上打开了姜亦心的ai智能体编程工具。
但他没把视界看到的关键信息都输进去。
他想先看一眼,仅靠模型自己能做到什么程度。
他输入了第一段提示词:
“把这个