第四百六十四章 下一波算力(1/2)

我们马上记住本站网址,www.4ibo.com,若被浏/览/器/转/码,可退出转/码继续阅读,感谢支持.

赵文渊盯着研究院员工们想看又不敢看的目光,抱着纸箱回了办公室。

秘书方芳看见他走进来,吓了一跳,差点儿以为自己的老板突然被裁了。

随即反应过来:他抱着纸箱是从外面回来,不是出去。

再加上韩总也没来。

方芳敲了敲头,心想:看来是最近职场短剧看多了,被无脑剧情搞脑残了。

她赶紧起身接过纸箱,往里瞟了一眼:一个白色头盔,看着挺精致;旁边还有一只银色机械手,泛着金属光泽。

这是什么新买的手办吗?看着和复仇者联盟里的那个手套还挺像的。

感觉确实是赵总会喜欢的风格。

“赵总,我给您摆到书柜上?”方芳问道。

赵文渊奇怪地看了她一眼。

“摆书柜上干什么?我一会儿要接电脑上。”赵文渊说完抬手看了看表,“先在你这儿放一下,我去开会。”

下一场是和江松然的算力会,正好要聊豆汁儿模型的应用。

走进会议室,小牛等几个负责豆汁儿模型的研究员已经坐在里面;见赵文渊进来,纷纷起身叫了声“赵总好”。

赵文渊对他们轻轻点了点头,说道:“都坐都坐。小牛,你开电脑接一下线上会议。”

很快视频接通,对面也是一间会议室。

出乎几人意料,除了江松然和他手下负责算力基础设施的总监、高级专家,韩路一竟然也在会议室里。

“韩总好。”赵文渊赶紧打招呼。

韩路一点点头,说道:“我刚才来找老江,正好碰上你们要开碰头会,不介意我旁听一下吧?”

这话一出,除赵文渊外,其他人都明显紧张起来。

跨部门协作本就不容易,大老板突然出现在会议里,准备好的演示和交流顿时显得准备不足。

像小牛这样从海城时期就在的老员工还好;一些在京城入职的研究员本来和韩路一接触不多,心里难免更忐忑。

会议开始,赵文渊先定了议程。

“今天这个会呢,主要是给两边团队定个调。我们研究院最新研发的豆汁儿模型能做什么、不能做什么、适合做什么,功能方面我上午已经给江总演示过了,一会儿由小牛再给大家简单过一遍;然后重点讨论接下来双方怎么合作,如何把豆汁儿模型放进调度层;最后做一个简单的排期。”

赵文渊说完,问韩路一:“韩总,您看还有什么要补充的吗?”

韩路一想了想,说:“我说一句。开会要开到点上。在场谁若觉得自己不能在这场会议里贡献意见,只是来跟进进度,可以先离场;之后看会议记录也一样,不用在这儿浪费时间。”

韩路一说完,看了一圈,倒是没有人离场。

他接着说道:“还有,每场会议开始前都该有预期产出。我刚才听了一下,这场会开完会把合作计划和排期定下来,是吧?会议结束时记得总结一下。”

说完,韩路一对着屏幕点了点头:“小牛,开始吧。”

小牛站起身,清了清嗓子,说道:“韩总,江总,我先给大家做一遍演示。”

小牛共享屏幕,做了一遍演示,内容和高管例会上赵文渊做的基本一样。海城会议室里,基础设施部门的员工都是第一次看到成果,心中初步满意,却不免仍有怀疑。

单个请求做得又快又好,只是不知道并发上来后表现如何,又会占用多少资源。

豆汁儿要代替汤圆做调度辅助,除了精度不能拉胯,自身也不能太耗算力——不然省出来的算力全用来跑调度器,就完全没意义了。

江松然率先提出这个问题:“这个豆汁儿模型想支持十万QPS,需要多少算力、多少资源?”

目前整个起源自有算力的吞吐量大概就在十万QPS这个量级,江松然才有此一问。

这是把豆汁儿接入每一个调度请求所需要的资源。

小牛拉出一张图表:“江总,我们做过压测,自己使用的八卡L100大概能做到两万四千QPS。”

这个数字让海城会议室的人一惊。

那岂不是说,就算加上资源冗余,要服务整个起源所有推理请求的调度,也只需四十张L100左右的算力?

这个豆汁儿模型也太小太省算力了吧。

江松然对身边的基础设施总监陶封说:“老陶,刚才赵总那边说,豆汁儿模型的判断准确率能到98%。按这个数据估算,如果现在把每一步算力调度都跑一遍豆汁儿模型,照我们之前的估算,大概能提高多少效率?”

陶封在面前的笔记本电脑上迅速操作了几下,回答:“我们之前测算过,总体算力约有百分之三十因资源错配被浪费;若真能达到这个准确率,应该至少能救回百分之二十。”

两个数据中心目前一共部署了三万张左右计算卡,若能从里面优化出百分之二十的性能,就等于凭空多出六千张卡。

四十张卡,能换出六千张卡的算力来,这就是豆汁儿模型的价值。

韩路一在旁边暗自思量:离赵文渊之前要求的万卡训练集群还有点儿差距,还得再想办法。

眼下新买的卡一直在持续部署,国产算力联盟的适配工作也在更多厂家推进,也许再过两个月,这几千张卡的缺口就能补上。

只不过不知道到时候起源对算力的需求又会增长成什么样子。

韩路一心里盘算着,陶封和他带来的高级专家已和小牛讨论起联调的具体细节。

“我们肯定要灰度上线。以现在的体量,首批先接入百分之一的服务器,效果稳定后再慢慢往上加。”陶封说。

“可以。”江松然点头。

产品发布一般没这么麻烦,可基础设施是全公司所有产品的基石,一旦出问题,所有产品都会受影响,所以格外谨慎。

“那就只剩时间了。先不谈上线,只做改动,大概要多久?”江松然转头问另一位参会的下属——基础设施部门高级专家谭应许。

谭应许沉吟片刻,说:“这个接口很简单,把调用汤圆的地方换成调用豆汁儿,返回结果的解析逻辑大概改一下。如果着急,我今天就能做完。”

韩路一在旁边听笑了。

本章节未完,点击这里继续阅读下一页(1/2)