第四百四十一章 新模型,新名字(1/2)

我们马上记住本站网址,www.4ibo.com,若被浏/览/器/转/码,可退出转/码继续阅读,感谢支持.

“什么?”韩路一问道。

他知道,大模型与人脑有相似性,因此不少研究人工智能的计算机科学家会读脑科学书籍;他自己也翻过几本流传较广的畅销书。

可真到细节上,他就抓瞎了。

一旁的江松然同样摸不着头脑。

可看着视频里赵文渊兴奋的样子,两人都意识到:这位研究院院长恐怕还有新东西要拿出来。

“是决策的可选项本身。”赵文渊说道,“系统一最擅长做是否类判断,几选一也还行;可一旦可选项超过一定数量,它几乎就做不出选择。”

“我给你们举个例子:如果我现在问你们想不想喝豆汁儿,你们是不是立刻就能给出答案?”

江松然还没什么反应,韩路一的脸色却已经难看起来。

这确实是系统一就能回答的问题。

“如果我问你,Vim好还是Emacs好,你是不是也能马上给出答案?”赵文渊接着问。

韩路一和江松然几乎同时开口。

“当然是Vim。”这是韩路一说的。

“Emacs。”这是江松然说的。

两人又飞快地对视一眼,眼神里的含义却并不相同。

韩路一的眼神分明在说:“原来你是个Emacs党。”

江松然则有些惴惴不安:竟然在最不该站错队的地方站错了队。

故意问出这个问题的赵文渊正在偷笑——他早就观察出,两人对代码编辑器的偏好不同。

“可如果我现在问你,在二十种果酱里选一种,你几乎不可能一瞬间做出选择;再如果我让你写一篇两百字的文章,别看只有两百字,这也不是系统一能完成的任务。你们看到问题所在了吗?”赵文渊说道。

韩路一想了想,说:“你是指输出格式吧?无论是是否问题还是二选一问题,输出格式都极简单,不需要一个词元一个词元地生成。”

江松然在旁边补充:“听起来还涉及答案域:答案域覆盖得越广,计算就越复杂。”

此时两人都意识到,赵文渊为什么要把系统一和系统二的话题拿出来讨论。

因为对计算任务做复杂度预测,再分类、规划调度,这本身就天然是系统一的任务:答案域极窄,无非简单、中等、复杂三档;想再细些,五档也绰绰有余。

韩路一问道:“所以这类任务,有比用汤圆轻量版更好的解法?”

视频里的赵文渊露出高深莫测的笑:“有的,韩总,有的。”

他接着解释:“当初Transformer架构刚出来时,用的是编码器-解码器(Encoder-Decoder)架构;现在的类GPT大模型,包括汤圆,用的全是只有解码器的架构。这当然是因为这条路线足够优秀,能解决非常复杂的问题。可实际上,不同路线适用于不同问题。我们刚才讨论的分类问题,就有一种更合适的架构——只有编码器的架构。”

江松然惊讶出声:“你是说BERT?”

韩路一慢了一拍才反应过来:BERT是谷歌在2018年提出的技术路线,在GPT出现之前曾在机器学习领域非常热门;但随着类GPT模型成为市场主流,如今已渐渐少有人提起。

“你是说?”韩路一问道。

“传统BERT大概在几亿参数这个级别;而且因为不需要自回归生成预测,它不必反复做前向运算,只需一次就能得出结论。对我们刚才说的分类任务,完全可以做到50毫秒以内。”

本章节未完,点击这里继续阅读下一页(1/2)