重生07：从山寨机开始制霸全球 第1104章 你说的这些，叫做大模型

第1104章你说的这些，叫做大模型(第1/2页)

“哈哈，今年的春招，甘总几乎把国内相关领域的应届生，硕士生，博士生都给招来了，不少人已经开始办入职手续了。”

“就是春招的质量不如秋招的，不过你放心，今年秋招规模比春招更大。”

成文飞笑了一下，这个陈总看来投入的决心真的不小，竟然敢把国内相关专业的学生全都打包。

国内的情况再差，那一口气全招来起码也得有个千八百人呢。

“哦对了，还有一个沈天行教授，是当年沈老的表侄，不出意外的话今年可能也会入职咱们红星，到时候你们可以多交流一下，他在斯坦福就是专攻GPU架构层以及视觉加速的。”

“谁？”

“沈天行？”听到沈天行的名字，成文飞明显愣了一下，“斯坦福会放人？”

“当年他们放走一个沈永健，可是被CIA各种电，就差在他们学校建设一个核电站了。”

作为行业内的人，成文飞也知道当年那个能手搓芯片的沈老，也自从他以后，斯坦福就成了微电子的圣地，现在陈星说把沈老的表侄给招了过来。

那斯坦福能放人？

万一这位沈天行也值五个师呢？

“哈哈，放不放人我不操心，这是甘总应该操心的事情。”

“行了，成教授，你具体的项目，方向，等你安顿下来，可以起草一份报告给我，我来审批你的项目。”

陈星想的很清楚，字研，字研。

那得先有项目不是。

所以他需要成文飞先立项，看看先做哪方面，是计算框架，还是其他方面的。

当然，现在基础太薄，陈星想让他做神经网络推理引擎，也就是侧端推理库也没办法。

训练都还没开始有呢，怎么让模型在推理引擎上跑？

成文飞组织了一下语言，这个问题他在答应入职红星以后就一直在想，红星在这方面没有任何的基础，只有陈星的一个决心而已。

自己就必须从最基础的做起，先做一个深度学习计算框架，然后是分布式训练调度子系统，最后才是神经网络引擎。

其中分布式训练调度子系统是最重要的，搞定了单机多卡、多机集群调度，梯度分片、梯度聚合，任务分配后，自己才有充足的理由让陈总建设更多，更大的算力中心。

有了算力中心以后，是吧……

“陈总，我是这么想的，首先要搭建一个框架，这是所有模型的基础，项目名字叫做大规模时序神经网络仿真底座，然后分布式调度、推理引擎、时序信号工具链、数据流水线、硬件适配层，层层展开。”

“具体的内容稍后我会整理出来给到您。”

陈星对成文飞的状态非常满意，这就是大牛的厉害之处。

他能总揽整个项目，不同的项目，不同的分工，不同的方向，都是由他进行分配。

也可以称之为总工程师。

说到这里，成文飞犹豫了一下，看了一眼陈星。

陈星也看出他似乎有什么话要说，主动问道：“成教授，你加入红星，那么咱们就是一家人，有什么话都可以畅所欲言的。”

“是方向有问题还是说其他的？”

听到陈星这么说，成文飞深吸一口气，鼓起勇气说道：“陈总，过去几年我一直在想一个问题，目前大家都在做窄模型，也就是语音一套，做图像另一套网络，模型不能互相复用。”

（本章未完，请点击下一页继续阅读）第1104章你说的这些，叫做大模型(第2/2页)

“做的都是大规模神经网络、大型深度网络、无监督预训练网络，准确的来说是先用大量无标注数据学通用特征，再拿少量标注数据适配具体任务，BengiO、HintOn都做过相关研究。”

“我就在想，那么可不可以做一套巨型神经网络底座，在海量无标注公开数据上做无监督预训练，学习通用世界知识，之后不需要完整重训，简单适配，就可以处理语言、对话、图像推理等大量不同任务。”

“它可以拥有巨大参数量、海量训练语料、足够强悍的并行算力，或者说我们这个模型不是为某一个单一功能写死，而是先学常识，再去解决任务。”

“最后实现能自然对话、逻辑推理，接近人的认知。”

说完以后，成文飞观察着陈星的表情，结果发现这位新老板脸上充满了惊讶，于是赶紧补充道，“陈总，我知道现在不可能直接实现成品，这也只是我的一个想法，但我们可以提前把所有底层基础设施全部搭建完成。”

“这是我们长远目标，目标。”

“现在可以为这个目标做好地基。”

陈星此时此刻内心处在狂喜之中，成文飞不愧是成文飞。

他说的是大规模神经网络，大型深度网络。

这些词在未来有一个更加准确的称呼。

叫做大模型！

2013年啊，成教授就已经有大模型的概念，通用模型的模糊概念了！

“不不不，成教授，你说的也是我想说的，我的设想就是构建一个规模足够大的神经网络，先用海量无标注数据预训练，学习世界的通用表征，之后不需要全部重训，只做少量调整，就可以处理语言、对话、甚至图像等多种任务。它不是AGI完整的通用人工智能，但它是通向AGI的一块核心基石。”

“为了拥有这块基石，我才邀请成教授你到红星来的。”

“而你说的这些，可以称之为大模型。”

成文飞此时也产生了一种异样的感觉。

陈总好懂啊。

陈总好懂我啊。

这套理论他之前在宾夕法尼亚的时候也和业内人士说过，只不过他们都说自己异想天开。

还大型深度学习网络，现在的CPU算力集群怎么可能处理得了海量数据。

更别提训练了。

所以那时候成文飞就知道，CPU算力集群，一定会被淘汰掉，效率太低太低了。

想实现真正的模型训练，必须要有效率更高的方式，霉国那边目前大家都在尝试用图形计算卡来实现，只不过还没有厂商有成果和论文在学术界出现。

不过成文飞觉得，用分布式的GPU进行训练，绝对是未来的方向，所以半个月前听到甘良才说红星在自研GPU和计算卡的时候，就明白一件事。

红星的在一些方向上，是确定的，是开始行动的，是走在霉国很多机构和公司前面的。

“那么陈总，要实现你所谓的大模型，我口中的大型深度网络，就必须要有足够的算力，现在的CPU计算到了一定瓶颈，大家准备转向GPU并行计算，那我想问一下，这方面咱们红星是怎么打算的？”

陈星不语，走到自己办公桌前，并示意成文飞也过来。

然后拿出了无冬大师给自己的那份报告。

“成教授，你先看看这个。”