计算机行业AI服务器专题研究.docx

《计算机行业AI服务器专题研究.docx》由会员分享，可在线阅读，更多相关《计算机行业AI服务器专题研究.docx（29页珍藏版）》请在课桌文档上搜索。

1、计算机行业Al服务器专题研究AI服务器：ChatGPT训练热潮有望带动AI服务器需求ChatGPT:大模型+Transformer架构，带动并行计算需求大厂布局ChatGPT类似产品，或将带来底层算力需求。ChatGPT发布之后，引发了全球范围的关注和讨论，国内各大厂商相继宣布GPT模型开发计划。据各公司官网，2023年2月7日，百度宣布将推出ChatGPT类似产品文心一言，预计今年3月展开内测；2月8日阿里宣布阿里版ChatGPT正在研发中，目前处于内测阶段；2月9日,字节跳动旗下AILab宣布正在开展ChatGPT和AIGC相关研发，未来将为PICO提供技术支持；2月10日，京东旗下言犀人

2、工智能平台推出产业版ChatGPT-ChatJD,我们认为，随着国内互联网厂商陆续开展ChatGPT类似产品研发，GPT大模型训练热潮或将带来底层算力需求快速释放。AI模型对算力的需求主要体现在训练和推理两个层面。当前主流的人工智能算法通常可分为训练和推理两个阶段。据IDC数据,2021年中国人工智能服务器工作负载中，57.6%的负载用于推理，42.4%用于模型训练。据IDC预计，到2026年AI推理的负载比例将进一步提升至62.2%。具体来看：1）训练阶段：基于充裕的数据来调整和优化人工智能模型的参数，使模型的准确度达到预期。对于图像识别、语音识别与自然语言处理等领域的复杂问题，为了获得更准

3、确的人工智能模型，训练阶段常常需要处理大量数据集、做反复的迭代计算，耗费巨大的运算量。2）推理阶段：训I练阶段结束以后，人工智能模型已经建立完毕，已可用于推理或预测待处理输入数据对应的输出（例如给定一张图片，识别该图片中的物体），此过程被称为推理阶段。推理阶段对单个任务的计算能力要求不如训练那么大，但是由于训练出来的模型会多次用于推理，因此推理运算的总计算量也相当可观。图表1:中国人工智能服务E工作负载及预测物理同练H:IDC.华标充ChatGPT算力需求场景包括预训练、Finetune及日常运营。从ChatGPT实际应用情况来看，从训练+推理的框架出发，我们可以将ChatGPT的算力需求按场

4、景进一步拆分为预训练、FinetUne及日常运营三个部分：1）预训练：主要通过大量无标注的纯文本数据，训练模型基础语言能力，得到类似GPT-1/2/3这样的基础大模型;2）Finetune:在完成预训练的大模型基础上，进行监督学习、强化学习、迁移学习等二次或多次训练，实现对模型参数量的优化调整;3）日常运营：基于用户输入信息，加载模型参数进行推理计算，并实现最终结果的反馈输出。图衰2: ChatGPT算力需求研究框架GPT-1GPT-2SFTjI 青学习RM 奖励摸 5!ft 推理计鼻PpO强化学习迂秒学习信息文.互IMI来源：OpenAI,华鑫研完预训练阶段：单次算力需求取决于模型参数量，最

5、高可达3640PFIop/s-dayChatGPT基于Transformer架构，进行语言模型预训练。GPT模型之所以能够高效地完成大规模参数计算，我们认为离不开TranSfOrmer架构的加持。拆解TranSfOrmer架构来看，核心是由编码模块和解码模块构成，而GPT模型只用到了解码模块。拆解模块来看，大致分为三层：前馈神经网络层、编码/解码自注意力机制层（Self-Attention自注意力机制掩码层，其中：1）注意力机制层主要作用在于计算某个单词对于全部单词的权重（即Attention）,从而能够更好地去学习所有输入之间的关系,实现对文本内在关系的理解和更大规模的并行计算；2）前馈神经

6、网络提供了对数据信息的高效存储及检索；3）掩码层在这一过程中帮助模型屏蔽位于计算位置右侧尚未出现的单词。因此，相较于前代深度学习架构RNN,Transformer架构可以实现更大规模的并行计算，大大提升了计算效率ffi3:TranSfOnner解码模块拆解THETRANSFORMER解码模块9前情神经网络I:编解码自注意力机制III:自注意力机制持码I、InPUlrobotmustobey：CSDN.单一大模型路线下,需要完成大规模参数计算。以GPT-3模型为例，随着模型朝更大体量的方向演进,参数量从GPT-3Small的1.25亿个增长到GPT-3175B的1746亿个，一次训练所需的计算量

7、从2.6PFIops-day增至3640PFIops-day与此同时，在不同学习样本（包括小样本、单一样本、零样本）条件下的模型，随着参数量的提升均实现不同幅度的上下文学习能力改善,外在表现为语言准确率的提升。我们认为，随着大模型训练表现出越来越强大的实战能力，未来或将成为NLP训练的主流选择。图表4：不同NLP模型参数量及训练算力对比模型总计算*(PFIop/s-day)总计算量（Flops）泰歙量（百万个）令牌效量（十亿）T5T56mall2.08E+001.80E+20601000T5-Base7.64E+006.60E+202201000T5-Large2.67E+012.31E+21

8、7701000T5-3B1.04E+029.00E+213000IOooT5-11B3.82E+023.30E+22110001000BERT模型BERT-Base1.89E+001.64E+20109250BERT-Large6.16E+005.33E+20355250ROBERTa-Base1.74E+001.50E+211252000ROBERTa-Large4.93E+014.26E+213552000GPT模型GPT-3Small2.60E+002.25E+20125300GPT-3Medium7.42E+006.41E+20356300GPT-3Large1.58E+011.37E

9、+21760300GPT-3XL2.75E+012.38E+211320300GPT-32.7B5.52E+014.77E+212650300GPT-3.7B1.39E+021.20E+226660300GPT-313B2.68E+022.31E+2212850300GPT-3175B3.64E+033.14E+23174600300LanguageModelsareFew-ShotLearners,OpenAI.2020.三5:携着模型参数量增长，不同学习样本模型的冷碎度均有发升AggregatePerformanceAcrossBenchmarks- FeWShot - One Shot8

10、0 - ZmoSbotParameters in LM (BiaiOnS)If来算：LanguageModelsareFew-ShotLearners,OpenAI.2020.推理阶段:预计单月运营算力需求约7034.7PFIop/s-dayChatGPT近一月访问量为8.89亿次。据SimiIarWeb数据,2023年1月以来ChatGPT官网日访问量持续攀升，从1月初的日均千万次级别，到1月底日均两千万次，再到2月中旬的三千万次级别，随着软件效果的广泛传播，用户访问次数愈发频繁。加总近一月(2023/1/17-2023/2/17)ChatGPT官网访问量数据来看，可得ChatGPT月访问量

11、为8.89亿次。三6:ChatGPT官冏日访问量(百万次) Desktop4035302520151050MobileWeb1-11-41-7MO1-131-161-191-221-251-281-312-32-62-92-122-15：SimiIarWeb预计日常运营单月所需算力约7034.7PFIops-dayo日常运营过程中，用户交互带来的数据处理需求同样也是一笔不小的算力开支。据前文，近一个月(2023/1/17-2023/2/17)ChatGPT官网总访问量为8.89亿次。据Fortune杂志，每次用户与ChatGPT互动,产生的算力云服务成本约0.01美元。基于此,我们测算得202

12、3年1月OPenAl为ChatGPT支付的运营算力成本约889万美元。此外，据Lambda,使用训练一次1746亿参数的GPT-3模型所需花费的算力成本超过460万美元；据OPenAI,训练一次1746亿参数的GPT-3模型需要的算力约为3640PFIops-dayo我们假设单位算力成本固定，测算得ChatGPT单月运营所需算力约7034.7PFIops-dayofflH4）Hf机一学习的一UI崔青声料来源：ChatGPT.华泰研义AI服务器分类方式有两种：1）按应用场景：Al服务器按照应用场景可以分为深度学习训练型和智能应用推理型。训练任务对服务器算力要求较高，需要训练型服务器提供高密度算力

13、支持，典型产品有中科曙光X785-G30和华为昇腾Atlas800（型号9000、型号9010推理任务则是利用训练后的模型提供服务，对算力无较高要求，典型产品有中科曙光X785-G40和华为昇腾Atlas800（型号3000、型号3010）o2）按芯片类型：AI服务器为异构服务器，可以根据应用范围调整计算模块结构,可采用CPU+GPU.CPU+FPGAxCPU+TPUxCPU+ASIC或CPU+多种力口速卡等组合形式。目前，产品中最常见的是CPU+多块GPU的方式。图表16：Al服务3分臭常见的AI服务器分为四路、八路、十六路。一般来说，通用服务器主要采用以CPU为主导的串行架构，更擅长逻辑运

14、算；而AI服务器主要采用加速卡为主导的异构形式，更擅长做大吞吐量的并行计算。按CPU数量,通用服务器可分为双路、四路和八路等。虽然AI服务器一般仅搭载1-2块CPU,但GPU数量显著占优。按GPU数量，AI服务器可以分为四路、八路和十六路服务器，其中搭载8块GPU的八路AI服务器最常见。图表17:Al服务需与通用及务淤路敷注：AI极寿3路M蜡GPU敕量、通用很多2S珞我指CPU数量黄料来源：浜潮信息富网、宁杨代网.华泰研完AI服务器采用多芯片组合，算力硬件成本更高。我们以典型服务器产品为例拆解硬件构成,可以更清晰地理解两类服务器硬件架构区别：以浪潮通用服务器NF5280M6为例，该服务器采用1

15、2颗第三代IntelXeon可扩展处理器,据英特尔官网，每颗CPU售价约64000万元，故该服务器芯片成本约64000-128000;以浪潮AI服务器NF5688M6为例该服务器采用2颗第三代IntelXeon可扩展处理器+8颗英伟达A800GPU的组合，据英伟达官网,每颗A800售价104000元,故该服务器芯片成本约96万元。S4118:通用服务器、Al履务器内部结构对比漉潮英ft及畀器NF5280M6* 三汽 Intel o 单俊；64000尤12ChatGPT需要的芯片：CPU+GPUxFPGAsASICChatGPT带动大模型训练热潮，AI服务器需求有望放量GPT模型训练需要大算力支

16、持，或将带来AI服务器建设需求。我们认为，随着国内厂商陆续布局ChatGPT类似产品,GPT大模型预训练、调优及日常运营或将带来大量算力需求，进而带动国内AI服务器市场放量。以GPT-3175B模型预训练过程为例，据OPenAI,进行一次GPT-3175B模型的预训练需要的算力约3640PFIops-dayo我们假设以浪潮信息目前算力最强的AI服务器NF5688M6（PFIop/s）进行计算,在预训练期限分别为3、5、10天的假设下，单一厂商需采购的Al服务器数量分别为243、146、73台。图表19：AS词练需要的Al服务器数量测算参数量发训练需要的算力浪潮NF5688M6H务S计预训练先成

17、时间JR务X采购数量模型名称(忆)(PFIop/s-day)算速度(PFIop/s)（天）（台）GPT3175B1746.03640.053243GPT-3175B1746.03640.055146GPT-3175B1746.03640.051073资料来源：OpenAk浪潮犍息胃网、华AI大模型训练需求火热，智能算力规模增长有望带动AI服务器放量。据IDC数据,以半精度（FP16）运算能力换算,2021年中国智能算力规模约155.2EFL0PSo随着AI模型日益复杂、计算数据量快速增长、人工智能应用场景不断深化，未来国内智能算力规模有望实现快速增长。IDC预计2022年国内智能算力规模将同比

18、增长72.7%至268.0EFLOPS,预计2026年智能算力规模将达1271.4EFLOPS,2022-2026年算力规模CAGR将达69.2%o我们认为,AI服务器作为承载智能算力运算的主要基础设施，有望受益于下游需求放量。困表20：中国智能算力规模及颈测资科来琼：IDC,华泰力克国产厂商布局丰富产品矩阵，占据全球AI服务器市场领先地位浪潮信息、联想、华为等国产厂商在全球AI服务器市场占据领先地位。全球市场来看,AI服务器市场份额TOPlO厂商中，国产厂商占据4席,累计市场份额超35%,其中浪潮信息以20.2%的份额排名第一。国内市场来看，AI服务器市场集中度较高，排名前三的供应商为浪潮信

19、息、宁畅和华为，CR3达70.40%o我们认为，国产厂商凭借强大产品竞争力，已经在国际市场占据一定领先地位，未来随着AI算力需求释放，有望充分受益于产业成长机遇。18及21:202IHl全球AjIL务8审埼光格局S4.22:202IHl中国Al联务8市场免格局浪潮信息:Al服务器产品矩阵丰富,产品力获国际认可。目前公司AI服务器主要产品型号包括NF5688M6,NF5488A5等，据公司官网，2021年上述两款AI服务器在国际权威AI基准测试MLPerf榜单中，获得医学影像分割、目标物体检测、自然语言理解、智能推荐等7项训练冠军，可满足包括自然语言理解等在内的多项AI训练需求。此外，公司在AI

20、领域的积累还包括AI资源平台、AI算法平台等，具备大量算力解决方案实施经验。图表23:浪潮信息主臬Al服务器产品姮阵华为：Al服务器融合自研加速卡与英特尔CPUo公司AI服务器为Atlas800推理服务器系列，旗下有型号3000s型号3010.型号9000和型号9010o其中，型号3000基于昇腾310芯片，型号3010基于Intel处理器,型号9000基于华为鲸鹏920+昇腾910处理器，型号9010基于Intel处理器+华为昇腾910芯片。旗舰级芯片加持下,产品最高拥有2.24PFLOPSFP16的高密度算力并在设计结构优化下芯片间跨服务器互联时延可缩短1070%。S24：华为主要Al服务

21、声产品型号3000型号3010型号9000型号9010新华三AI服务器覆盖各训练负载要求,结合软件平台构建AI完整生态。公司主要产品型号包括R4900G5、R5300G5、R5500G5等，可分别针对不同训练负载要求，满足大小规模的推理/训练任务。软件层面,公司通过新华三傲飞AI/HPC融合管理平台，全面提升Al作业效率约32%o2022年，新华三被国际权威分析机构Forrester认定为大型人工智能系统成熟厂商，可以提供可靠的服务器解决方案。同时,新华三AI服务器在MLPerf测评中共斩获86项世界第一。图表25：新华三主要Al服务X产品H3CUreServerR4900R4950G5龙头厂

22、商有望充分受益于算力需求释放。我们认为，随着ChatGPT待动大模型训练热潮，以人工智能训练为代表的智能算力需求逐步释放，有望带动AI服务器放量。拆解AI服务器成本来看，GPU等算力芯片为核心组件，先进算力产品受美国出口管制影响，但可通过采购A800实现基本替代。我们认为，浪潮信息等国产头部厂商凭借丰富产品矩阵和强大产品竞争力，占据全球AI服务器市场主要份额，未来有望充分受益于服务器需求释放。GPU算力芯片为核心组件，国产替代未来可期拆解来看，AI服务器主要成本包括算力芯片、内存、存储等。据IDC的2018年服务器成本结构拆分数据,芯片成本在基础型服务器中约占总成本的32%,在高性能或具有更强

23、运算能力的服务器中，芯片相关成本占比可以高达50%-83%o以机器学习型AI服务器为例，其主要成本由GPU、CPU、内存及其他部件组成，其中GPU成本占比最高，达到72.8%o图表26:2018年全球1务再成本结构拆分CPUGPUmemorystorage其他AI服务器算力芯片以GPU为主。据IDC,2022年国内人工智能芯片市场中GPU芯片占据主要市场份额达89.0%,主因GPU芯片并行计算架构更加适合于复杂数学计算场景，可以较好支持高度并行的工作负载，因此常用于数据中心的模型训练，以及边缘侧及端侧的推理工作负载。止矽卜,其他主要的人工智能芯片还包括NPUxASICFPGA等。一般而言，AI

24、服务器中算力芯片需求数量取决于服务器设计性能要求，需求种类取决于成本、功耗、算法等指标。常见的算力芯片组合,如8xGP+2xCPU、4xGPU+2xCPU、8xFPGA+lxCPU、4xFPGA+lxCPU等。ffl27:2022年中国人工智能芯片市场规模占比npuASICFPGA9.6%I。、=。4GPU4it(t*)5120-b4800,且传输速度为600GBso基于此，我们可以推断,性能大于等于AlOOGPU的先进算力芯片属于美国出口限制范围。采用英伟达A800服务器或为当前可行替代方案。以浪潮NF5688M6为例，NF5688M6是为超大规模数据中心研发的NVLinkAI服务器，支持2

25、颗Intel最新的IceLakeCPU和8颗NVIDIA最新的NVSwitch全互联A800GPU,单机可提供5PFIops的AI计算性能。对比核心硬件来看，NF5688M6采用英伟达中国特供版芯片一A800,在浮点计算能力、显存带宽、显存容量等性能指标上，与先进算力芯片一AlOO基本一致，主要差异在于芯片的数据传输速度，约为AlOO的三分之二。图袭30:浪潮NF5688M6服务器GPU性能与AlOo基本一致SrfGPU务 7 个 MlG5 7 个 MlG个 1MB个 IMBnKMPCWSXMXIiM风冷式(MD或ILSM*2 个 GR 的NVM ： 400GKVION NVU Mtt FCW

26、 4.0： UW. ： M0G8PCte 4.0 :40BsAeOoABA8OO40GSPC980GBpO80G8SXMFP649.7 TFLof5FP64 Tensor Core19, TFloPSfp32ImtfiopsTensor Float 32IM TFLOPS 312 TFLOW(TF32)BFLOAT m Tensor312 TFLOPS 24 TFLOPS*CoreFPI6 Tensor Core312 TFLOPS 24 TOPSINT8 Tmor Core524 TOPS 124T0PSGPUMemory 40GB HBM2 0GB HBM2 80GB HBM2 GPUMemoryIaSMGB/l.9SSG82X)9G8*BantMdth Max Thermal2SOW300W400WiDwgnPowfr (TDH MuItHmtanceUpto7MIG* UPto 7 MIGs.UptoTMIGt*GPUSG8IOGBIOGBForm FactorPG (dual-slot air coold or single-SXMslot BquM cooled)InterconnectNVIDIA- NVLmk, Bridg for 2 GPUs:NVUnk:400GM