2024年AI服务器和AI PC趋势解读-38正式版.docx

幽电子发糅反t*NUiCf*MCOM2024年A1.服务器和A1.PC趋势解读电子发烧友网副主编章鹰2024.07.01电子发糕反数据中心、A1.服务器市场趋势总结AI服务器的发展挑战和质量检测A1.PC市场规模和趋势A1.PC终端厂商和上游产业链A1.PC产业应用和生态CXJ01数据中心、A1.服务器市场趋势数据中心 数据中心按照算力可以分为三类：云数据中心、智算中心和超算中心。云数据中心面向众多应用场景和应用层级扩张；智算中心以A1.专用芯片为计算算力底座，以促进A1.产业化和智能化为目标，面向A1.典型应用场景：超算中心主要支持科学计算和工程计算,主要由国家科技部布局建设。 国内数据中心建设较全球起步晚，目前处于云中心深化阶段，向智能算力中心转型，总体处于成长期。主要指标云数据中心超算中心智算中心算力类型通用算力超算算力智算算力算力来源基于CPU芯片的服务器超级计算机等高性能计算集群基于GPU、FPGA、A）芯片等僮出的人工智能计算平台平均功率等级4-8KW大于15KW9-15KW应用领域面向众多应用场景.应用领域和应用层级不断扩张,支撑构造不同类型的应用。基础科研、工业制造、生命医疗、气象环境和天文地理等，面向A1.典型应用场景,如知识图谱、自然语言处理、智能制造、自动驾驶、智慧农业等。建设目的科学计算等场景支撑服务面向科研人员和科学计算场景提供支撑服务A1.相关的产业化、政府治理智能化主要投资主体互联网、运营商等企业为主政府、科研单位A1.企业、政企共建发烧友根据公开资料制图生成式A1.支出高速增长幽电子发糅反 国际调研机构IDC统计，2023年全球生成式A1.支出的市场规模预计为387.9亿美元，2027年全球生成式A1.支出将达1454.2亿美元，2023-2027年CAGR为55.3%。中国生成式A1.支出将达到35.3亿美元，2027年预计中国生成式A1.支持将达到129.3亿美元，2023-2027年CAGR为54.1%。 海外企业应用生成式A1.意愿强烈。OPenA1.首席运营官Brad1.ightCaP预测2024年是AI应用元年，目前已有超过60万人注册使用ChatGPT企业版。6月11日，nAI在官网宣布与苹果达成技合作，将ChatGPT深度集成羊果产品矩阵中，包括最新的S、数据来自2C,电子发烧友制图数据来自/C,电子发烧友制图iPadOS和macOS。基果将语言模型集成到iPhone、MaC等设备中，算力从云端转移趋势出现。全球需求快速增长，国内AI服务器处于增长期幽电子发糅反3cQrC4根据TrendfOrCe测算，2023年全球A1.服务器出货量逾120.8万台，同比增长超过37.7%。这家机构预测，2024年全球AI服务器整机出货量将达167.2万台，同比增长38.4%。台积电在Q1.法说会上表示，A1.需求的增长将以50%的复合增长率持续至2028年，A1.服务器需求增长也有望以较高速度持续至2028年。国际数据公司（IDC）与浪潮信息联合发布报告显示，2023年，中国人工智能服务器市场规模将达91亿美元，同比增长82.5%;智能算力预计达到414.1EF1.oPS百亿亿次浮点运算）增长59.3%,2022年到年，年复合增长率达到39%o数据来自Trendforce,电子发烧友制图Automotive图片：台电Q1.财报按照用途区分，A1.服务器分为训练和推理两大类别。训练用服务器对存储空间、带宽和算力的要求较高，主要采用8-GPU设计；推理用服务器对算力、存储和带宽的要求相对较低，取决于业务场景，可以采用GPU、NPU、CPU等不同芯片承担推理任务，可以采用PC1.e接口的A1.加速器实现推理任务。服务器随场景需求经历通用服务器-云服务器-边缘服务器-A1.服务器四种模式，AI服务器采用GPU增强其并行计算能力OCPU+GPU是AI服务器心部件。机柜级解决方成为未来A1.服务器主流形式之一。电子发烧友拍摄图片来自慧投研AI服务器-上游产业链构成（一）幽电子发糅反CPU+GPUHDD/DRA冷电CPUGPU英特尔英伟达三星AMDAMD金士顿芯中科英特尔威刚寒武纪三星、SK海力土美光AurasTechno1.ogySunon;AVCTechno1.ogy台达电子艾默生光宝科技中国长城欧陆通A1.服务器产业链上游为基础设施供应商，包括芯片CPU、GPU,存储（内存DRAM和内存接口及HBM,存储SSD）,被动元器、智能网卡、机箱、散热、电源等。固态硬盘PCB散热器互联网接口三星金士顿威刚鹏鼎控股东山精密技台达电子富士康AEC村田TDK太阳诱电英伟达T1.蔡司是德科技爱德万测试福禄克A工服务器中游和下游国外厂商：WiWVnrI、Supermicro电子发糅反中游：ODM厂商国内厂商：工业富联、广达、英业达、纬创、技嘉中游：A工服务器厂商A工服务器下游-应用市场国外厂商：戴尔、思科、国内厂商：联想、浪潮、企业类型：互联网企业、富士通、甲骨文（Orac1.e）华为、新华三、德、思腾合力云计算企业、电信运营商、金融机构其他类型：政门、数据中心服务商医疗领域电子发蕊反UM1.3*cfocom040506Texthere华为At1.aS800AI服务器新华三H3CUniserverR5360G6六A1.服务器厂商AI服务器的品牌厂商，包括戴尔、浪潮、联想、中科曙光、新华三、华为、宝德、安擎和工业富联等。Q2A1.服务器的发展挑战和质量检测AI服务器发展的三大挑战电子发糅反A1.服务器有五大硬件板块：CPU母板组、GPU板组、电源模组、硬盘和配件（机壳、机架、连接器和电感）。今年，随着大模型部署加速，A1.算力需求飙升，英伟达GB200服务器下半年出货，带动液冷、GPU板组上的PCB需求的增加。三大挑战：一、先进的GPU加速卡需要使用多层高阶HD1.板，PCB的材料和产品质量如何保证；二、A1.服务器对传输速度要求较高,高速连接器正朝向“56G-112G-224G”的方向发展，高速和高密度背板连接器如何满足A1.算力释放需这都需要工业检测领域效方案来护航。三、智中心走向高密度，单颗能A1.芯片的热设计功耗破Ie）OOW,达到了传统风冷散的极限，液冷技术成为主趋势。图：联想T>ASysfemSR6A/服务器，来自联想官网-M图片来自网络数据中心与AI服务器的生产制造品质更高要求A1.服务器具有高功率、高速运算和数据传输等特点，以及不间断运行的高价值设备，因此对于各方面的元器件的质量要求更高，要在生产制造各个环节的检测有更高的技术支持。支持更强算力的AI服务器会用到：1多层高阶HD1.PCB板更多层，更高的线路密度、高功率机架3、多相电源供电系统4、采用更好的被动元件，如叠层片式铁氧体磁珠5、高速的背板服务器6、固态硬盘、光模块7、液体冷却系统等。就目前的数据中心硬件方面，蔡司已识别出5个应用场景和7趋势点，如何做好质制，以及一系列的失效分析检查才是保证数据中心发挥最大效能的关键点。对于这类产品的失效性分析、质量检查的品质要求更高例如：通过检查层片式铁氧体磁珠，可以使用蔡司工业显镜去直观的发现失效点，通常我们使用电镜观察，使用Sigma电镜且无需额外的消磁处理即可放大到1万倍去观测磁珠表面的情况AI服务器5个新趋势，10个重点应用幽电子发糅反电子发糕反M4MUiCfMCofft冷板冷却是数据中心主流的液体冷却解决方案PUE=n<>eITttWBKITiSeS明明黑ts.Mtr典型独立式冷板信息通信行4阕色低碳发展行动计划(2022-2025年)A数中aum成JVP液冷板WkWrtiMH热源1.I用片案束于咫格APUE是国内外数据中心普遍接受和采用的一种衡量数据中心基础设施能效的指标.A到2025年，全国新建大型、超大型数据中心电能利率(PUE)降到1.3以冷设备占非IT设备能耗大部分。A冷板直接安装在热源的顶部，中间有一层热界面材料以增强传热。在冷板内部，液体流过微观结构并流出到某种形式的热交换器。行业常用的生产制造的检测方案幽电子发糅反行业检测解决方案包括CMM&VMM检测，光学系统AO1.检测，能够穿透元器件及产品内部的X射线检测，以及各种工业显微镜。光学系统工业显费搐图片来源：蔡司ZE1.SS官网算力从云端向终端迁移随着生成式A1.的飞速普及和计算需求的日益增长，云经济难以支持生成式A1.规模化扩展，云端必须与终端侧协同运行A1.应用。端侧A1.部署成为A1.实现规模化扩展及应用落地的关键。/03A1.PC市场规模和趋势PC市场现状：全球PC疲软，中国市场企稳回暖幽电子发糅反 IDC预测，2024年全球PC市场与2023年持平，出货达到2.602亿台。尽管带有NPU,有能力运行端侧生成式A1.功能的A1.PC集中在下半年上市，智时未能显著带动PC市场的出货量。 2024年，中国整体PC市场转好，2024年出货量同比去年增长3.8%。Q1.全球PC市场回暖，六大PC厂商联想、惠普、戴尔、苹果、宏蓦和华硕业绩出现分化。今年将成为中国A1.PC快速发展的第一年，预计2024年整体PC市场AIPC占比将达到55%,而2027年将达到85%。 A1.PC在中小企业市场展最快，2024年将超过60%;市场受游双场景和学习创作景带动，2024年将达到55.4%大企业受到安全因素影响，初期部署较慢，估计到2027年，A1.PC在大客户市场的占比将达到76.8%。 PC市场目前以存市场为主，用户换机周期长。A1.PC的上市能够实现PC的新升级，有望拉动PC的换机需求。Company1Q24Sbpfn4f*ts1Q24MartESN*r1Q23S1.pmt11Q23Mr*tShart1Q241Q23Grw<h1.Unovo13.723*21A7J¼1.yse12.020.1*或书Q204UQ24W"''3CM1.Tt<hnok1315.$*yas16,14BC4SJ427.1140W5.AcetGroup*176KM9M5.ASUS166.13J&4-4SOthers11621.1%13.322A%-W)%TM½.8100g3j,00g13*.,、；图来DCAIPC的定义幽电子发糅反英特尔和微软联手定义A1.PC:PC除了需要CPU、GPU、NPU之外，键盘上还有物理的MiCrOSOftCOPi1.Ot键，能够在本地运行CoPi1.oto图：珏硕灵814双屏,搭载Inte,电干发烧友拍摄目标：与传统PC不同，A1.PC最重要的是嵌入了A1.芯片，形成“CPU+GPU+NP1.T的异构方案，可以支持本地化A1.模型，能够更快地执行A1.任务，并且无需将数据（尤其是敏感数据）发送到基于云的A1.服务器进行处理。AIPe市场规模展望电子发糕反MMMUiCfMCOf1.I2024是A1.PC发展元年。IDC预测，到2028年中国下一代A1.PC年出货量将是2024年的60倍。摩根士丹利认为，A1.PC将从今年下半年开始剧增,预计将从100O美元以上的笔记型电脑开始普及，最终将下降到500美元的价格区间。调研机构CanaIyS数据显示，2024年下半年，A1.PC的广泛推出将推动市场发展，为暂堤购买的用户提供创新性和吸引力的产品。2024年全球AIPC出货量将达到4800万台，占个人电脑总出货量的18%。5月底,微软CoPi1.ot发模型，基于本地算力可以较高安全性和及时性下一代PC必不可少部分。提供本地大模型的训练和计算。相比云端，端侧模型TSCopi1.ot应用试用Copi1.ot免费版本MicrosoftCopi1.ot，靖”使用日常A1.助手，实现所有梦想。微软COPiIOt+PC技术亮点在强大算力和语言模型帮助下机器将40多种语言的实时字幕翻译成英语。、算力升级2、回溯记忆（ReCaII）NPU达到40TOPS+16GBRAMfig*,新一代Copi1.otPC运行速度比草果MaCBOOkA1.r快在GPTYo加持下,这项功能允许截取设备使用情况,并且存储在本地,加强除私实时交互能力，尤其在图像生成、视频剪辑、游或运柒方面为物体和人物强化视货效果。部分国际厂商A1.C终端产品（二）公司名称产品型号处理器发布时间模型价格（元）A1.功能惠普幽灵SPeCtrex36016英寸Inte1.-&U1.tra7155HQ1.2024支持200亿参数语言模型14999A1.增强视觉、AI辅助,AIW频体验优化星BoOkPro14A1.Inte1.StfU1.tra5Q1,2024支持200亿数语言模型5399-7099生成式A1.创、AI助手OMENTranscendInte1.tttfU1.tra9185HQ2,2024支持200亿参数语言模型6499-13999A1.辅助内容创作，A1.降噪SurfacePrO1.I版骁龙XE1.ite2024支持端侧运行130亿参数的语言大模型8688-16088ReCaI1.功能,实时翻译、支持文生图音交互Surface1.aptop7骁龙XE1.iteQ2,2024支持端侧运行130亿参数的语言大模型11188-15388Kca<Zj,实时翻译、支持文生图、语音交互文本生成、语耀MagicBookPro16InteIK*U1.tra52024支持200亿参数语言模型9299电子发烧友言翻译，A1.软件根据公开资料然理27联想AIPC产品陆续上市4月，联想YOGABoOk9iA1.正式上市，搭载酷杳UItra7155U处理器，集显性翻倍体验，保证了其在处理各种复杂任务时的流畅性和高效性。6月26日，联想集团宣布推出基于高通骁龙XEIite平台的YoGAAir14s晓龙A1.元启，以及YoGAAirI4cA1.元启和拯救者Y9000PA1.元启三款A1.PC。YoGAAir14s骁龙A1.元启基于高通骁龙XEIite平台，NPU算力高达每秒45万亿次，搭配联想小天,文档总结速度提升22%,生速度提升45%,可轻松驾驭Off文档处理、浏览网页、PS作多任务并行状态，续航长达24小时。图片来自联想搭配骁龙X系列的20款A1.PC幽电子发糅反*'tAIPC处理器芯片A1.PC芯片厂商：WindoWsOnARM应用拐点到来,全新Arm版SUrfaCe具备高性能和低功耗。目前，高通、苹果都已经推出ARM架构的PC处理器芯片,联发科携手英伟达推进ArmPC处理器开发。X86芯片迭代更新，性能持续提升。英特尔Meteor1.ake首次集成NPU,1.unar1.ake和Arrow1.ake加速提高处理器性能，AMDRyzenA1.3006月,AMD推出RyZenA1.300,50Tops算力。HP、1.enovo.De1.1.预计7月推出含该款芯片的PC新品。SnapdragonX日ite已经20多台型号搭载骁龙X系列的COPi1.Ot+PC开始接受预订。Inte1.CoreU1.traInte1.宣布与主流C)EM伙伴推出230余款机型,开启A1.PC新纪元。国际厂商推出COP1.OtPC处理器片公司名称产品型号NPU制程发布时间合作品牌高通SnapdragonXE1.ite45Tops4nmQ3.2023宏苔、华硕、戴尔、更普、联想、微软和三星napdragonXP1.usops4nmQ2.20宏基、华硕、戴尔、惠普联想、微软和三星Inte1.酷睿U1.tra7155H34TOPSInte1.4Q4.2023联想、De1.1.惠普、华硕、宏春、荣耀、新华三1.unar1.ake40TopsInte1.18AQ3,2024/Arrow1.ake/预计2025年/5*AMDRyzen805040Tops4nmQ2.2024/RyzenA1.30050Tops4nmQ2.2024惠普、华硕、联想计划7月推出带有AMD的A1.PCA1.PC产业链-上游硬件显示器HX86架构ARM架构英伟达三星、BOE新普Intek高通AMDECSSK海力士三星德赛电池Oh4-D、莘果尔线美光欣吐江珠海兆芯华为程江波龙HP龙芯中科联发科长蠢操作系统、显示器等。伴随A1.PC对数输AIPC产业链上游为基础设施供应商，包括CPU芯片、GPU芯片、EC芯片、存储芯片、1IPC拉动存储需求上对大容量存储需求增驱动DDR5成为主流需。2、速率及功耗提出更高要求，高频高速PCB是未来发展必然趋势。AIPC产业链-软件操作系统数据库管理系统办公应用社交应用娱乐应用Orac1.e甲骨ITIT企业微信WPSMicrosoft信软件微信微博哗嘎哗哩徵信支付支付宝苹果IOS、软件ONBASEQQ快手招行AP华为支付中游为A1.整机厂，包括科技、广达、仁宝、华术、闻泰科技、1.CFC联技、英业达，下游是品商,包括联想、惠普、DE1.1.、HONOR、华为等。33/06A1.PC产业应用和生态1、A1.Chatbot（A1.聊天机器人），Chatbot将面向特定行业和领域进行定向优化，带来专业问答体验；2、A1.PC助理，可以简化用户对PC的各种操作，管理PC上的数据和个人文档。3、A1.c）ffice助手，以OffiCe插件的形态出现，提升办公软件使用效率。4、A1.本地知识库，A1.PC将个人或企业的文件转换成运行在设备上的知识库，帮助用户进行快速的文档处理。、A1.图像视频处理，通户输入的提示词生成多内容，包括图像、视频频以及后期处理。6、A1.PC管理，用户在I帮助下实现对A1.PC的远管理、安全防护、跨设备I管理和运维等功能。图片来自联想'传统PC、传统PC生态以操作系统为基础，用户通过系统奥面直接与计算机交互，执行各项操作和任务。在传统PC生态用户根据自己的喜好选择软件，个体定制较弱。主导权在B端企业对用户的好了解范围内，用户的性化需求尚待提高。A1.PC'A1.PC产业中，个人智能体成为第一入口，在大模型和应用生态的支持下，准确定义用户指令，给出恰当反馈，跨应用角度。模型、应用、算力厂商都必须围绕A1.PC终端形态下的个人需求做出改变，在研发中要对A1.的高效运行给予支持。从A1.PC场景端来看，目前已发布的A1.PC产品聚焦在办公场景、专业创作场景和教育场景的应用，着A1.PC性能的提升。计2025年起厂商在场'竞争将会更细分化和垂直化方向发展，包括游戏场景、细分行业定制场景等。J电子发糅反总结0算力从云端向终端转移，端侧A1.部署成为A1.实现规模化扩展及应用落地的关键。A1.手机、A1.PCA1.大模型汽车都成为端侧落地的重要途径。今年下半年，在A1.大模型拉动下，海厂商扩大资本支出，务器有望迎来出货爆期。入A1.PC有望成为今年PC更新换代的驱动力。A1.PC的创新产品将配备AI计算和私有基D础模型。具备文生图、A1.创作、A1.智能会议、A1.降噪、实时翻译等多种功能。高算力、低功耗是AIPC发展趋势。X86架构的英特尔芯片是AIPC主处理器芯片。“WindowsonM拐点已至，Arm架IPC渗透率有望快速。0A1.PC的出货量成长带动内存、PCB,电池和散热方案的全面升级。包括A1.服务器和AIPC的整机产品将推动Pe产业生态发生显著变革。以个人智能体为入口的AIPC,件和软件厂商都要围PC做出改变。