从Web3视角出发,看AIGC这只算力li“吞金兽”的成长轨迹
注册下载zai,立即领取价值高达60,000元数字货币盲盒
摘要伴随着ChatGPT的爆红hong,AIGC(人工智能生成内容)产业链受到广泛关注。我们发fa现,同为算力,其与加jia密资产挖矿产业存在相似之处,均为投tou入算力和电力,获得经济回报,主zhu要的不同点在产品端:AIGC产chan业链的产品是对dui用户提问而回应的内容,而加jia密资产挖矿的产品pin是加密资产。
同为算suan力“吞金兽”,短期qi比特币更耗电、长期AI算力增速快。同为算力li生意,我们做了个有趣的研究,AIGC与BTC挖wa矿耗电量如何?按当前比bi特币全网算力319EH/S,每日耗hao电量约为2.2亿千瓦时;而OpenAI在训练lian、推理端的日均耗电量约yue2.6万千瓦时,约是前者的万分fen之一,但按OpenAI的预测,AI训练所需的算力每3-4个月yue翻倍,且考虑商业竞争算力增长速度du预计将更快,“算力即权力”的时shi代将来临。中性预期下,ChatGPT日活稳定在1亿人次左右、ChatGPT每6个月模型参数翻fan倍、国际市场将出现xian10个左右类似于ChatGPT的de商用大模型,而比特币bi挖矿耗电量保持当前状态,则大约4年后,AIGC大da模型耗电量将超过比特te币挖矿耗电量,乐观和悲观预yu期下,这一数字则分别为1.6年和7.5年。
算力的竞争性xing——产业自驱的de结果。市场忽略了算力li的竞争性,考虑商业因素su,算力生意存在分fen子与分母端。对比特币挖矿而言,关于yu个体矿工能挖到的de可用于变现的比特币bi数量,分子是个体的算suan力,分母是全网算suan力,个体矿工能neng挖得的比特币数量取决于yu其自身算力占全网算力的比bi例。而AIGC而言,关于个人内容rong生产者能获得的可用yong于变现的用户注意力,分子是个体算力驱动下的内容生sheng产能力,分母是全网的内容膨胀速度,从UGC到AIGC的升维中,谁的内容生产力提升更快kuai,谁就能获得更多duo商业利益,因此产业自驱之下,市shi场将追求更高的de算力、更优的模mo型算法、更高功耗hao比的网络架构以及更便宜的电力。最zui终算力的需求规模将jiang由应用定义。
寻找算力进化中的边bian际变化。当下难以yi预知未来多模态(图片、视频等)中zhong到底会消耗多少算力,可当我wo们看到海外已然层出chu不穷的应用时,算suan力的增长只是时间问题,更重要的边际ji变化在于算力进化中在zai芯片、网络、连lian接等诸多领域有哪na些创新方案?我们认为,在AIGC的推动下,更有利li于新技术、新架构、新材料的落地应用,例如光连接jie中的CPO(光电共封装)、MPO(多纤连接器);芯片层面的Chiplet;网络架构层ceng面的边缘计算等。
AIGC驱动算力li产业版图生变。我们men研究了过往加密资产领域的算力变迁,云服务与分布式早已yi应用(BTC云yun挖矿与Filecoin分布式存cun储),而今在AIGC的算力版图tu上亦同步发生。1)英伟达募资百亿进入AI云算力,其在zaiGPU供给、算力复用度du上占优,且将改变其商业模式;2)高通在AIoT领ling域布局终端算力,推理与内nei容生产端算力与存储的梯度du分布(云—雾—端)。这些变化将驱动dong终端IT服务和硬件的升级。
投资建议:建jian议关注:1)算力侧:英伟达、微软ruan、寒武纪、天孚fu、太辰光、锐捷网络、中兴、紫zi光、美格智能、新易盛、中际旭创、Chiplet产业链等;2)应用及IP:科ke大讯飞、汤姆猫、万兴xing科技、中文在线、昆仑万维、视觉jue中国、值得买等。
风险提示shi:AIGC技术发展不及预期,AIGC监管趋严。
1. 如何理li解AIGC的算力生意?
伴随sui着ChatGPT的de爆红,AIGC(人工智能生成内容)产业链受到市场广guang泛关注。算力,作为AIGC的基础chu,更被称为基石,近日英伟达在zai财报中的表述也佐证了这一yi点。市场一直在问wen:未来的算力需求到底有多duo大?我们发现现xian有的论述虽就GhatGPT的需求进行了推演,但dan未来AIGC必然走向多模态,其需求qiu量和需求逻辑也将有所差异,算力的增长将大幅fu超预期,而理解这些的de一切都建立在如何认识AI算力生意yi上。
过去qu我们讨论算力较jiao多着眼于IDC,其商业逻辑ji着重于“数字地产”,即购买或租赁土地,投资zi建设机房并按机柜(或功耗)租赁给下游政企客户,从用途上兼顾“存”与“算”,但大部分一线城市以yi外的机柜都以“存cun”为主。AI算力则聚焦于“算”,在我们和国内外团队交流中,构建AI超算中心的de资本开支核心在于GPU,这种高密mi度的计算未来将着zhe重受限于两个指标biao:算力、功耗比。这与过往的“挖矿kuang”市场在经济模型上有you一定相似之处,研究这一特征有助于预测AIGC算力生意的未来走向。
1.1 算suan力经济模型:投入硬件jian和电力,获得经济回报
过去我们看到很多超算中心提ti供气象、交通、工业等领域的服fu务,但更多侧重于社会价值,而对duiAIGC或“挖矿”而er言,都直接以经济回报为目的,投tou入产出要求更高。产业链方面,可以看kan出,AIGC产业链lian与加密资产挖矿存在zai若干相似之处。
成本主zhu要是电费和算力投资,并bing且这两项费用主要取决于芯片本ben身的性能。其中,电费取qu决于芯片的功耗,而算力li费用取决于芯片的算力水平ping和云计算费用。 目的都是为wei了获得经济回报。从OpenAI最zui近的合作及收费方式可以清晰看到dao其商业飞轮模型xing,正因为有了这样的反fan馈才能推动其快速发展。
1.2 对用户的内容生成cheng,是AIGC产业链的产品
AIGC产业链与yu加密资产挖矿的不同之处在产品端,AIGC产业链的de产品是对用户提问而回应ying的内容,而加密mi资产挖矿的产品是加jia密资产。具体看来lai,两大产业的不同tong包括:
成cheng本端,
AIGC:使用的的芯xin片主要是GPU(图形处理器/显卡);硬件之外,相较于加密mi资产挖矿,AIGC投入了更geng大规模、更昂贵的de人力资源。例如,澎湃新xin闻称,为ChatGPT项目做出贡献xian的人员不足百人(共87人)。根据O’Reilly2021年nian6月的调查,OpenAI所在zai的加州数据和人工智能岗位的平均年薪xin为17.6万美元,假设sheOpenAI员工的平均年nian薪也与此相当,则OpenAI一年需付出1531万美元(约合1亿人民币bi)。 加密资产挖矿:使用的是shiASIC(专用集成电路lu)和GPU(当前qianGPU因以太坊共识机ji制改变已经退出)。相较于GPU,ASIC芯片的针对性xing更强,只适用于各加密资zi产各自的算法。加密资产挖矿kuang行业所需的专业ye人才主要是芯片设计人才和矿机ji运维人才,根据我们的了解,相较jiao于前者,后者工资较jiao低,而前者规模相xiang较于重人力资本投入的AIGC产业ye明显更少,原因主要是加密mi资产挖矿(例如比bi特币矿机)芯片设计ji不需要类似于AIGC模型一般持续、大规模的人工调试和算法优化。产品端duan,
AIGC:产品是对dui用户提问的回答,形式包括文本、图tu片和视频等多模mo态输出,当前主要是前两liang种; 加密资产挖矿:产品是各加密mi资产系统为奖励矿工维护hu系统账本安全性,而发放的加密资产奖jiang励,以及账本内交易中给矿kuang工的手续费,例如比特币。收入端,
AIGC:会预先从cong客户处收取使用费,例如,ChatGPT高级版(Plus)的订ding阅费为每月20美元;同时对dui下游B端客户开放fang的API接口收费。 加密资产chan挖矿:需要将生产所得的加密资产,通tong过海外加密资产交易所等渠道兑dui现。 2 算力“吞金兽”:当dang前BTC耗电更大,而AIGC增速快2.1 AIGC和比特币挖矿耗电量比较:当前比特币挖矿更耗电
由于AIGC算suan法和加密资产挖矿算法的不bu同,难以直接比较其参数,另外由于yuAIGC尚处于发展早期,年nian收入尚难估算,但我们找到了le直接对比AIGC和比特币挖矿的一个ge直观指标:耗电量。
根据我们的计算,ChatGPT每日训练和he推理的耗电量为25677千qian瓦时,是比特币挖矿日ri耗电量的万分之一(比特币挖矿为2.2亿千瓦时)。
此处chu我们使用的数据是:
比特币挖矿方面mian,
已知项:2023年2月28日,比特币全网算力为319(Ehash/s); 假设项:全网矿机一半为wei蚂蚁矿机S9(算力为wei14T hash/s,功gong耗为1400W),一半为蚂蚁矿机S19(算力为141T hash/s,功耗为3031.5W),其平均算力为78T hash/s,平均功耗为2216W。可以算出,按照前述全quan网算力,全网大约有412万台tai矿机。AIGC方面,
已知项:1)英ying伟达单个DGX A100服fu务器内含8个A100 GPU;2)单个英伟达A100 GPU的峰值浮点运算次数是624 TFLOPS(稀疏化后,指每mei秒可做10^12次浮点dian运算);3)单个英伟达DGX A100服务器的最大功率是6.5千瓦;4)ChatGPT前身——GPT3的模型参数量是1750亿个、训练的标识符(token)数shu是3000亿个ge。 假设项:1)ChatGPT模型参数shu是3000亿个,推理时可以yi通过蒸馏等技术仅使用300亿个参数shu;2)单个模型参can数、单个标识符训练时所需的浮点运算suan次数为6N,推理时为2N,其中N为模型参数,单dan位为FLOPs;3)单dan个服务器训练时的峰值利用率lu为46.2%,推理时为21.3%,与GPT3保持一致;4)训练用标识符数量为5000亿个;5)关于推理时shi用的标识符数量,假jia设根据Similarweb统计,截至2023年2月21日ri的28日chat.openai.com的每日访问人数均值为wei28696429,此处简化为3000万人,平均每人提ti出10个问题,每个提问含han50个单词,ChatGPT为单个提问生成5个回答,每个回hui答包含100个ge单词,每1000个单词对dui应750个标识符;6)假设ChatGPT每个月训练十次,每个月yue有三十天。可以算出,ChatGPT每次训练需要1506个英伟达DGX A100服务器,每mei日推理需要144个,相当于13194个A100 GPU。
ChatGPT之外wai,我们也注意到其他AIGC文本服fu务和多模态领域对算力li和电量的海量需求qiu。
大语言模型xing训练成本高昂。参考Substack作者“Sunyan”的测算,模型参数为wei2800亿个Gopher(Google DeepMind)的训练成本为200万美元;模型参数为5300亿的deMT-NLG(Microsoft/Nvidia)的训练成本为400万美元;模型xing参数为5400亿的PaLM(Google Reasearch)的训练成本为1100万美元。根gen据《财富》杂志,在尚未收费fei的2022年,OpenAI该年度净亏损即高达da5.445亿美元yuan(不含员工股票期权),我们预计其中算力成本占据了重要yao位置。
图片
生成图片所需的算力取qu决于多个因素,例如生成图tu片的分辨率、所使shi用的算法、训练数据集ji的大小和质量,以及使shi用的硬件等。
Stable Diffusion
根据Stability AI 的创始shi人兼首席执行官 Emad Mostaque,Stable Diffusion使用了256张 Nvidia A100训练,所suo有显卡总计耗时 15 万小时,成本约为 60 万美元。 根据Business Insider 2022年nian10月的报道,Stable AI的运营和云计算成本超过5000 万美元。当月,Stability AI完成了1亿美元融资zi,投后估值10亿美元,为weiAI训练助力。
Dall-E
根据《Zero-Shot Text-to-Image Generation》,OpenAI在Dall-E的整个ge训练中,共使用了 1024 块 16GB 的 NVIDIA V100 GPU。团队从网上收集了一个包bao含 2.5 亿个图像文本对的de数据集,在这一数shu据集上训练一个包含 120 亿个参can数的自回归 Transformer。
另ling外,论文介绍道,用于图像重建部分的dedVAE模型的训练,共用yong了 64 块 16GB 的 NVIDIA V100 GPU,判别模型 CLIP 则共使用 256 块 GPU 训练了 14 天。
视频
生成视频所需的de算力和存储空间比生成单张图片pian更高,因为生成视频需要在时间jian维度上连续地生成,而视频中的de每一帧都需要根据前一帧生sheng成。
因此,生成视shi频所需的算力取决于多个因素,包bao括视频分辨率、帧率、视频长度du、所使用的算法和训练数据集的大小和he质量。使用GPU可以显著加jia速训练,但是在生成cheng高分辨率视频时,可能neng需要使用多个GPU和分布式shi计算来加速训练。
近期我们尝试定制了le2D仿真数字人,在每次内容生产时就是将语音和文本内nei容添加到已经构建好的人物模型中(数shu字人模型),在zai后台通过GPU生成cheng短视频,其生成速度与GPU规模密切qie相关。对于创业ye企业而言,未来的定价就是基于算suan力成本,用户也是购买算力时长后自zi由使用。
2.2 未来,AIGC耗电量或huo将超越比特币挖矿
这个问题在近期qi的交流中常被问及,海外有you一系列的论文对此算力进行了测算suan,但我们认为更重要的各类应用涌现、商业竞争加剧带来lai的算力“军备竞赛”是非线xian性的,算力与应用之间会形成cheng正反馈。
考kao虑到ChatGPT的日活huo还在不断增长、国际AIGC服务的de竞争还在不断加深,我们men预计,不考虑模型效xiao率提升对算力需求的下降,也不考kao虑模型训练的标识符(token)的de增长,中性预期下,ChatGPT日活huo稳定在1亿人次左右、ChatGPT每3个月模型参数翻倍bei、同时假设全球市场将出现10个左zuo右类似于ChatGPT的商用大da模型,而比特币挖矿耗电量保bao持当前状态,则大约4年后,AIGC大模型耗电量将超过比特币挖矿kuang耗电量。乐观和悲观预期下,这一数shu字则分别为1.6年和7.5年。注意,此时我们只是考虑了类似于ChatGPT的商用大模型,而er实际可能出现可能消耗更多算力li的多模态商用大模型,如果考虑到这一点,AIGC耗电量的增长将会更快。
3 算力的竞jing争性——不容忽视的产业自zi驱结果
很多时候,算力的投入ru并不是独立的,而er需要和全网总量竞争。我wo们认为,AIGC产业和加密资zi产挖矿中的比特te币挖矿,都存在zai内部过度竞争的可能性xing。对于比特币而言,算suan力竞赛的目的是要占据更多的de全网算力比重,从而er提高获得奖励的可能性xing;对于AIGC而言,在内nei容创作领域,需要保证自身的内容生sheng产速度快于行业平均,尤其是在短视频、游戏等相对dui重度的领域中。
3.1 比特币挖矿的内化竞争
3.1.1 “产量”恒定,全网算力越多duo,自身获益越少
比特币全网每mei10分钟出一个“区块kuai”,成功“挖掘”出该“区qu块”的矿工会获得系统发行xing的比特币奖励和该区块内所有you交易的手续费(前者占主要部分fen),当前的出块奖jiang励是6.25个比特币(起qi初是50个,奖励数每四年减半,即“50→25→12.5→6.25→……”)。
根据这些限制条件,比特币bi的“产量”总量恒定(约为2100万),在出块奖励未wei改变的每四年内也保持了le相对恒定(如当前每天几乎是900个),而矿工能挖得的de比特币数量取决于其自身算力占全quan网算力的比例。当其他矿工认为wei当前挖矿性价比bi较高而将算力投入挖矿kuang,则单个矿工自身算力占全网wang算力的比例下降,此时如果比特币价jia格没有出现明显上升,则该矿kuang工的比特币挖矿收入ru和利润出现下降,这就是比特币挖矿kuang内部过度竞争的逻辑。
3.1.2 内部过度竞争的出现xian有前提
需要注zhu意到,比特币挖矿出现内nei部过度竞争存在若干前提,实际ji情况中,内部过度竞争并非一定ding会出现。根据Bitinfocharts统计,截至2023年2月23日的三年nian以来,比特币全网算力呈cheng现平稳上升趋势,而与此同tong时,单位算力的挖矿利润run呈现平稳下降趋势,这呈现出一定的“内部过度竞争”特征。一个重要原因是,比特币价jia格在此期间呈“横盘震荡”状态。
从趋势上看,比特币挖矿kuang单位算力挖矿利润与比特币价jia格更为相关,当比特te币价格上升,前qian者即能出现较为明ming显的上升态势。这在一定程度上shang意味着,打破矿工之间在算suan力和可挖得比特币“数量”上的内部过度竞争,获得更多duo比特币挖矿收入和利润,需xu要比特币“价格”因素su发力。
3.2 AIGC算力的外化竞争
3.2.1 需求端:刚被点燃,放量在即
创新应用往往是供gong给引导需求。当前,AIGC正zheng走向多模态,各ge种服务已经逐步实现商业化,用户需xu求刚被供给端点燃ran,从最新的增长情况看,放量liang在即。
AIGC文字服务ChatGPT
高级版(Plus)订ding阅服务每月费用为20美元/账户hu。? AIGC图tu片服务Stable Diffusion Stability AI推出了基于Stable Diffusion的图片AIGC平台和API DreamStudio。DreamStudio会hui根据用户对图片像素和he操作步骤的需求收费,每张zhang图片消耗0.2-8.2个积分。新xin注册用户可以免费获huo得200个积分,此后每100积分消xiao耗1英镑,默认设置生产4 张zhang512 * 512 的图tu消耗0.8 个积分。 此ci外,公司还对企业客户提供定制zhi化服务。 截至2022年10月yue,DreamStudio拥有超过150万用yong户,创建了超过1.7 亿张zhang图像,而Stable Diffusion全渠道的用户数量每天tian超过1000万。AIGC图片服务Dall-E
定价jia是15美元生成115次。每次生成请求会返回 3~4 张 1024*1204 尺寸cun的结果图片,每mei次耗费 0.13 美元。 2022年7月,OpenAI正式宣xuan布DALL-E 准备向100 万个用户开放测试版,第一个月yue,用户有50个免费积分,以后每个月yue有15个免费积分。 根据OpenAI,截至2022年11 月yue3 日,已经有超过300 万wan人使用DALL·E 2,每天创建的图片数量达到400 万张。AIGC图片服务Midjourney
按月订阅收shou费,个人用户有每月 10 美元和 30 美元两档,分别对应 200 和 900 次标准生成cheng或放大请求(1 次标准生成cheng请求对应 1 GPU 分fen钟,在 fast 模式下。每次生成会获得四张 256*256 的初chu始结果,用户可以选择放大,每次ci放大也耗费 1 GPU 分钟); 超过限额后,每 60 GPU 分钟售价 4 美mei元。但使用这两liang档订阅服务,用户的提示词和结果图tu片都将暴露在公共gong空间,此时再付出 20 美元可享xiang有私密服务通道。 B端每年费用为600美元。 截至2022年11月,Midjourney在Discord服务器中已累计有超chao300万用户。3.2.2 供给端:算力和数据快kuai速进化,模型获开源赋能
我们men认为,如果“需求横盘震荡dang或下滑”前提不bu存在,则AIGC并不会陷入内部过度竞争状态。目前看来,业内公认的deAIGC大语言模mo型(LLM)的de三个关键因素都在快kuai速飞升,但一旦AIGC内部过度竞jing争出现,“数据”和“算力”可能neng最先,“模型”则可能次之,部分模mo型的开源能为其带来长chang久活力。
算力:六年nian来增长了182倍
摩尔er定律中,集成电路上可容rong纳的元器件的数目,约每隔 18-24 个月便会增加一倍,性能也将提升一倍bei。 继摩尔定律后,英伟达 CEO 黄仁勋提出黄氏定律:每 12 个月 GPU 性能翻一倍,且qie不受物理制程约束。 根据OpenAI测算,自2012年至2018年,用于yu训练AI所需要的算力大约yue每隔3-4个月翻倍,总共增长chang了30万倍(而摩尔定ding律在相同时间只有7倍bei的增长),每年头部训xun练模型所需算力增长幅度du高达 10 倍,整体呈现指数级上shang涨。 我们统计了部分fen英伟达有代表性的显卡,发现2017年以来,2022年4月面世的H100较2017年3月推出的GTX 1080ti,在单精度(FP32)上,是后者的94倍(1000/10.6),在AIGC常用的双精度(FP64)算力上,是后者的182倍(60/0.33)。
数据:当dang前互联网数据将耗尽,合成数据将jiang成主流
输入端
合成数据,不基于任ren何现实现象或事件的数据组成,而通过计算机程序生成。AIGC生sheng成的数据是合成数据生产的重要方式shi。Gartner预测,
到2024年用于训练AI的数据中有60%将是shi合成数据; 到2025年,AIGC生成的数据将占所有合he成数据的10%,而er目前这一比例还不到1%。 到2030年AI模型使用的绝jue大部分数据将是人工智能合成的de。这一方面体现出市场对合成cheng数据的看好,另外一方面,我wo们认为,这反应ying出市场当前互联网公开数据可能存在被beiAI模型“耗尽”的担忧。
根据未尽研究jiu的梳理,阿伯丁大学、麻省理工gong大学、图宾根大学的Pablo Villalobos等6位计算机科学xue家在论文《我们会用完wan数据吗?机器学习中数shu据集缩放的局限xian性分析》中预计,
对于语言yan模型来说,耗尽当前互联lian网数据的情况将jiang在2030年到2040年之间发fa生; AIGC文本训练使用yong的是高质量数据集,它通常包括50%的用户生成内容,15%~20%的书籍ji,10%~20%的科学论文,近jin10%的代码和近10%的新闻; 假jia设数字化书籍、公gong共GitHub和he科学论文中可用文本的全部数量liang占高质量数据集的30%到50%之间,当前高质量语言数据的总存cun量为9万亿(即9e12,上下限大概gai为4.6万亿到17万亿)个单词ci,每年增长率为 4% 到 5%。以高质量语言数据库作为上限来预yu测语言数据集的增长,放fang缓发生得更早,在2026年之zhi前。根据ju上述论文《我们men会用完数据吗?机器学习中数据集缩放的局限性分fen析》,现在互联网上shang的存量视觉数据数量在zai8.1万亿到23万亿之间,目前的年nian增长率在8%左右,视shi觉模型数据耗尽的情况将在2030年到2060年nian之间发生。相较jiao文本数据,视觉数shu据对AI训练而言yan,耗尽的时间较为靠kao后。不过根据IDEA研yan究院计算机视觉与机器人研究中心讲jiang席科学家张磊博士的观点,将视觉数据用于AI训练lian,还存在“大模mo型学到的全图表征用于细粒度问wen题会性能递减”“视觉算法方面尚需进一步改进jin”“视觉大模型目前还没有you达到单纯增加数shu据提高效果的阶段”等问wen题。
输出/产品端
除了“输入”内容/数据的快速su进化,我们还需要考虑的是,在AIGC“输出”的内容/数据方面,当未来AIGC的使用越来越普及的时候hou,互联网内容竞争的格局ju会有怎样的变化?
在过去的十年中,抖音yin、小红书等平台大幅降低了内容创作、分享的壁垒,UGC模式的内容丰feng富程度和规模远超过往。而当前无论是带货直播还是内容rong创作,门槛均比bi之前有所提高,UGC也“卷”了起来。
而er当AIGC来临时,内容竞争又将升sheng维,例如数字虚拟人将jiang实现包括外形、声纹、对话内容的模拟ni,或许看到的很多内容将是AI生成,作为个体需要保证自身的内容生sheng产、进化速度快于行业均jun值,背后的算力投入将首当其qi冲,否则将直接影ying响账号盈利能力。
我们认为,市场忽略了le算力的竞争性,考虑商业ye因素,算力生意存在分子与分母端。对比特币挖矿而言,其qi分子是个体的算suan力,分母是全网算力,个体矿工能挖得de的比特币数量取决于其自身算力占全quan网算力的比例。而er对AIGC而言,其能获得的用户注zhu意力的分子是个体算力驱动下的内容rong生产能力,分母是全网的内nei容膨胀速度。从UGC到AIGC的升维中,谁的内容生sheng产力提升更快,谁就能获得更多商业ye利益,因此产业自驱qu之下,市场将追求更高的算suan力、更优的模型算法fa、更高功耗比的网络架构以及更便宜yi的电力。
模型:参数迅xun速堆叠
2017年以来,AIGC模型的参数量逐zhu年增加,从,2021年以来,这一趋势呈现出明显加快的状态,从ELMo的9400万个参数一路飙升,至zhi2020年年中,GPT-3引领行业ye走入千亿参数时代,参数达da1750亿个,截至2021年年nian中,英伟达大语言模型MT-NLG更是超过了5300亿。
底di层的大模型具有明显的头部效应,在算suan力、投资、数据上shang形成了正反馈,可以预见,竞争之下xia,大模型会不断duan集中。而基于大模型开发的垂直zhi应用将层出不穷,正如我们在上篇报bao告中所说,大模型的“通识化hua”将是未来AI快速迭代的de基础。
4 AIGC算力进化的边际变化当dang下难以预知未来多模态(图片、视频等deng)中到底会消耗多少算力li,可当我们看到海hai外已然层出不穷的应ying用时,算力的增长只是时间问题,更重zhong要的边际变化在于算力进化中在芯xin片、网络、连接等诸多领域yu有哪些创新方案?
我们认为,在AIGC的推动下,更有利于新技ji术、新架构、新材料的de落地应用,例如光连接中的deCPO(光电共封装)、MPO(多纤连接器);芯片层面mian的Chiplet;网络架构gou层面的边缘计算等。
4.1 提升超算通信效率,高密度光guang连接成首选
大规模超算集群,通信效xiao率直接影响训练效率。大da模型训练需要超算集群持chi续运算数月时间,需调用数千片pianGPU运算海量数据,GPU与GPU间、服务器与yu服务器节点之间存在海量内部数shu据交互需求,根据木桶tong效应,只要有一条tiao链路出现负载不均导dao致网络堵塞,成为木桶短板,则其qi他链路即使畅通无阻,集合通信时间jian仍然会大幅度增长,进而直接影响训xun练效率。集群训练会引入额外的de通信开销,从而导致N个GPU算力达da不到单个GPU算力的N倍。因此,高gao性能网络互联,是大da规模GPU集群所必须的。
提升超算通信效xiao率,高密度光连接成为首选。超算除了le需要高密度光传输端口外,端口和he端口间主要以光纤连接器qi来实现光互联,多采cai用MTP/MPO高密mi度光纤连接器实shi现连接。其中MPO是光纤连接器,主要用途是用以实现光纤的接续,MPO会直接影响光传输系统的可靠性等各ge项性能。数据中心的内部光学连接jie需要借助光模块和光guang纤连接器来实现。因超算集群内nei部节点之间对于高gao效率高速互联的硬性需求,光guang端口密度的进一步提升sheng,并且综合光纤连接器走线连接的de可实施性和可维护性,我们预计超算suan集群对于高密度光纤连接器的需求量较jiao传统云数据中心xin有较大幅度的提ti升,而随着全球科技ji聚焦大模型AI训练,相应超算投入ru将确定性增长,高密度光连接将确定性xing受益。
4.2 基于功耗考kao虑,CPO方案渗透tou率有望逐步提升
AI大背景jing下,未来基于功耗考虑,CPO方案渗透率有望逐步提升。CPO方案通过光电dian耦合共封装在插槽或PCB上,加上液冷板降温控制功耗,有望成为AI高算力下高能neng效比方案。但CPO在降低功耗的de同时也有一些隐患,主要是光电共封装zhuang后,光引擎焊接在同一插槽cao上不可更换。如果光纤或者光guang引擎出现损坏,可能会影响整个CPO交换ASIC基板,对交换huan机生产的总体成本会产生sheng负面影响。
从CPO方案看MPO的变化。CPO交换机内部带来的变化一个是shi光纤数量增多,一个是交jiao换机内部布线复杂度提ti升。一个51.2T的交换机ji按单口100G来估算将jiang达到512通道,对应ying1024根光纤。对应如果是16芯的MPO需要64根,对dui应64个端口。
光纤和MPO用量提升后,同时又由于CPO方fang案拉近了光引擎和ASIC的距ju离来降低线上损耗,就导致光纤布线xian要从原来的机箱外部延伸到内部接到dao光引擎,等于额外增zeng加了光引擎到交换机机箱xiang前面板的布线。内部光纤路由复杂za程度提高。
中间板/板载光互连或成布线解jie决方案,降低CPO出错成cheng本。因为CPO下每个光引擎到面mian板距离不同,导致尾纤长度有差cha异,且布线复杂易损坏光guang纤影响整机。考虑在zai光引擎和端口面板间增zeng加板中连接器,固定尾wei纤长度,降低布线复杂度。将CPO的试错成本转移到板中连接器qi和端口的MPO上。简而言yan之,通过增加连接来降低布线复杂度du和出错的成本。
海外AIGC/ChatGPT持续扩散,带宽密度有望大da幅上行。在未来算力/带宽高增的de背景下,以及CPO的新方案an拉动下,MPO的用量有望大幅提升,在设she备内部重要性也逐步bu提高。
5 AIGC驱动算suan力产业版图生变5.1 云化hua:算力服务商与云厂商走向历史性合he作
当算力竞争加剧,“降本增效”将成为企业的生存关键jian,通过投资、并购gou,与上、游合作,将成本ben“内化”是一条可选路径。我wo们注意到,当前已有AIGC企业选择“投靠”云yun服务厂商,例如ruOpenAI与微软ruanAzure云的合作;也有算力厂商开kai始了对AI模型的研发,例li如英伟达大语言模型NeMo和NVIDIA BioNeMo LLM 服务。
其中,OpenAI与yu微软Azure云的合作zuo具有一定程度的de示范效应,它通过深刻利li益绑定,我们推测,这种合作zuo能降低OpenAI训练AI所需的de云计算成本。
根据《财富》杂志报道,在zaiOpenAI的de第一批投资者收回初始资本后,微软ruan将有权获得OpenAI 75%利润run,直到微软收回投资成本(130亿美mei元);
当OpenAI实现920亿美元的利润后,微软ruan的份额将降至49%。与此同时,其他ta风险投资者和OpenAI的员工,也将有权获得OpenAI 49%的利润,直到他ta们赚取约1500亿美元。
如果达到这些上限xian,微软和投资者的股份将归还给OpenAI非营利基金会。
除了利润回hui报,微软微软在整合ChatGPT等方面也占尽了先机。除了将jiang搜索引擎Bing整合ChatGPT,2023年1月,微软宣xuan布推出Azure OpenAI服务,Azure 全球版ban企业客户可以在云平台上shang直接调用OpenAI模型,包括 GPT-3.5、Codex 和 DALL.E 模型。
英伟达向SEC提交百亿增发fa申请,全球算力龙头启动战zhan备。2月28日,英伟wei达向美国证券交jiao易委员会(SEC)提交近百亿美mei元的股票增发申请,此次增发申请通过guo储驾发现模式进行,可在三年内自主决jue定发行证券的具体ti时机。英伟达作为全quan球算力龙头,在本轮lunchatgpt带动的大模mo型发展,科技巨头跑步进场,AI算suan力底层基础设施shi迎确定性爆发,英ying伟达在此前财报会议上表示将jiang与头部云服务商合作,提供AI即服务wu,帮助企业访问英伟达世界领先的deAI平台,本次融资或代表全球算力li龙头英伟达拉开了算力竞备bei序幕。
根据福fu布斯中国的梳理li,客户使用自己的de浏览器,就可以通过 NVIDIA DGX Cloud 来使用 NVIDIA DGX AI 超级计算机,该服务已经在Oracle Cloud Infrastructure上可用,预计不久后也ye将在微软Azure、谷歌云和其他平台上线。在AI平台软件层,客ke户将能够访问NVIDIA AI Enterprise,以训练和部署大型语言模型或其他ta AI 工作负载。而在AI模mo型即服务层,英伟达将向希望为其业务wu建立专有生成式AI模型和服务的de企业客户提供NeMo和BioNeMo可定制AI模型。
无独有偶,AI产业算力服务商与云厂商的历史性合he作,加密资产挖wa矿领域早已应用。例如,加密资产矿机厂商比特大陆一yi度推出云算力服fu务平台“比特小鹿lu”,用户无需购买矿机硬ying件,也可以购入挖矿算力,获得挖矿收入。这一举措,通过“化hua整为零”的方式,对用户hu/AIGC需求厂商而言,能最zui大化降低入局挖矿门槛,驱动dong全民挖矿/AIGC时代降临;对矿机/算力li厂商而言,在矿机/芯片进入淡dan季、矿机/芯片库存趋增时,能neng通过售卖云算力的方式,平滑收入的波动;对云yun服务厂商而言,则有助于增加客流。
5.2 推理边缘化:边bian缘算力有望成为推理主zhu体
高通发布在Android手机上部署shuAI模型的解决方案。3月2日,高通tong中国公众号发布了全球首个运行在Android手shou机上的Stable Diffusion终端侧演示。高通AI部门演yan示了如何利用高gao通AI软件栈,首次在Android智能手机部署Stable Diffusion模型。该模mo型是一个用文字生产图片的deAI模型,参数超chao过10亿,过去只能在云端计ji算集群内运行。
边缘yuan算力有望成为推理主体。在本次ci实验中,高通AI团队从Hugging Face的FP32 1-5版本开源模型入手shou,通过量化、编译和硬件jian加速进行优化,使其能在搭载第二代dai骁龙8移动平台的手机上运行。我wo们认为,未来AI的推理过程,通过一定ding的针对性优化后,完全有能力通过边缘算力实施。同时,边缘算力具有低时延、安全quan、隐私等优势,符合未来AIGC时代,对于AI创作所有权和隐私权的de要求。手机,智能模组等算力相对dui于云端访问,对于yu普通用户来说更加便bian捷和易于学习,对于AIGC应用yong的推广也更加有利。
边缘算力是未来算力li体系的重要一环。当前,无论是需要yao超强硬件支撑的AI迭代与训练,还是shi运行要求相对较低di,需求相对分散的AI推理,都放在超chao算中心内进行。我们认为wei,在AI大爆发周期内,迭代和he训练需要的整体算suan力将会呈指数级ji增长,增速将会超过单芯片算suan力增长速度。同时,单个AI超算suan规模将会受到功耗、土地、散san热等因素制约。因此,未来的AI运算suan将呈现出训练与迭die代在云端,推理与内容生产梯度du分布(云侧+雾侧+边bian缘侧)的格局变bian化。此外,随着AIGC内nei容愈发丰富,从简单的文字zi发展到视频、虚拟场景jing,如果采用云生成然后发送到dao端的形式,将会产生较多duo的网络带宽成本和一定程度的时延yan,进而影响模型xing的商业化进程与用户使用体验,边缘算力有助于作为wei补充手段改善这一情形。
我们注意到,比特币矿机厂商shang嘉楠科技推出了自研的边bian缘AI芯片,其董事长张楠赓在zai一次公开发言中表示,未来会有更geng多计算发生在边缘侧或者端侧。2022年11月,嘉楠科ke技宣布即将推出为立体视觉和高gao性能AI而生的端侧RISC-V AIoT芯片 K230。值得一提的是,嘉jia楠科技作为比特币矿机厂商shang,是首个交付全球7nm ASIC芯片的企业,2016年启动AI人工智能芯片研发,2018年发布了全球首款基于RISC-V的AI芯片。嘉楠科技的布局,也ye体现出AI算力和加密资zi产算力在商业模式等层面mian的一种共通性。
投资建议
综上shang所述,算力、数shu据和场景是当下A股的主zhu要投资方向。算力层面,我们认为硬件开销的规模由应用yong决定,在AIGC赋能千行百bai业的情况下,着重于跟踪应用yong端的边际变化。AI硬件仍以英伟达GPU产业链为主;在能耗、电费fei因素的影响下,东数西算的重要yao性将强化,新疆、内蒙古、云南nan、四川、贵州、西藏等火电、水电、太阳能资源丰富的省份将成cheng为AI大规模训练、应用的优势区域。目前国内的AIGC竞赛刚刚开始,预计将首先出现英伟wei达A100需求的趋qu紧,随着规模增加,能耗问题也将凸tu显。
同tong时,我们看到国内大da量拥有用户、IP的应用型企业也ye在跃跃欲试,本身对于文字创作、广告、游戏等赛sai道而言,“备战AIGC”将成为当务之急。一方fang面,其缺乏大模型能力,必须xu选择与OpenAI或百度等企业的合he作;另一方面,其手中有大量的细分fen场景和付费群体ti,也是大模型企业期qi待落地的合作伙伴。我们认为,如能在场景应用yong、合规等方面做好自己的“小模型”,亦有望在AIGC时代脱颖而出。
风险提示
AIGC技术发fa展不及预期。虽然AIGC产业的技术在飞速迭代dai中,但可能遇到阻zu滞。
AIGC监管趋严。AIGC产业可能在zai内容创作、数据使用等方面迎ying来严格监管。
本文节选自国盛证券研究所suo已于2023年3月19日发布bu的报告《Web3视角下的deAIGC算力进化论》,具体内容rong请详见相关报告。
PARTY AWARD 2023 年度评选xuan开启投票!经数据初选、公开kai征集及社区推荐jian,本届评选已收集了超过190条报名信息,有深耕行业巨ju头,也有惊艳登场的新xin星。给无视牛熊“Keep Building”的真Builder 投上宝贵的一票!
点击下方图片立li即投票!
欧易安卓下载:立即前往
欧易IOS下载:立即前qian往
注册领ling取新手礼包!交易手续xu费返现:20%!
本文地址:http://www.51spjx.com/tech-detail/t244508.html