中国是否有资源训练ChatGPT这类大模型？

Post Views: 2,475

在知乎上看到一个类似标题所述的问题，就搜索了一下相关信息，整体看，虽然美帝禁售了A100，但是国内目前并不缺少这类训练资源。从英伟达销售数据估算，这近3年至少在中国销售了A100、V100级别的训练卡31.5万块。中国移动21年集采中也有约1万块左右的训练卡，中国电信训练和推理的服务器没有完全分开，20年2767台，22年1268台服务器，估计其中1/3是训练服务器，22年训练卡可能达到3200块。

美帝22年禁售了A100和H100，据说英伟达22年Q3影响收入达到4亿美元（随后有了阉割版本A800，买卖继续了）。如果考虑下面第二个图的总金额看，预计全年在中国的销量可以达到16亿美金，一个A100/V100的零售价大约6万人民币（参考JD价），那么16亿美金最多可以采购18万张V100+训练卡。考虑到21年的销售量是22年的一半左右，那么21年中国最多有9万张V100训练卡，以此类推，20年估计最多4.5万张训练卡。

这样看来，国内预计最多有31.5万块V100级别训练卡。虽然这些卡会分布在很多企业中，但是拥有1500+张V100卡的大型企业也不是个别。训练GPT3，如果用1000张A100卡，可以缩短到1个月。达摩院PLUG 270亿参数，用了128张GPU。Meta AI用了992块英伟达A100 GPU（80GB）训练OPT-175B（16张V100也能部署OPT预训练）

所以说，算力中国有很多，不用集中全国之力，很多企业自己就可以干大模型。

以GPT-3模型训练为例，使用8张V100显卡，训练时长预计需要36年，512张V100显卡，训练时间接近7个月，而1024张A100的训练时长可以减少到1个月。这种利用多显卡同时计算的方式就是分布式并行计算。

下面这段是ChatGPT回答的：

训练1000亿参数的大模型，需要多少GPU？
这取决于模型的复杂度，但通常情况下，训练1000亿参数的大型模型所需要的GPU数量在数百台以上。
训练ChatGPT模型用了多少个GPU卡？
ChatGPT模型使用了16张Tesla V100 GPU卡，每张GPU卡有32 GB的内存。