市场中流传着不同版本的光模块与GPU数量比例的测算，各种版本的数字对不上主要原因是因为不同组网架构下所需要使用光模块的用量都不尽相同，光模块的实际使用数量主要取决于以下几个方面：
1）网卡型号
主要包括两种网卡，ConnectX-6（200Gb/s，主要配合A100使用）
和ConnectX-7（400Gb/s，主要搭配H100使用）
同时下一代ConnectX-8 800Gb/s预计明年发布
2）交换机型号
主要包括两种交换机，QM9700系列（32口OSFP（2*400Gb/s)，共64路400Gb/s传输速率，总共51.2Tb/s吞吐速率）
和QM8700系列（40口QSFP56，共40路200Gb/s传输速率，总共16Tb/s吞吐速率）
3）单元（Scalable unit SU）数量
单元数量影响交换架构层级，数量少时仅用两层架构，数量多时采用三层架构
H100 SuperPOD：每个单元包括32个节点（DGX H100服务器），最大支持4个单元组成集群，两层交换架构
A100 SuperPOD：每个单元包括20个节点（DGX A100服务器），最大支持7个单元组成集群，超过5个单元需要三层交换架构
结论：
1）A100+ConnectX6+QM8700 三层网络：比例关系1:6，全部用200G光模块
2）A100+ConnectX6+QM9700 两层网络：1:0.75个800G光模块+1:1个200G光模块
3）H100+ConnectX7+QM9700 两层网络：1:1.5个800G光模块+1:1个400G光模块
4）H100+ConnectX8(尚未发布)+QM9700 三层网络：比列关系1:6，全部用800G光模块
假设2023年出货30万片H100+90万片A100，总共带来315万支200G+30万支400G+78.75万支800G需求，带来13.8亿美金的AI增量市场空间（约等于中际旭创2022年总收入）
假设2024年出货150万片H100+150万片A100，总共带来75万支200G+75万支400G+675万支800G需求，带来49.7亿美金的AI增量市场空间（约等于2021年数通光模块市场规模总和）
下面是对以上各种情形的详细测算过程
第一种情况：A100+ConnectX6+QM8700 三层网络
A100共有8个计算接口，在图中的左边四个和右边四个，目前A100出货主要搭配ConnectX6对外通讯，接口速率200Gb/s。
在第一层架构中，每个节点（Node）有8个接口（Port），每个节点分别连8个叶交换机（Leaf），每20个节点组成一个单元（SU），因此在第一层总共需要8*SU个叶交换机，需要8*SU*20条线缆（Cable），需要2*8*SU*20个200G光模块。
在第二层架构中，由于采用无阻塞架构，上行速率=下行速率，在第一层中总的单向传输速率为200G*线缆数量，由于第二层也采用单条线缆200G的传输速率，因此第二层级中线缆数量应该与第一层级相同，需要8*SU*20条线缆（Cable），需要2*8*SU*20个200G光模块。所需要的脊交换机（Spine）数量是线缆数量除以叶交换机数量，需要(8*SU*20)/(8*SU)个脊交换机。但是当leaf交换机数量不够多的时候，为了节约脊交换机的数量可以在叶和脊之间做两条以上的连接（只要不超过40个接口的限制）。因此当单元数量分别为1/2/4/5个时所需要的脊交换机数量为4/10/20/20个，所需要的光模块数量分别为320/640/1280/1600个，脊交换机数量不会同比例提升，但光模块数量会同比例提升。
当单元数量达到7个时，需要用到第三层架构，由于无阻塞架构因此第三层架构所需要的线缆数与第二层数相同。
英伟达推荐配置SuperPOD：英伟达推荐7个单元进行组网，需要增加第三层架构，并增加核心交换机（Core），各种不同单元数量的各层交换机数量、线缆连接数如图所示
140台服务器，共对应140*8=1120片A100，共需要56+56+28=140个交换机（QM8790），需要1120+1120+1120=3360根线缆，需要3360*2=6720个200G光模块，A100与200G光模块对应关系为1120/6720=1:6
第二种情况：A100+ConnectX6+QM9700 二层网络
目前推荐配置中还没有这种方案，但是未来可能未来会有越来越多A100选择QM9700组网，将降低光模块使用数量，但带来800G光模块需求。最大的区别在于第一层连接由对外接8根200G线缆转换为接2跟1拖4的QSFP转OSFP接口
在第一层：对于一个7单元的集群，140台服务器有140*8=1120个接口，共对外接出1120/4=280根1拖4的线，带来280个800G和1120个200G光模块需求。共需要12台QM9700交换机
在第二层：仅用800G连接，需要280*2=560个800G光模块，需要9台QM9700交换机
因此140台服务器，1120片A100，共需要12+9=21台交换机，及560+280=840个800G光模块及1120个200G光模块
A100与800G光模块对应关系为1120：840=1:0.75，A100与200G光模块对应关系为1:1
第三种情况：H100+ConnectX7+QM9700 两层网络
H100设计比较特殊的点在于，虽然网卡是8个GPU配了8张400G网卡，但是接口是合并成了4个800G接口，会带来大量800G光模块需求。
在第一层，根据英伟达推荐配置，建议在服务器接口上接1个【2*400G】的800G光模块，通过twin-port连接两根光缆（MPO），分别插在两个交换机上
因此第一层，一个单元包含32台服务器，一台服务器连接2*4=8台交换机，SuperPOD中包括4个单元，总共需要4*8=32台叶交换机在第一层连接。
英伟达建议需要留出一个节点做管理用途（UFM），由于对光模块的使用量影响有限我们姑且按照4个单元共128台服务器简略计算
则在第一层共需要4*128=512个800G光模块，和2*4*128=1024个400G光模块
在第二层，交换机之间直接用800G光模块相连接，一台叶交换机向下连接了32*400G的单向速率，为保证上行下行速率一致，因此向上连接需要16*800G的单向速率，需要16台脊交换机，共有4*8*16*2=1024个800G光模块需求
因此在此种架构下，两层相加共需要512+1024=1536个800G光模块需求和1024个400G光模块需求，总共4*32*8=1024片H100，因此GPU与800G光模块的对应关系为1024/1536→ 1：1.5，与400G光模块的对应关系为1024/1024 → 1：1。
第四种情况：H100+ConnectX8（尚未发布）+QM9700 三层网络
这种情况尚未发布，但我们假设H100也升级到800G网卡之后，对外接口应当从4个OSFP接口提升至8个OSFP接口，每一层之间的连接都用800G相连接，整个网络架构与第一种情况类似，仅是将200G光模块更换为800G光模块。因此在此种架构下GPU与光模块的需求比例也为1:6。
结论
我们将以上四种情况梳理成以下表格
|
GPU
|
网卡速率
|
交换机速率
|
架构层级
|
200G光模块需求量
|
400G光模块需求量
|
800G光模块需求量
|
|
A100
|
200G
|
200G
|
三层
|
1:6
|
0
|
0
|
|
A100
|
200G
|
400G
|
两层
|
1:1
|
0
|
1:0.75
|
|
H100
|
400G
|
400G
|
两层
|
0
|
1:1
|
1:1.5
|
|
H100
|
800G
|
800G
|
三层
|
0
|
0
|
1:6
|
我们假设假设2023年出货30万片H100+90万片A100，总共带来315万支200G+30万支400G+78.75万支800G需求
假设2024年出货150万片H100+150万片A100，总共带来75万支200G+75万支400G+675万支800G需求
|
A100（万片
|
H100（万片）
|
200G交换机比例
|
400G交换机比例
|
800G交换机比例
|
200G光模块需求（万支）
|
400G光模块需求（万支）
|
800G光模块需求（万支）
|
|
|
2023年
|
90
|
30
|
37.5%*
|
62.5%
|
0%
|
315
|
30
|
78.75
|
|
2024年
|
150
|
150
|
0%
|
75%**
|
25%
|
75
|
75
|
675
|
*A100中一半用200G交换机一半用400G交换机
**H100中一半用400G交换机一半用800G交换机
***以上对A100 H100数量的判断仅是我们的假设，不代表对未来的预期
以2023年1美元/GB均价，2024年0.85美元/GB均价简单计算，AI预计为光模块带来13.8/49.7亿美金的AI增量市场空间
作者利益披露：转载，不作为证券推荐或投资建议，旨在提供更多信息，作者不保证其内容准确性。
（来自韭研公社APP）
原创文章，作者：奋斗，如若转载，请注明出处：https://blog.ytso.com/tech/iot/315583.html