A rede na era da IA: de onde vem a demanda, para onde irá a inovação?
A rede é uma parte chave da era dos grandes modelos de IA. Na era dos grandes modelos, já vimos a aceleração da iteração de dispositivos de rede como módulos ópticos e switches, com uma explosão na demanda. No entanto, o mercado tem uma compreensão superficial de por que as placas gráficas precisam ser acompanhadas por um grande número de módulos ópticos, e por que as comunicações se tornaram um ponto crítico para os grandes modelos. Este artigo começará com os princípios, explorando por que a rede se tornou a nova "posição central" na era da IA, e discutirá as inovações do lado da rede e as oportunidades de investimento por trás delas, a partir das mudanças mais recentes na indústria.
A demanda da rede vem principalmente de três aspectos:
O crescente tamanho dos modelos exige agrupamentos de múltiplos servidores para resolver problemas de treino.
A rede é mais utilizada para sincronizar os parâmetros do modelo entre as placas gráficas, exigindo maiores requisitos de densidade e capacidade da rede.
O treinamento de grandes modelos dura meses, o custo de falhas na rede é extremamente alto e as exigências de estabilidade aumentam.
A inovação na rede manifesta-se principalmente em três direções:
Mudança do meio de comunicação: os módulos ópticos buscam taxas de transmissão mais altas, ao mesmo tempo em que reduzem custos por meio de LPO, LRO, silício fotônico, entre outros. Os cabos de cobre dominam as conexões dentro dos armários. Novas tecnologias como Chiplet e Wafer-scaling aceleram a exploração do limite da interconexão baseada em silício.
Competição de protocolos de rede: protocolo de comunicação dentro do nó vinculado à placa gráfica, como NVIDIA NV-LINK, AMD Infinity Fabric. A competição principal entre nós é entre IB e Ethernet.
Mudanças na arquitetura de rede: a arquitetura Leaf-Spine tem um custo relativamente alto em super grandes clusters, enquanto arquiteturas novas como Dragonfly e rail-only têm potencial para se tornarem a próxima direção de evolução para super grandes clusters.
Sugestões de investimento:
Elementos centrais do sistema de comunicação: Zhongji Xuchuang, Xinyi Sheng, Tianfu Communication, Hu Dian Co.
Elementos inovadores do sistema de comunicação: Fibra óptica Changfei, Zhongtian Technology, Hengtong Optic-Electric, Shengke Communication.
Aviso de risco: A demanda por IA não atende às expectativas, a lei de escalonamento falhou, e a concorrência na indústria intensificou-se.
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
7 gostos
Recompensa
7
5
Partilhar
Comentar
0/400
RugDocScientist
· 7h atrás
Este movimento de mercado depende apenas das placas gráficas?
Ver originalResponder0
LadderToolGuy
· 7h atrás
As placas gráficas estão a subir como loucas, quem é que vai controlar as taxas de internet?
Ver originalResponder0
TheShibaWhisperer
· 7h atrás
重在 aumentar a posição 光模块 这波~
Ver originalResponder0
RugDocDetective
· 7h atrás
As placas gráficas em alta velocidade mais cedo ou mais tarde vão colidir com o limite de velocidade da internet.
Aumento da demanda por redes na era da IA, a inovação em comunicações enfrenta novas oportunidades.
A rede na era da IA: de onde vem a demanda, para onde irá a inovação?
A rede é uma parte chave da era dos grandes modelos de IA. Na era dos grandes modelos, já vimos a aceleração da iteração de dispositivos de rede como módulos ópticos e switches, com uma explosão na demanda. No entanto, o mercado tem uma compreensão superficial de por que as placas gráficas precisam ser acompanhadas por um grande número de módulos ópticos, e por que as comunicações se tornaram um ponto crítico para os grandes modelos. Este artigo começará com os princípios, explorando por que a rede se tornou a nova "posição central" na era da IA, e discutirá as inovações do lado da rede e as oportunidades de investimento por trás delas, a partir das mudanças mais recentes na indústria.
A demanda da rede vem principalmente de três aspectos:
O crescente tamanho dos modelos exige agrupamentos de múltiplos servidores para resolver problemas de treino.
A rede é mais utilizada para sincronizar os parâmetros do modelo entre as placas gráficas, exigindo maiores requisitos de densidade e capacidade da rede.
O treinamento de grandes modelos dura meses, o custo de falhas na rede é extremamente alto e as exigências de estabilidade aumentam.
A inovação na rede manifesta-se principalmente em três direções:
Mudança do meio de comunicação: os módulos ópticos buscam taxas de transmissão mais altas, ao mesmo tempo em que reduzem custos por meio de LPO, LRO, silício fotônico, entre outros. Os cabos de cobre dominam as conexões dentro dos armários. Novas tecnologias como Chiplet e Wafer-scaling aceleram a exploração do limite da interconexão baseada em silício.
Competição de protocolos de rede: protocolo de comunicação dentro do nó vinculado à placa gráfica, como NVIDIA NV-LINK, AMD Infinity Fabric. A competição principal entre nós é entre IB e Ethernet.
Mudanças na arquitetura de rede: a arquitetura Leaf-Spine tem um custo relativamente alto em super grandes clusters, enquanto arquiteturas novas como Dragonfly e rail-only têm potencial para se tornarem a próxima direção de evolução para super grandes clusters.
Sugestões de investimento:
Elementos centrais do sistema de comunicação: Zhongji Xuchuang, Xinyi Sheng, Tianfu Communication, Hu Dian Co.
Elementos inovadores do sistema de comunicação: Fibra óptica Changfei, Zhongtian Technology, Hengtong Optic-Electric, Shengke Communication.
Aviso de risco: A demanda por IA não atende às expectativas, a lei de escalonamento falhou, e a concorrência na indústria intensificou-se.