NVLink y NVSwitch: fu­n­cio­na­mie­n­to y ar­qui­te­c­tu­ra de co­mu­ni­ca­ción entre GPU

NVLink y NVSwitch resuelven un problema central de los sistemas modernos de IA y HPC: la co­mu­ni­ca­ción rápida entre varias GPU. Estas te­c­no­lo­gías aumentan de forma si­g­ni­fi­ca­ti­va el re­n­di­mie­n­to de tra­n­s­fe­re­n­cia de datos y sientan las bases para clústeres de GPU es­tre­cha­me­n­te co­ne­c­ta­dos y es­ca­la­bles.

¿Qué es NVLink?

NVLink es la interfaz de co­mu­ni­ca­ción de alta velocidad por cable pro­pie­ta­ria de NVIDIA para el in­te­r­ca­m­bio directo de datos entre GPU y, en algunos casos, también entre CPU y GPU. En las co­ne­xio­nes GPU a GPU sustituye el desvío a través del bus PCIe, reduce los cuellos de botella de co­mu­ni­ca­ción y mejora el re­n­di­mie­n­to en cargas de trabajo de HPC, en­tre­na­mie­n­to de IA y pro­ce­sa­mie­n­to paralelo intensivo en memoria dentro de grandes clústeres y se­r­vi­do­res ace­le­ra­dos.

Desde el punto de vista técnico, NVLink funciona como una conexión directa punto a punto con co­mu­ni­ca­ción full-dúplex, lo que permite tra­n­s­mi­tir y recibir datos al mismo tiempo. NVIDIA también describe NVLink como una in­te­r­co­ne­xión de memoria co­m­pa­r­ti­da de baja pérdida y baja latencia: una es­tru­c­tu­ra de co­mu­ni­ca­ción mediante la cual las GPU pueden acceder rá­pi­da­me­n­te a las áreas de memoria de otras GPU co­ne­c­ta­das. Las tra­n­s­fe­re­n­cias entre pares CUDA (tra­n­s­fe­re­n­cias directas de datos entre GPU dentro de la pla­ta­fo­r­ma CUDA) se enrutan au­to­má­ti­ca­me­n­te a través de NVLink en lugar de PCIe, el bus estándar habitual en se­r­vi­do­res, siempre que las GPU estén co­ne­c­ta­das fí­si­ca­me­n­te entre sí.

La evolución de NVLink y es­pe­ci­fi­ca­cio­nes técnicas

NVLink ha evo­lu­cio­na­do de forma gradual desde Pascal. Ini­cia­l­me­n­te, las mejoras se centraron en aumentar el ancho de banda por enlace; po­s­te­rio­r­me­n­te, el foco se trasladó sobre todo al in­cre­me­n­to del número de enlaces por GPU y, con ello, al aumento del ancho de banda total de co­mu­ni­ca­ción entre GPU. En la era Blackwell alcanza 1,8 TB/s por GPU, mientras que Hopper llega a 900 GB/s y la A100 alcanza 600 GB/s.

• El ancho de banda máximo por enlace (bi­di­re­c­cio­nal) indica cuántos datos puede tra­n­s­fe­rir en total si­mu­l­tá­nea­me­n­te un único enlace NVLink en ambas di­re­c­cio­nes, es decir, sumando envío y recepción.
• Los lanes SerDes por dirección indican cuántas pistas físicas de señal utiliza un enlace en cada dirección. SerDes significa “Se­ria­li­zer/Deseria­li­zer” y describe la te­c­no­lo­gía mediante la cual los flujos de datos paralelos se co­n­vie­r­ten en señales serie de alta velocidad y po­s­te­rio­r­me­n­te vuelven a co­n­ve­r­ti­r­se en datos paralelos.
• Los enlaces máximos por GPU describen cuántas co­ne­xio­nes in­di­vi­dua­les de NVLink puede ofrecer una GPU como máximo de forma si­mu­l­tá­nea. Cuanto mayor sea este valor, más capacidad tiene la GPU para in­te­grar­se en sistemas multi-GPU de gran escala.
• El ancho de banda máximo por GPU (bi­di­re­c­cio­nal) indica la tasa de tra­n­s­fe­re­n­cia teórica total de todas las co­ne­xio­nes NVLink de una GPU co­m­bi­na­das, teniendo en cuenta ambas di­re­c­cio­nes. Este valor es es­pe­cia­l­me­n­te im­po­r­ta­n­te para la es­ca­la­bi­li­dad de sistemas de IA y HPC.

NVSwitch: la columna vertebral de los sistemas multi-GPU

NVLink pro­po­r­cio­na la in­te­r­co­ne­xión directa entre GPU, mientras que NVSwitch permite ampliar estas co­ne­xio­nes mediante una ar­qui­te­c­tu­ra de co­n­mu­ta­ción (switch fabric). NVIDIA describe NVSwitch como un co­m­po­ne­n­te físico de co­n­mu­ta­ción que agrupa varios enlaces NVLink y permite la co­mu­ni­ca­ción All-to-All entre GPU con todo el ancho de banda di­s­po­ni­ble de NVLink. En los sistemas HGX y DGX basados en NVSwitch se crea así una es­tru­c­tu­ra lógica que, para muchas cargas de trabajo, funciona como una gran red de in­te­r­co­ne­xión de GPU co­m­pa­r­ti­da.

Esto resulta es­pe­cia­l­me­n­te relevante para la IA y la co­mpu­tación de alto re­n­di­mie­n­to. En el en­tre­na­mie­n­to de grandes modelos de lenguaje o en si­mu­la­cio­nes cie­n­tí­fi­cas, las tareas de cálculo se di­s­tri­bu­yen entre múltiples GPU. Para ello, es necesario in­te­r­ca­m­biar co­n­ti­nua­me­n­te re­su­l­ta­dos in­te­r­me­dios, pa­rá­me­tros del modelo y datos al­ma­ce­na­dos en memoria entre las distintas GPU. En la práctica, NVSwitch crea un conjunto de GPU es­tre­cha­me­n­te conectado que, en de­te­r­mi­na­das cargas de trabajo, puede co­m­po­r­tar­se como un único sistema de cálculo de gran tamaño.

En los sistemas DGX y HGX actuales, es decir, en los se­r­vi­do­res de IA completos de NVIDIA y en las pla­ta­fo­r­mas multi-GPU su­b­ya­ce­n­tes para centros de datos, NVSwitch es por tanto un co­m­po­ne­n­te fu­n­da­me­n­tal. Gracias a esta ar­qui­te­c­tu­ra es posible escalar los se­r­vi­do­res GPU para mantener un alto re­n­di­mie­n­to incluso con modelos de IA de gran tamaño, por ejemplo durante el en­tre­na­mie­n­to de LLM.

NVLink vs. PCIe: límites de PCIe en la co­mu­ni­ca­ción entre GPU

PCIe sigue siendo el estándar para conectar GPU con CPU, tarjetas de red (NIC) y otros co­m­po­ne­n­tes de entrada/salida. Sin embargo, para la co­mu­ni­ca­ción intensiva entre GPU, PCIe resulta cla­ra­me­n­te menos adecuado que NVLink.

Las ventajas más im­po­r­ta­n­tes de NVLink frente a una ar­qui­te­c­tu­ra centrada en PCIe son:

• Mayor ancho de banda por GPU: H100 alcanza 900 GB/s bi­di­re­c­cio­na­les mediante 18 enlaces, mientras que Blackwell llega a 1,8 TB/s. PCIe Gen5 x16 alcanza 126 GB/s bi­di­re­c­cio­na­les.
• Menores latencias y mayor pre­vi­si­bi­li­dad: NVLink utiliza co­ne­xio­nes punto a punto dedicadas con tra­n­s­mi­sión full-dúplex y evita, en la co­mu­ni­ca­ción entre GPU, muchos desvíos a través de las es­tru­c­tu­ras de host y de entrada/salida. Esto supone una ventaja es­pe­cia­l­me­n­te en cargas de trabajo con una alta necesidad de si­n­cro­ni­za­ción, como el en­tre­na­mie­n­to di­s­tri­bui­do de LLM.
• Acceso directo entre pares a la memoria de GPU remota: NVIDIA describe NVLink como un in­te­r­co­ne­c­tor de memoria co­m­pa­r­ti­da. La memoria peer puede di­re­c­cio­nar­se mediante ope­ra­cio­nes de lectura (loads), escritura (stores) y ope­ra­cio­nes atómicas, sin necesidad de tra­n­s­fe­rir primero los datos a través de la memoria del host.
• Menos desvíos a través de la CPU: CUDA enruta au­to­má­ti­ca­me­n­te las tra­n­s­fe­re­n­cias entre di­s­po­si­ti­vos co­ne­c­ta­dos mediante NVLink a través de este enlace en lugar de PCIe. Esto reduce la so­bre­ca­r­ga (overhead) y descarga la ruta de co­mu­ni­ca­ción del host.
• Mejores co­n­di­cio­nes para memory pooling y Unified Memory: NVLink no convierte au­to­má­ti­ca­me­n­te la HBM de varias GPU en una única memoria física, pero facilita el acceso rápido a la memoria de otros ace­le­ra­do­res co­ne­c­ta­dos. Esto mejora las co­n­di­cio­nes para cargas de trabajo multi-GPU que necesitan grandes volúmenes de memoria y para de­te­r­mi­na­dos patrones de acceso mediante Unified Memory.
• Escalado mediante una ar­qui­te­c­tu­ra de in­te­r­co­ne­xión con co­n­mu­ta­do­res en lugar de una ar­qui­te­c­tu­ra de E/S basada úni­ca­me­n­te en árbol: NVSwitch combina varios enlaces NVLink para permitir que todas las GPU co­ne­c­ta­das se co­mu­ni­quen entre sí (All-to-All) dentro de la red de in­te­r­co­ne­xión. PCIe no está diseñado para este tipo de in­te­r­co­ne­xión entre GPU a gran escala.

To­po­lo­gías y escalado en sistemas DGX y HGX

En los sistemas DGX y HGX, es decir, en los se­r­vi­do­res de IA completos de NVIDIA y en las pla­ta­fo­r­mas multi-GPU sobre las que se basan, la utilidad práctica de NVLink y NVSwitch resulta es­pe­cia­l­me­n­te evidente. No solo es im­po­r­ta­n­te el ancho de banda de cada conexión, sino sobre todo la topología, es decir, la forma en que las GPU están co­ne­c­ta­das entre sí dentro de un sistema in­di­vi­dual o entre varios sistemas.

Resumen de las to­po­lo­gías ha­bi­tua­les:

• Co­ne­xio­nes directas entre GPU: en los primeros sistemas con NVLink, las GPU se co­ne­c­ta­ban mediante enlaces punto a punto fijos. Esto ya aceleraba de forma si­g­ni­fi­ca­ti­va el in­te­r­ca­m­bio de datos, pero no todas las GPU podían co­mu­ni­car­se entre sí con la misma efi­cie­n­cia.
• NVSwitch dentro de un servidor: con NVSwitch se crea una red de co­ne­xio­nes co­m­pa­r­ti­da en la que varias GPU pueden in­te­r­ca­m­biar datos si­mu­l­tá­nea­me­n­te sin grandes desvíos. Esto resulta es­pe­cia­l­me­n­te im­po­r­ta­n­te para cargas de trabajo de en­tre­na­mie­n­to en las que es necesario si­n­cro­ni­zar co­n­ti­nua­me­n­te in­fo­r­ma­ción entre todas las GPU.
• Grandes dominios NVLink a nivel de rack: en los sistemas más recientes, este concepto se amplía más allá de los se­r­vi­do­res in­di­vi­dua­les. Varias unidades GPU pueden in­te­grar­se en un dominio NVLink de mayor tamaño, de modo que incluso modelos de IA muy grandes puedan pro­ce­sar­se mediante una co­mu­ni­ca­ción es­tre­cha­me­n­te acoplada.

En la práctica, esta evolución es es­pe­cia­l­me­n­te relevante porque, junto con la topología, también aumentan las po­si­bi­li­da­des de escalado. Cuanto mejor co­ne­c­ta­das estén las GPU entre sí, más sencillo resulta di­s­tri­buir modelos de gran tamaño entre numerosos ace­le­ra­do­res.