FP8, FP16, BF16 y FP32: co­m­pa­ra­ción de la precisión numérica en GPU

La precisión numérica describe con qué exactitud una GPU puede re­pre­se­n­tar y procesar valores numéricos. En el apre­n­di­za­je profundo, el formato de coma flotante utilizado (por ejemplo, FP32, FP16, BF16 o FP8) determina el equi­li­brio entre re­n­di­mie­n­to de cálculo, uso de memoria y precisión del modelo. Por ello, desempeña un papel im­po­r­ta­n­te en el re­n­di­mie­n­to y la efi­cie­n­cia de las apli­ca­cio­nes de IA.

Resumen ⓘ

Lo esencial sobre los formatos de coma flotante de un vistazo:

• Todo número en coma flotante se compone de signo, exponente y si­g­ni­fi­ca­n­do: el exponente determina el rango dinámico y el si­g­ni­fi­ca­n­do, la precisión.
• FP32 ofrece la mayor precisión y sigue siendo la re­fe­re­n­cia para la es­ta­bi­li­dad numérica, pero es el formato que más memoria y capacidad de cálculo requiere.
• FP16 reduce a la mitad el uso de memoria frente a FP32, aunque es propenso al underflow y necesita técnicas como el loss scaling.
• BF16 ofrece prá­c­ti­ca­me­n­te el rango dinámico de FP32 con la mitad de memoria y es, junto con FP16, uno de los formatos más ha­bi­tua­les en los grandes modelos de lenguaje.
• FP8 reduce todavía más el uso de memoria y la latencia, pero exige hardware co­m­pa­ti­ble y una gestión cuidadosa del escalado.
• Las GPU modernas de NVIDIA aceleran estos formatos mediante Tensor Cores: FP8 a partir de la ge­ne­ra­ción Hopper y formatos de precisión aún menor desde Blackwell.
• En la práctica, los fra­me­wo­r­ks de IA combinan varios formatos dentro de un mismo proceso (precisión mixta) para equi­li­brar efi­cie­n­cia y precisión.

¿Qué son los números en coma flotante?

Los números en coma flotante permiten re­pre­se­n­tar valores reales en un ordenador mediante un sistema similar a la notación cie­n­tí­fi­ca. En lugar de situar la coma en una posición fija, el valor se re­pre­se­n­ta mediante tres co­m­po­ne­n­tes pri­n­ci­pa­les:

• Signo
• Exponente
• Si­g­ni­fi­ca­n­do

El bit de signo determina si un número es positivo o negativo. El exponente define el rango de valores, es decir, hasta qué ma­g­ni­tu­des pueden re­pre­se­n­tar­se números muy grandes o muy pequeños. El si­g­ni­fi­ca­n­do, de­no­mi­na­do también mantisa de forma habitual, determina en gran medida la precisión con la que se re­pre­se­n­ta un valor. Cuantos más bits tenga el exponente, mayor será el rango dinámico. Cuantos más bits tenga el si­g­ni­fi­ca­n­do, mayor será la precisión con la que pueden di­s­ti­n­gui­r­se valores próximos entre sí.

Existe un co­m­pro­mi­so entre precisión y efi­cie­n­cia: una mayor precisión permite re­pre­se­n­tar los valores con más detalle, pero también requiere más memoria y recursos de cálculo. Una precisión menor, en cambio, reduce el consumo de memoria y puede acelerar las ope­ra­cio­nes, aunque aumenta el riesgo de errores de redondeo. Esto resulta es­pe­cia­l­me­n­te relevante en los modelos de apre­n­di­za­je profundo, que pueden trabajar con millones o miles de millones de pa­rá­me­tros. Según el formato, también existen valores es­pe­cia­les como NaN (“Not a Number”) o ±Inf (infinito), que pueden aparecer como resultado de de­te­r­mi­na­das ope­ra­cio­nes.

Cuando un valor es demasiado pequeño para re­pre­se­n­tar­se no­r­ma­l­me­n­te en un formato de­te­r­mi­na­do, puede pro­du­ci­r­se un underflow. En ese caso, el valor puede perder precisión, re­pre­se­n­tar­se como un número subnormal o re­do­n­dear­se a cero. En sentido contrario, se produce un overflow cuando un número supera el valor máximo que puede re­pre­se­n­tar el formato. Para combinar re­n­di­mie­n­to y es­ta­bi­li­dad, muchas cargas de trabajo de IA utilizan distintos formatos de coma flotante dentro de un mismo proceso. Este enfoque se denomina precisión mixta (mixed precision) y es habitual en el en­tre­na­mie­n­to de modelos de gran tamaño, como los LLM.

Co­m­pa­ra­ción de los formatos

La elección del formato de coma flotante influye de forma decisiva en el re­n­di­mie­n­to, el uso de memoria y la es­ta­bi­li­dad numérica. Aunque FP32 fue durante mucho tiempo el formato habitual en el apre­n­di­za­je profundo, los sistemas actuales recurren cada vez más a formatos de menor precisión. En este ámbito se utilizan es­pe­cia­l­me­n­te FP16, BF16 y, cada vez más, FP8.

FP32 (precisión simple)

FP32 es el formato clásico de precisión simple para cálculos cie­n­tí­fi­cos y durante mucho tiempo fue también el estándar en el apre­n­di­za­je profundo. Ofrece una precisión elevada y un amplio rango dinámico.

Como su nombre indica, FP32 utiliza un total de 32 bits: 1 bit para el signo, 8 bits para el exponente y 23 bits para el si­g­ni­fi­ca­n­do. Esto permite re­pre­se­n­tar valores con un amplio rango y una precisión co­n­si­de­ra­ble. Esta ca­ra­c­te­rí­s­ti­ca resulta es­pe­cia­l­me­n­te im­po­r­ta­n­te en cálculos sensibles a los errores numéricos. Sin embargo, FP32 requiere más memoria y ancho de banda que los formatos de menor precisión y, en hardware op­ti­mi­za­do para IA, puede ofrecer un re­n­di­mie­n­to inferior.

En el apre­n­di­za­je profundo moderno, es­pe­cia­l­me­n­te con modelos de gran tamaño, FP32 suele co­m­bi­nar­se con formatos de menor precisión. Puede uti­li­zar­se, por ejemplo, para de­te­r­mi­na­das ope­ra­cio­nes sensibles, acu­mu­la­cio­nes o valores que requieren una mayor es­ta­bi­li­dad numérica. Ejecutar todos los cálculos ex­clu­si­va­me­n­te en FP32 suele requerir más memoria y capacidad de cálculo, por lo que sigue siendo una re­fe­re­n­cia im­po­r­ta­n­te para evaluar la es­ta­bi­li­dad numérica, aunque ya no sea siempre la opción más eficiente.

FP16 (media precisión)

FP16 permite aumentar el re­n­di­mie­n­to y reducir el uso de memoria en co­m­pa­ra­ción con FP32. Es uno de los formatos uti­li­za­dos ha­bi­tua­l­me­n­te en el en­tre­na­mie­n­to con precisión mixta.

FP16 utiliza 16 bits: 1 bit de signo, 5 bits de exponente y 10 bits de si­g­ni­fi­ca­n­do. Por tanto, cada valor ocupa la mitad de memoria que en FP32. En GPU co­m­pa­ti­bles, las ope­ra­cio­nes FP16 también pueden eje­cu­tar­se con un re­n­di­mie­n­to muy elevado, es­pe­cia­l­me­n­te mediante Tensor Cores. Sin embargo, su rango dinámico es co­n­si­de­ra­ble­me­n­te menor que el de FP32 o BF16.

Uno de los problemas de FP16 es el underflow con valores muy pequeños, algo es­pe­cia­l­me­n­te relevante en los gra­die­n­tes durante el en­tre­na­mie­n­to. Por ello, suele emplearse una técnica de­no­mi­na­da loss scaling, que escala te­m­po­ra­l­me­n­te los valores para evitar que gra­die­n­tes demasiado pequeños se redondeen a cero. FP16 resulta adecuado para muchas redes neu­ro­na­les, pero requiere una gestión cuidadosa de la precisión numérica.

BF16 (Brain Floating Point)

El formato de coma flotante BF16 está es­pe­cia­l­me­n­te orientado a cargas de trabajo de apre­n­di­za­je au­to­má­ti­co y combina algunas ca­ra­c­te­rí­s­ti­cas de FP32 y FP16. Por ello, resulta es­pe­cia­l­me­n­te relevante para modelos de gran tamaño, como los Tra­n­s­fo­r­mer.

BF16 también utiliza 16 bits, pero los di­s­tri­bu­ye de otra forma: 1 bit de signo, 8 bits de exponente y 7 bits de si­g­ni­fi­ca­n­do. Gracias a sus 8 bits de exponente, ofrece prá­c­ti­ca­me­n­te el mismo rango dinámico que FP32, pero con una menor precisión. Al mismo tiempo, cada valor ocupa la mitad de memoria que en FP32.

La principal ventaja es que BF16 reduce co­n­si­de­ra­ble­me­n­te el riesgo de underflow y overflow en co­m­pa­ra­ción con FP16, lo que facilita su uso en el en­tre­na­mie­n­to de modelos grandes. Por este motivo, está am­plia­me­n­te di­s­po­ni­ble en fra­me­wo­r­ks y hardware moderno para IA. Su principal co­n­tra­pa­r­ti­da es que el si­g­ni­fi­ca­n­do más corto pro­po­r­cio­na menos precisión que FP16 y FP32.

FP8 (precisión ultrabaja)

FP8 es un formato de precisión reducida que se utiliza tanto para in­fe­re­n­cia como para de­te­r­mi­na­das es­tra­te­gias de en­tre­na­mie­n­to de IA. Su objetivo es reducir aún más el uso de memoria y aumentar el re­n­di­mie­n­to en hardware co­m­pa­ti­ble.

FP8 utiliza solo 8 bits y existe en distintas variantes, entre ellas E4M3 y E5M2, que di­s­tri­bu­yen de forma diferente los bits de­s­ti­na­dos al exponente y al si­g­ni­fi­ca­n­do. E4M3 ofrece mayor precisión, mientras que E5M2 pro­po­r­cio­na un rango dinámico más amplio. Las GPU modernas, como la NVIDIA H100, disponen de ace­le­ra­ción es­pe­cí­fi­ca para ope­ra­cio­nes FP8 mediante sus Tensor Cores.

FP8 puede pro­po­r­cio­nar im­po­r­ta­n­tes mejoras de re­n­di­mie­n­to y reducir el uso de memoria, es­pe­cia­l­me­n­te en modelos de gran tamaño. Sin embargo, su menor precisión y rango hacen necesario gestionar cui­da­do­sa­me­n­te el escalado de los valores. Por ello, no todas las ope­ra­cio­nes de un modelo se ejecutan ne­ce­sa­ria­me­n­te en FP8: durante el en­tre­na­mie­n­to suele co­m­bi­nar­se con formatos de mayor precisión. En sistemas actuales, FP8 se utiliza tanto para in­fe­re­n­cia como para en­tre­na­mie­n­to de baja precisión mediante técnicas es­pe­cí­fi­cas de escalado.

Co­m­pa­ra­ti­va directa de los formatos de coma flotante

FP32 y FP16 son formatos definidos por el estándar IEEE 754. BF16 y FP8 también utilizan el principio de re­pre­se­n­ta­ción en coma flotante, pero se definen por separado: BF16 es un formato derivado de FP32 y op­ti­mi­za­do para cargas de trabajo de apre­n­di­za­je au­to­má­ti­co, mientras que FP8 se utiliza en variantes como E4M3 y E5M2, definidas, entre otras es­pe­ci­fi­ca­cio­nes, en OCP OFP8.

Co­m­pa­ti­bi­li­dad de hardware

Las GPU modernas están diseñadas es­pe­cí­fi­ca­me­n­te para trabajar de forma eficiente con formatos de precisión numérica reducida. La ar­qui­te­c­tu­ra NVIDIA Ampere amplió las ca­pa­ci­da­des de los Tensor Cores con formatos como BF16 y TF32; FP16 ya estaba di­s­po­ni­ble en ge­ne­ra­cio­nes an­te­rio­res. Esto co­n­tri­bu­yó a extender el uso de la precisión mixta en el en­tre­na­mie­n­to de modelos de IA.

La ge­ne­ra­ción NVIDIA Hopper incorporó soporte es­pe­cí­fi­co para FP8 mediante su Tra­n­s­fo­r­mer Engine. Las GPU como la NVIDIA H100 pueden ejecutar ope­ra­cio­nes FP8 con un alto re­n­di­mie­n­to mediante sus Tensor Cores. La ar­qui­te­c­tu­ra Ada Lovelace también incorporó Tensor Cores de cuarta ge­ne­ra­ción con soporte para FP8. Las ge­ne­ra­cio­nes po­s­te­rio­res basadas en Blackwell mantienen co­m­pa­ti­bi­li­dad con FP8, FP16 y BF16 y añaden formatos de precisión aún menor, como FP6 y FP4.

Los Tensor Cores de­sem­pe­ñan aquí un papel fu­n­da­me­n­tal. Aceleran las ope­ra­cio­nes ma­tri­cia­les que se utilizan co­n­s­ta­n­te­me­n­te en las redes neu­ro­na­les. En hardware y ope­ra­cio­nes co­m­pa­ti­bles, los formatos de menor precisión permiten procesar más datos con menos memoria y ancho de banda y pueden aumentar co­n­si­de­ra­ble­me­n­te el re­n­di­mie­n­to.

El grado en que estas ventajas se traducen en un mayor re­n­di­mie­n­to práctico no depende solo del hardware, sino también del software. Los fra­me­wo­r­ks como PyTorch y Te­n­so­r­Flow ofrecen funciones de precisión mixta que, una vez co­n­fi­gu­ra­das, pueden se­le­c­cio­nar au­to­má­ti­ca­me­n­te una precisión adecuada para numerosas ope­ra­cio­nes.

No todas las GPU admiten ni aceleran todos los formatos por igual. Los modelos más antiguos trabajan pri­n­ci­pa­l­me­n­te con FP32 o con un conjunto más limitado de formatos, mientras que los ace­le­ra­do­res de IA modernos están op­ti­mi­za­dos para FP16, BF16, FP8 y, en las ge­ne­ra­cio­nes más recientes, pre­ci­sio­nes aún menores. En los grandes modelos de lenguaje, BF16 y FP16 son muy ha­bi­tua­les. FP8 también se utiliza cada vez más en el en­tre­na­mie­n­to: DeepSeek-V3, por ejemplo, emplea en­tre­na­mie­n­to de precisión mixta con FP8, junto con escalado de grano fino y acu­mu­la­cio­nes de mayor precisión para mantener la es­ta­bi­li­dad numérica.

Impacto en la práctica: cua­n­ti­za­ción y do­w­n­ca­s­ti­ng

En la práctica, los formatos de coma flotante de menor precisión tienen un gran impacto en la velocidad, el uso de memoria y los costes ope­ra­ti­vos de las apli­ca­cio­nes de IA. Al pasar de­te­r­mi­na­dos cálculos de FP32 a FP16 o BF16, se reduce el espacio que ocupan los datos y, en muchos casos, también el ancho de banda necesario para tra­n­s­fe­ri­r­los. Esto permite utilizar modelos más grandes o aumentar el tamaño de los lotes dentro de la memoria di­s­po­ni­ble de la GPU.

Además, el hardware op­ti­mi­za­do puede procesar formatos de menor precisión con un re­n­di­mie­n­to superior. Esto puede acortar co­n­si­de­ra­ble­me­n­te los tiempos de en­tre­na­mie­n­to e in­fe­re­n­cia, es­pe­cia­l­me­n­te en redes neu­ro­na­les con miles de millones de pa­rá­me­tros. Una técnica habitual es la co­n­ve­r­sión a una precisión menor (do­w­n­ca­s­ti­ng), que consiste en convertir datos o pa­rá­me­tros de un formato como FP32 a otro más compacto, como FP16 o BF16. De este modo, pueden reducirse el uso de memoria y las ne­ce­si­da­des de ancho de banda.

La cua­n­ti­za­ción va un paso más allá: los valores se re­pre­se­n­tan mediante un conjunto más reducido de niveles uti­li­za­n­do formatos de menor precisión, como FP8, o tipos de datos enteros como INT8 o INT4. Este pro­ce­di­mie­n­to puede reducir aún más los re­qui­si­tos de memoria y mejorar la latencia, es decir, el tiempo que tarda un sistema de IA en responder. Por ello, la cua­n­ti­za­ción desempeña un papel es­pe­cia­l­me­n­te im­po­r­ta­n­te en apli­ca­cio­nes de IA en pro­du­c­ción y en la in­fe­re­n­cia en tiempo real.

Sin embargo, siempre existe un equi­li­brio entre efi­cie­n­cia y precisión. Si la precisión se reduce demasiado, pueden aumentar los errores de redondeo o cua­n­ti­za­ción y de­te­rio­rar­se la calidad del modelo. Por este motivo, los fra­me­wo­r­ks de IA suelen combinar varios formatos dentro de un mismo proceso. Las ope­ra­cio­nes más sensibles pueden ma­n­te­ne­r­se en una precisión mayor, mientras que otras se ejecutan en FP16, BF16 o FP8.