¿Qué es la ex­plai­na­ble AI (XAI)?

La in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble (XAI, por sus siglas en inglés) se refiere a enfoques y métodos diseñados para hacer que las de­ci­sio­nes y re­su­l­ta­dos de la in­te­li­ge­n­cia ar­ti­fi­cial (IA) sean co­m­pre­n­si­bles y tra­n­s­pa­re­n­tes.

Con el aumento de la co­m­ple­ji­dad de la in­te­li­ge­n­cia ar­ti­fi­cial (IA) y los avances en el apre­n­di­za­je au­to­má­ti­co, resulta cada vez más difícil para los usuarios entender los procesos que generan los re­su­l­ta­dos de estos sistemas. Por ello, es fu­n­da­me­n­tal ga­ra­n­ti­zar el mayor nivel posible de co­m­pre­n­sión sobre las de­ci­sio­nes y re­su­l­ta­dos de las in­te­li­ge­n­cias ar­ti­fi­cia­les.

Al mismo tiempo, la in­ve­s­ti­ga­ción sigue enfocada en de­sa­rro­llar in­te­li­ge­n­cia ar­ti­fi­cial que pueda aprender de manera autónoma y resolver problemas complejos. Aquí es donde entra en juego la in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble (XAI): su objetivo es crear tra­n­s­pa­re­n­cia, para lo cual des­en­tra­ña los procesos internos de la IA y ofrece claridad sobre el fu­n­cio­na­mie­n­to de los al­go­ri­t­mos. Sin esta tra­n­s­pa­re­n­cia, es difícil es­ta­ble­cer una base de confianza en los cálculos y de­ci­sio­nes que realiza la IA.

La tra­n­s­pa­re­n­cia que pro­po­r­cio­na la XAI es crucial para fomentar la ace­p­ta­ción de la in­te­li­ge­n­cia ar­ti­fi­cial. Se buscan modelos ex­pli­ca­bles que no co­m­pro­me­tan el alto re­n­di­mie­n­to del apre­n­di­za­je au­to­má­ti­co. Esto permite a los usuarios co­m­pre­n­der mejor cómo opera la IA y evaluar los re­su­l­ta­dos con mayor precisión.

Además, la XAI facilita que futuras ge­ne­ra­cio­nes de usuarios co­m­pre­n­dan, confíen y trabajen efi­cie­n­te­me­n­te con los sistemas in­te­li­ge­n­tes. Sin esta capacidad de in­te­r­pre­ta­ción, la adopción confiable y ge­ne­ra­li­za­da de la IA sigue siendo un reto si­g­ni­fi­ca­ti­vo.

Los pri­n­ci­pa­les campos de apli­ca­ción de la XAI

La in­te­li­ge­n­cia ar­ti­fi­cial ya no es solo cosa de in­ve­s­ti­ga­do­res, más bien forma parte de nuestra vida diaria. Por eso resulta es­pe­cia­l­me­n­te im­po­r­ta­n­te acercar la mo­du­la­ri­dad de la in­te­li­ge­n­cia ar­ti­fi­cial no solo a es­pe­cia­li­s­tas o usuarios directos. El fu­n­cio­na­mie­n­to de la in­te­li­ge­n­cia ar­ti­fi­cial debería hacerse lo más co­m­pre­n­si­ble posible para los en­ca­r­ga­dos de tomar de­ci­sio­nes, para que así sea posible crear la base de la confianza en esta te­c­no­lo­gía. En este contexto, la tra­n­s­pa­re­n­cia y la re­s­po­n­sa­bi­li­dad (ac­cou­n­ta­bi­li­ty en inglés) de­sem­pe­ñan un papel fu­n­da­me­n­tal.

Entre los pri­n­ci­pa­les campos de apli­ca­ción destacan:

Co­n­du­c­ción autónoma

Existen varios proyectos que trabajan en el de­sa­rro­llo de métodos para integrar el co­no­ci­mie­n­to y la ex­pli­ca­bi­li­dad en los modelos de apre­n­di­za­je profundo para la co­n­du­c­ción autónoma. El objetivo es mejorar la efi­cie­n­cia de los datos y la tra­n­s­pa­re­n­cia de estos sistemas, au­me­n­ta­n­do así su fia­bi­li­dad y seguridad.

Dia­g­nó­s­ti­cos médicos

En el sector sanitario, la IA se utiliza cada vez más para dia­g­nó­s­ti­cos y re­co­me­n­da­cio­nes de tra­ta­mie­n­to, por ejemplo, en oncología, donde ayuda a detectar patrones in­di­ca­ti­vos de cáncer en muestras de tejido. El proyecto Clinical Ar­ti­fi­cial In­te­lli­ge­n­ce del Else Kröner Fresenius Zentrum para la Salud Digital trabaja en este campo. La in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble (XAI) permite co­m­pre­n­der las de­ci­sio­nes de una in­te­li­ge­n­cia ar­ti­fi­cial, como por qué se dia­g­no­s­ti­ca una en­fe­r­me­dad o se propone un tra­ta­mie­n­to es­pe­cí­fi­co. Esto resulta fu­n­da­me­n­tal para fo­r­ta­le­cer la confianza tanto de los pacientes como del personal médico en los sistemas im­pu­l­sa­dos por IA.

Sector fi­na­n­cie­ro

En el ámbito fi­na­n­cie­ro, la IA se utiliza para tareas como de­ci­sio­nes de crédito, detección de fraudes y eva­lua­ción de riesgos. La in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble (XAI) permite desglosar y co­m­pre­n­der la base de estas de­ci­sio­nes, ga­ra­n­ti­za­n­do que sean éticas y le­ga­l­me­n­te ju­s­ti­fi­ca­bles. Esto facilita que las personas afectadas y las au­to­ri­da­des re­gu­la­to­rias puedan entender por qué se aprobó o denegó un crédito, au­me­n­ta­n­do la tra­n­s­pa­re­n­cia y la confianza.

Gestión em­pre­sa­rial y toma de de­ci­sio­nes

Para los líderes em­pre­sa­ria­les, co­m­pre­n­der cómo funcionan los sistemas de IA uti­li­za­dos en de­ci­sio­nes es­tra­té­gi­cas y pre­vi­sio­nes es fu­n­da­me­n­tal. La XAI pro­po­r­cio­na he­rra­mie­n­tas para analizar los al­go­ri­t­mos y evaluar sus re­su­l­ta­dos de manera fu­n­da­me­n­ta­da, lo que refuerza la toma de de­ci­sio­nes basada en datos y reduce el riesgo de errores.

Ima­ge­no­lo­gía de redes neu­ro­na­les

La in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble también se aplica en la ima­ge­no­lo­gía de redes neu­ro­na­les, en pa­r­ti­cu­lar en el análisis de imágenes mediante IA. Este campo se centra en co­m­pre­n­der cómo las redes neu­ro­na­les procesan e in­te­r­pre­tan in­fo­r­ma­ción visual. Sus apli­ca­cio­nes incluyen:

• Medicina: análisis de ra­dio­gra­fías, re­so­na­n­cias ma­g­né­ti­cas (MRT) o to­mo­gra­fías co­mpu­tari­za­das para detectar pa­to­lo­gías.
• Te­c­no­lo­gías de seguridad: op­ti­mi­za­ción de sistemas de vi­deo­vi­gi­la­n­cia.

La XAI desempeña un papel crucial al des­en­tra­ñar cómo los sistemas toman de­ci­sio­nes basadas en ca­ra­c­te­rí­s­ti­cas visuales. Esto resulta es­pe­cia­l­me­n­te im­po­r­ta­n­te en apli­ca­cio­nes críticas o éti­ca­me­n­te sensibles, donde in­te­r­pre­ta­cio­nes in­co­rre­c­tas podrían tener co­n­se­cue­n­cias graves.

En­tre­na­mie­n­to de es­tra­te­gias militares

En el ámbito militar, la IA se utiliza para de­sa­rro­llar es­tra­te­gias en de­ci­sio­nes tácticas y si­mu­la­cio­nes. La in­te­li­ge­n­cia ar­ti­fi­cial ex­pli­ca­ble (XAI) desempeña un papel crucial al permitir explicar por qué se re­co­mie­n­dan ciertas medidas tácticas o cómo la in­te­li­ge­n­cia ar­ti­fi­cial prioriza distintos es­ce­na­rios.

¿Qué métodos engloba la ex­plai­na­ble AI?

Existen diversos métodos y pla­n­tea­mie­n­tos para promover la tra­n­s­pa­re­n­cia y co­m­pre­n­sión de la in­te­li­ge­n­cia ar­ti­fi­cial. En los si­guie­n­tes apartados, hemos resumido los más im­po­r­ta­n­tes:

La Layer-wise Relevance Pro­pa­ga­tion (LRP), la difusión exitosa de si­g­ni­fi­ca­dos capa a capa, se describió por primera vez en 2015. Se trata de una técnica para de­te­r­mi­nar las ca­ra­c­te­rí­s­ti­cas de los vectores de entrada que más aportan a los re­su­l­ta­dos de una red neuronal.

El Coun­te­r­fa­c­tual Method o método co­n­tra­fa­c­tual describe cómo el input de datos (textos, imágenes, diagramas, etc.) puede alterarse con un fin concreto una vez obtenido un resultado, para después observar hasta qué punto ha supuesto la al­te­ra­ción de dicho resultado.

El Local In­te­r­pre­ta­ble Model-Agnostic Ex­pla­na­tio­ns (LIME) es un modelo de ex­pli­ca­ción con un propósito holístico, que aspira a poder explicar cada cla­si­fi­ca­dor au­to­má­ti­co y el co­n­si­guie­n­te pro­nó­s­ti­co derivado de este. De esta forma, deben hacerse co­m­pre­n­si­bles los datos y los pro­ce­di­mie­n­tos para los usuarios no duchos en la materia.

La ra­cio­na­li­za­ción es un método que se emplea co­n­cre­ta­me­n­te con los robots basados en in­te­li­ge­n­cia ar­ti­fi­cial. Así, la máquina se diseña de tal forma que ella misma puede explicar sus acciones.

¿Cuál es la di­fe­re­n­cia entre Ex­plai­na­ble AI y Ge­ne­ra­ti­ve AI?

La Ex­plai­na­ble AI (XAI) y la Ge­ne­ra­ti­ve AI (GAI) se di­s­ti­n­guen pri­n­ci­pa­l­me­n­te por su enfoque y propósito:

• La XAI se centra en hacer que los procesos de toma de de­ci­sio­nes de los modelos de IA sean co­m­pre­n­si­bles y tra­n­s­pa­re­n­tes. Esto se logra mediante métodos como vi­sua­li­za­cio­nes, sistemas basados en reglas o he­rra­mie­n­tas como LIME y SHAP. La prioridad de XAI es la tra­n­s­pa­re­n­cia, es­pe­cia­l­me­n­te en áreas críticas donde la confianza y la tra­za­bi­li­dad son ese­n­cia­les.

• Por otro lado, la IA ge­ne­ra­ti­va (Ge­ne­ra­ti­ve AI en inglés) se enfoca en la creación de nuevos co­n­te­ni­dos, como textos, imágenes, música o vídeos. Utiliza redes neu­ro­na­les como las redes ge­ne­ra­ti­vas an­ta­gó­ni­cas (Ge­ne­ra­ti­ve Ad­ve­r­sa­rial Networks (GANs)) o modelos Tra­n­s­fo­r­mer para generar re­su­l­ta­dos creativos que simulan procesos humanos, como el pe­n­sa­mie­n­to o la creación artística. Ejemplos de GAI incluyen ge­ne­ra­do­res de texto como GPT o creadores de imágenes como DALL-E, con apli­ca­cio­nes de­s­ta­ca­das en el arte, el en­tre­te­ni­mie­n­to y la pro­du­c­ción de co­n­te­ni­dos.

Mientras que el propósito de la XAI es explicar modelos de IA exi­s­te­n­tes, el de la GAI es generar co­n­te­ni­dos in­no­va­do­res. Sin embargo, ambos enfoques pueden co­m­ple­me­n­tar­se: por ejemplo, los modelos ge­ne­ra­ti­vos pueden ex­pli­car­se mediante XAI para ga­ra­n­ti­zar que sus re­su­l­ta­dos sean éticos, tra­n­s­pa­re­n­tes y co­n­fia­bles.

En conjunto, tanto la XAI como la GAI promueven la tra­n­s­pa­re­n­cia y la in­no­va­ción en el ámbito de la in­te­li­ge­n­cia ar­ti­fi­cial para crear un equi­li­brio entre crea­ti­vi­dad y confianza.