127

Revista de Ciencias Sociales - Número 88 (2026) - Universidad de Valparaíso - ISSN 0719-8442 - Valparaíso, Chile

La incertidumbre causal en la responsabilidad por actuaciones de la Inteligencia Artificial

asegurarnos de cómo de robusto era el resultado. Concretamente, usamos una herramienta conocida como mapa de calor, que permitía ver en qué zona de la imagen se estaba fijando más el algoritmo para tomar la decisión. Nos sorprendió ver que, en muchas de las fotografías, estaba decidiendo funda-mentalmente basándose en la zona de la clavícula. Incluso, en algunos casos, ni siquiera se fijaba en nada que estuviera en la zona del pulmón, aunque hubiera condensaciones claramente visibles para el ojo no experto.

Tras inspeccionar junto con los médicos todas las imágenes, llegamos a una conclusión clara: el algoritmo había aprendido que un paciente que se hacía la radiografía encogido de hombros (seguramente porque le costaba respirar) era un paciente enfermo de neumonía. Esta observación del algoritmo tiene sentido, pero es evidente que no queremos que se fije en la posición de los hombros para sacar una conclusión sobre la posible neumonía del paciente.

En este caso el sistema era suficientemente transparente como para poder entender cómo llegó al resultado de salida. Supongamos que en un caso como el descrito por las autoras, el errado diagnóstico hubiese causado daños en un paciente, y supongamos además que - como la gran mayoría de los sistemas de aprendizaje automático basado en redes neuronales profun-das 20 – el sistema de IA era un sistema opaco o con baja interpretabilidad. En tal caso, no podríamos saber si el diagnóstico erróneo de la IA proviene de un defecto, por ejemplo, en su diseño; de datos incorrectos que le fueron proporcionados en la etapa de entrenamiento, o simplemente se trata de algo que aprendió por sí solo el sistema dada su autonomía, lo que eviden-temente traerá repercusiones en materia de responsabilidad pues dificultará establecer el nexo causal.

20 Vid. YAMPOLSKIY (2024), p. 22. Según el autor, tratándose de sistemas expertos, los que frecuentemente se basan en árboles de decisión, que son modelos perfectos del proceso de toma de decisión de los humanos, estos resultan naturalmente comprensibles tanto para los desarrolladores como para los usuarios finales. En cambio, tratándose de sistemas de apren-dizaje automático basados en redes neuronales profundas, se sacrificó esa facilidad natural de comprensión. Los sistemas actuales son considerados como cajas negras, opacos para la comprensión humana pero extremadamente capaces, tanto en términos de resultados como en el aprendizaje de nuevos dominios. Traducción propia.