¿Quién responde por el algoritmo?

Durante los últimos años, las organizaciones sanitarias han incorporado sistemas de inteligencia artificial con una mezcla variable de entusiasmo, curiosidad, prudencia y, en ocasiones, cierta improvisación. Algoritmos diagnósticos, modelos predictivos o asistentes generativos han ido encontrando su espacio en la práctica asistencial y en la gestión cotidiana. Sin embargo, mientras la tecnología avanzaba, permanecía abierta una cuestión fundamental: quién debía responder por ella.

La reciente publicación del Proyecto de Ley Orgánica para el buen uso y la gobernanza de la inteligencia artificial desplaza la atención hacia un terreno distinto. A partir de ahora, la pregunta ya no será únicamente qué puede hacer la inteligencia artificial, sino quién responde por ella cuando entra en una organización sanitaria.

Ese desplazamiento es mucho más importante de lo que parece. Hasta ahora era posible contemplar la inteligencia artificial como una innovación más dentro del proceso de digitalización de los sistemas sanitarios. El anteproyecto obliga a mirar más allá de la capacidad técnica de los algoritmos y dirigir la atención hacia las instituciones que los incorporan, los supervisan, los explican y, llegado el caso, deben responder por sus efectos.

Esa es, probablemente, la principal consecuencia sanitaria de la norma. La inteligencia artificial deja de ser un asunto reservado a tecnólogos, proveedores, departamentos de sistemas o unidades de innovación. Entra de lleno en el terreno de la dirección, la gestión, la seguridad, la ética, la calidad asistencial y la rendición de cuentas. O dicho de otra forma, la inteligencia artificial se incorpora al gobierno de las organizaciones sanitarias.

La inteligencia artificial entra en la agenda directiva

Conviene recordar que nuestras organizaciones llevan décadas integrando innovaciones de enorme complejidad. Lo han hecho con los medicamentos de alto impacto, con las tecnologías diagnósticas, con la historia clínica electrónica, con la investigación biomédica, con la telemedicina o con la cirugía robótica. En todos esos casos, el aprendizaje ha sido parecido. La innovación solo genera valor cuando se acompaña de procedimientos, responsabilidades, evaluación y cultura organizativa. La tecnología aislada rara vez mejora una organización. En ocasiones incluso amplifica sus debilidades.

La inteligencia artificial introduce una singularidad relevante, y es que no se limita a ejecutar instrucciones previamente definidas. Participa en procesos de análisis, clasificación, predicción, recomendación y priorización. Puede contribuir a decidir qué paciente debe ser atendido antes, qué imagen merece una revisión preferente, qué riesgo clínico debe ser señalado o qué actuación parece más adecuada en un determinado contexto. Aunque la decisión final siga siendo humana, la influencia del sistema puede ser significativa.

Por eso la gobernanza no es un adorno regulatorio. Es una condición para preservar la confianza.

El anteproyecto introduce varias piezas destinadas a ordenar este nuevo escenario. Define autoridades de supervisión, régimen sancionador, espacios controlados de pruebas, inventarios de sistemas de inteligencia artificial y nuevas responsabilidades en el sector público. Para las organizaciones sanitarias, algunas de estas medidas tienen una traducción inmediata. Habrá que saber qué sistemas se utilizan, con qué finalidad, sobre qué datos operan, qué riesgos plantean, qué mecanismos de supervisión existen y quién asume la responsabilidad de su despliegue.

Puede parecer una agenda administrativa, pero sería un error interpretarla únicamente en esos términos. Un inventario permite conocer aquello que se pretende gobernar. Una evaluación de impacto obliga a examinar riesgos y consecuencias. Y la figura del delegado de inteligencia artificial sitúa la responsabilidad allí donde siempre debió estar, en la propia organización.

El riesgo, como siempre, estará en confundir cumplimiento formal con gobierno real. Las organizaciones sanitarias ya soportan una presión administrativa considerable. Si la implantación de la norma se limita a generar nuevos formularios, nuevos registros y nuevas obligaciones documentales, habremos perdido una oportunidad. Pero si se interpreta como una invitación a ordenar una tecnología que ya está entrando en la práctica sanitaria, puede convertirse en un estímulo para fortalecer la capacidad de gobierno de nuestras instituciones. La diferencia entre ambas opciones dependerá menos del texto legal que de la respuesta de las propias organizaciones.

Gobernar la confianza

En sanidad estas cuestiones adquieren una relevancia particular. Un error algorítmico puede retrasar un diagnóstico, priorizar incorrectamente un recurso o reforzar desigualdades ya existentes. Del mismo modo, una utilización adecuada puede anticipar complicaciones, reducir variabilidad clínica o liberar tiempo para la atención directa. Precisamente por esa capacidad de generar efectos muy distintos, la actuación exige algo más que entusiasmo o cautela. Exige criterio.

El anteproyecto dedica una atención específica al ámbito sanitario y sociosanitario al recordar que el despliegue de sistemas de inteligencia artificial debe preservar la dignidad de la persona, la autonomía de su voluntad, la intimidad, la seguridad del paciente, la calidad asistencial y la autonomía técnica y científica de los profesionales. La precisión técnica importa, pero resulta insuficiente para valorar una innovación sanitaria. También cuenta su capacidad para proteger los principios que orientan la atención a las personas.

Este aspecto merece una atención particular. La inteligencia artificial puede ayudar a decidir mejor, agilizar procesos y mejorar resultados. Sin embargo, su desarrollo perdería buena parte de su valor si debilitara la confianza entre pacientes, profesionales e instituciones, redujera el espacio del juicio clínico o desplazara la responsabilidad que corresponde a las organizaciones.

Quizá una de las consecuencias más relevantes de esta nueva etapa sea la necesidad de desarrollar capacidades que hasta ahora no siempre han formado parte de la cultura directiva de las organizaciones sanitarias. No bastará con adquirir herramientas o participar en proyectos piloto. Será necesario formar a profesionales y directivos, incorporar la perspectiva de los pacientes y establecer mecanismos de evaluación continuada. Porque la supervisión de la inteligencia artificial no concluye el día de su implantación. Los datos cambian, las organizaciones cambian y los sistemas evolucionan. Como ocurre con cualquier iniciativa vinculada a la calidad asistencial, los resultados deberán observarse, medirse y revisarse de forma permanente.

La publicación del anteproyecto no resuelve todos los interrogantes. Seguramente abrirá otros nuevos. Habrá debates sobre la coordinación entre autoridades, sobre la carga administrativa, sobre la capacidad real de supervisión, sobre los recursos necesarios y sobre la adaptación de estas obligaciones a la complejidad del sistema sanitario. Pero sí tiene el mérito de situar el debate en un lugar más maduro.

Durante demasiado tiempo hemos hablado de la inteligencia artificial como si su incorporación dependiera únicamente de su potencia tecnológica. El nuevo marco regulatorio desplaza la atención hacia otro lugar. La cuestión ya no es solamente qué pueden hacer los algoritmos, sino qué capacidad tienen las organizaciones para gobernarlos.

La tecnología seguirá avanzando. La regulación intentará acompañarla. Pero la responsabilidad continuará estando donde siempre estuvo, en las personas y en las organizaciones que toman decisiones en nombre de los pacientes.

Quizá ese sea el principal mensaje que deja este anteproyecto. La cuestión ya no es únicamente qué puede hacer la inteligencia artificial. La cuestión es qué capacidad tienen nuestras organizaciones para utilizarla con criterio, supervisarla con rigor y responder por sus consecuencias.