Auditar la IA sanitaria: "Requiere alfabetización y entrenamiento"

Las profesiones sanitarias se van adaptando a los cambios tecnológicos con el paso del tiempo. El que define al momento presente es la irrupción de la Inteligencia Artificial (IA) tanto en el día a día de los pacientes que acuden a consulta, como en el propio trabajo de los médicos. Ante este cambio de paradigma, la Organización Médica Colegial (OMC) ha publicado el Manual de Buenas Prácticas para la Inteligencia Artificial en Medicina, donde Julio Mayol, catedrático de Cirugía de la Universidad Complutense de Madrid, y director científico del Instituto de Investigación Sanitaria San Carlos, menciona la relevancia de auditar los programas de IA que se implementan en los hospitales. Con esto se refiere a comprobar si después de un determinado tiempo de uso, el algoritmo sigue comportándose con los mismos parámetros que tenía cuando se compró y se instaló.

“Normalmente son semestrales y afectan fundamentalmente al machine learning. Requiere un examen técnico y lo que hay que ver es que cumplen todos los requisitos con los que se aprueba la utilización de una IA de este tipo en el sistema sanitario”, explica a Redacción Médica. Entre las cosas que se busca verificar en una auditoría de este tipo está verificar la calidad de los datos y los resultados, es decir, ver si representan a la población en la que se utiliza la tecnología en cuestión, además de asegurarse de que cumple con la normativa vigente. La explicabilidad, el nivel de transparencia y la trazabilidad de las decisiones automatizadas suponen otro factor determinante pues, como indica Mayol, “se comporta como una caja negra que puede modificar su rendimiento y su seguridad”.

Algo principal es que el funcionamiento debe ser robusto ante los fallos: “La ciberseguridad es crítica porque estos sistemas pueden ser atacados y manipulados”. Aparte, pone sobre la mesa otro elemento: la garantía de control humano o human in the loop.

Diferencias de funcionamiento entre hospitales

En este contexto, un algoritmo que funciona bien en un ensayo clínico puede fallar al trasladarse a la práctica clínica de un hospital. Mayol indica que estos, académicamente, “funcionan muy bien”, pero, de no tener una validación externa, puede pasar que el rendimiento no sea el mismo. “Puede ocurrir que lo que funciona muy bien en un hospital A funcione mucho menos bien, incluso peor, en el hospital B. Y dentro del propio hospital, con el paso de tiempo, puede deteriorarse también su funcionamiento”, expresa. El motivo de que ocurra esto es porque hay una modificación en el funcionamiento de la máquina o porque cambia la práctica clínica en la organización, haciendo que los datos con los que se pone en marcha no sean los originales.

Para mantener unas garantías en estas herramientas de IA, la gobernanza es clave. “Primero, tiene que tener sentido desde el punto de vista asistencial que resuelva un problema. Segundo, desde el punto de vista de sistemas de información y cómo funcionan técnicamente, pero además tiene que haber una supervisión por encima”, analiza, refiriéndose a la labor de las consejerías de Transformación Digital. “Hay que garantizar la privacidad de los datos, ya que no es lo mismo cuando se pone el algoritmo en explotación y se van a tomar decisiones directas con los pacientes”, estima.

La necesidad de una alfabetización de los profesionales sanitarios

La introducción de toda herramienta conlleva un proceso de adaptación a nivel profesional. Y los médicos, que cuentan con una situación de saturación en el sistema sanitario, al añadirse otra tarea a su lista, pueden sentir una especie de fatiga o desgaste. Para evitarlo, Mayol alega que esto “requiere alfabetización primero y entrenamiento después”. Aunque esto sienta los cimientos, admite que aún el Sistema Nacional de Salud (SNS) no está en ese punto, ya que la cuestión se encuentra en una fase preliminar. “Hay que diseñar muy bien el por qué y el para qué queremos la IA. No hay nada que fatigue más que introducir herramientas que no responden adecuadamente al propósito de los profesionales”, sostiene el director científico del Instituto de Investigación Sanitaria San Carlos.

A este respecto, el especialista marca un reto para el SNS: medir bien los resultados. “Nuestro sistema no lo hace. Entonces vamos a tener que cambiar algunas métricas y procesos asistenciales para saber exactamente qué es lo que estamos obteniendo, porque si no se termina convirtiendo en una profecía autocumplida”, advierte. Para ello, la base es definir cuál es el resultado que se quiere obtener y que los humanos se impliquen en las auditorías para garantizar la coherencia.