Médicos falsos de IA: el peligro que EEUU juzga y que Europa puede frenar

El estado de Pensilvania ha llevado a los tribunales a la empresa Character Technologies por permitir que sus avatares asuman ilegalmente el rol de médicos y de psiquiatras. Este pleito abre el debate sobre la responsabilidad civil de los algoritmos en la sanidad e ilustra la brecha frente a Europa, donde el estricto marco legal bloquea la automatización clínica sin supervisión humana.

Tal y como recoge la agencia Associated Press, la oficina del gobernador Josh Shapiro interpuso la querella tras descubrir que los asistentes conversacionales de Character.AI emitían valoraciones clínicas. Un investigador estatal detectó perfiles que garantizaban atención psiquiátrica amparándose en supuestas licencias médicas. Las autoridades americanas exigen ahora el cese inmediato de estas prácticas. "Los ciudadanos merecen saber con qué interactúan, especialmente cuando se trata de su salud", sentencia el gobernador. La compañía desarrolladora ha argumentado que sus términos de uso advierten de la naturaleza ficticia de los personajes. 

Experimento salvadoreño

Y es que, la actual desregulación en el continente americano favorece escenarios de sustitución profesional como el que se ha denunciado. El Gobierno de El Salvador anunció a principios del mes de abril que delegaba el triaje de su sistema público de salud a la plataforma Dr. SV. Esta herramienta, gestionada por la inteligencia artificial de Google, decide de forma autónoma la derivación de pacientes y el seguimiento de crónicos. El acuerdo gubernamental implica ceder el historial clínico de toda la población a una corporación extranjera bajo la vigilancia de un comité de ética de composición anónima.

Por el contrario, la importación de estos modelos a España resulta inviable bajo el ordenamiento jurídico actual. Tal y como explicaba Federico de Montalvo, expresidente del Comité de Bioética de España, a Redacción Médica la normativa comunitaria califica el triaje algorítmico como una tecnología de alto riesgo. La reciente Ley de Inteligencia Artificial y el Reglamento General de Protección de Datos (RGPD) levantan un muro frente a la automatización descontrolada. Cualquier intento de replicar el esquema de la empresa estadounidense o el salvadoreño chocaría con la exigencia innegociable de mantener auditorías constantes y garantizar la intervención de un facultativo. Los chatbots que operan hoy en Europa incorporan alertas previas obligatorias para advertir al usuario de que la máquina ofrece orientación, pero nunca sustituye la consulta con un profesional sanitario colegiado.

Peligro algorítmico

Bajo esta premisa, el proceso diagnóstico trasciende la mera suma de datos estadísticos. La Medicina exige interpretar el contexto vital del paciente para detectar síntomas ocultos. "Delegar esta función exclusiva en una máquina constituye un riesgo inasumible para la administración", recuerda. Montalvo subraya que, ante un fallo del algoritmo que provoque la muerte o el agravamiento de un enfermo, la responsabilidad legal recaería de lleno en el Estado. "El sistema de IA puede ser un instrumento auxiliar muy importante, pero garantizando tanto la supervisión como el mínimo contacto humano", matiza el catedrático.

La tecnología impone una reconfiguración de la asistencia sanitaria, pero la exclusión del médico penaliza directamente a las poblaciones vulnerables frente a la pantalla. El reto técnico y ético consiste en integrar el software en los hospitales, no en vaciar las consultas. "Digitalizar plenamente la relación supone ofrecer una peor asistencia al paciente; supone hacerle daño o no evitar que sufra daño", concluye Montalvo.