Qué pasa con la protección de datos en Sermas GPT, la IA generativa de Madrid para enfermedades raras

Microsoft y una fundación privada han modificado el sistema informático de salud madrileño para integrar Sermas GPT sin que sepamos qué cambios se han hecho o quién tiene acceso a los datos de las historias clínicas.

Sermas GPT, la herramienta de inteligencia artificial generativa que usan los médicos de la Comunidad de Madrid (CAM) para detectar enfermedades raras metiendo datos del paciente ha sido enviada para su validación por parte del Comité de Ética Asistencial de la comunidad, a pesar de que sus responsables insisten en que no es necesaria esta validación por su carácter experimental. Desde la dirección de Salud Digital se apoyan en el protocolo de intenciones firmado por la CAM, Microsoft y Fundación 29 [PDF], que no es un convenio ni un contrato y donde no hay responsables ni tareas definidas para validar esta implementación en el sistema de salud pública.

Los expertos coinciden en que es difícil saber qué pasa con los datos personales en Sermas GPT, más allá de las buenas intenciones de las partes, si no podemos comprobar cómo funciona el sistema. Les resulta curioso que no se haya presentado documentación que explique qué tareas se han ejecutado en el sistema informático de las historias clínicas que utilizan los médicos. 

La protección de los datos en Sermas GPT 

“Antes de poder realizar cualquier consulta, se avisa al profesional médico que Sermas GPT es una herramienta experimental, y que en las consultas o búsquedas nunca puede utilizar datos personales ni información confidencial, sólo datos genéricos y anónimos”, ha dicho Nuria Ruiz, directora de Salud Digital, ante las preguntas de Más Madrid, en la sesión de la Comisión de Digitalización de la Asamblea de Madrid el 19 de marzo. Esto es cierto. Cuando el médico se dispone a usar la herramienta, le aparece una pantalla con esa advertencia, como hemos podido comprobar en unas capturas de pantalla a las que hemos tenido acceso. Pero un cartel no parece suficiente para garantizar la seguridad de esos datos. 

Según Sergio Carrasco, abogado experto en privacidad, aunque se trate de un período de tiempo corto, que es una de las alegaciones que suelen hacerse con estos sistemas, existe un tratamiento de datos sujeto al Reglamento General de Protección de Datos (RGPD), que debe cumplir con los principios básicos de información y minimización. Minimización no significa sólo decirle al médico que no introduzca datos personales, sino aplicar medidas técnicas y organizativas para garantizar que sean objeto de tratamiento los datos que únicamente sean precisos para los fines de Sermas GPT. Según la Fundación 29, se han hecho algunos cambios en el sistema por “seguridad” pero ni ellos ni la Consejería de Digitalización han querido dar a Newtral.es más detalles sobre esos ajustes.  

¿Qué tipo de información tienen que meter los médicos en Sermas GPT para obtener un diagnóstico? Síntomas y datos que ayuden a identificar una enfermedad. La información que un paciente le da a su médico es considerada información confidencial, y se trata de información relativa a la salud, respecto de la cual el RGPD establece un régimen especial y reforzado de protección. Carrasco cree que ante la implantación de este sistema en la Sanidad madrileña, “un caso tan sensible como este, es posible que debiera acudirse” a una evaluación de impacto previa, contemplada por el RGPD en su artículo 35. 

Tampoco nos consta que esta evaluación haya sido realizada. En el protocolo firmado entre la CAM, Microsoft y la F29 hay una cláusula que dice que Microsoft puede evaluar los casos de uso según su programa de uso responsable de la IA, pero no se hace referencia a ninguna evaluación propia de la administración pública. Esa cláusula no resulta suficiente para Sermas GPT, según Carrasco, cuando se trata del tratamiento de datos tan sensibles como los relativos a salud. “Es necesario conocer el potencial impacto que puede tener así como las medidas mitigadoras con las que se cuenta”, indica.

Cómo funciona Sermas GPT con los datos

Ruiz, de la dirección de Salud Pública, ha dicho en la Asamblea de Madrid que Sermas GPT “no está integrada en la historia clínica, se accede desde fuera, no tiene acceso a ningún tipo de datos del paciente”. Pero Julián Isla, director de la Fundación 29, nos explicó que Sermas GPT ha sido integrada por ellos dentro del entorno del sistema de información médica de la CAM, adaptando su interfaz. Hemos podido comprobar que en el instructivo que Sermas envió a los médicos al integrar la herramienta, las capturas muestran un botón con el que se accede a esta funcionalidad desde dentro del programa de la CAM.

En esos pantallazos también se puede ver que el sistema muestra la historia clínica del paciente. Si estos datos son accesibles por el sistema de Sermas GPT o se comunican de alguna manera a los servidores de Microsoft es algo que no podemos saber, al no haber documentación ni respuestas por parte de las partes sobre cómo ha sido esa integración. Esto ha sido solicitado tanto por Newtral.es hace semanas como por la diputada Marta Carmona en la Asamblea de Madrid, sin resultado.

Arturo Villacañas es investigador en seguridad de la IA en la Universidad de Cambridge y dice que hay muchas cosas que le resulta complicado entender en Sermas GPT, en el que ve fundamente un problema de seguridad y de sesgos.

“En general sabemos que GPT-4 tiene muchos sesgos y son profundos”, dice, y cita una investigación sobre este y otros grandes modelos de lenguaje (LLM) que revela que estas tecnologías conllevan un sesgo profundamente arraigado contra varios grupos sociodemográficos bajo un barniz de equidad y de imparcialidad. Los investigadores advierten sobre la práctica en alza de asignar personas (como por ejemplo, pedirle que responda como un médico) a los LLM, lo que puede hacer aflorar sus prejuicios más arraigados y tener efectos secundarios imprevisibles y perjudiciales. 

Seguridad y privacidad en (Sermas) GPT

“El problema que yo veo aquí fundamentalmente es un problema de safety (seguridad en inglés, conseguir que el modelo tenga un comportamiento adecuado), porque las mismas políticas de alineamiento que tiene GPT de base se están migrando a la CAM, no se ha hecho un modelo con un alineamiento adecuado para la CAM, o para las necesidades médicas”, dice este experto. Considera que nadie de su rama debería meterse a opinar si esto es arriesgado o útil para la población, ya que es algo que se debería evaluar con un conjunto diverso de personas, entre ellas, los médicos. 

Los problemas de seguridad de un sistema como Sermas GPT están relacionados con otros, como los de privacidad de los datos de ese sistema, señala Villacañas. El Mahdi El Mhamdi es un investigador de seguridad premiado que trabajó en Google y actualmente da clases en la École Polytechnique de Francia. Ha dejado claro en su investigación que es imposible hacer este tipo de tecnología segura. Concluye que lamentablemente, los estudios existentes muestran que los LLM son “inherentemente vulnerables a los ataques relativos a la privacidad y el envenenamiento” (poisoning attacks, relacionados contra la seguridad de ese sistema).

Además de la falta de validación por un comité médico que ha revelado Newtral, no encontramos pruebas o testimonios de que Sermas GPT haya pasado tampoco por una evaluación independiente en cuanto a protección de datos. El Comité Delegado de Protección de Datos de la Consejería de Sanidad de la CAM no ha contestado las preguntas de Newtral.es a la fecha de publicación de este reportaje. 

El protocolo no es suficiente

“[Sermas GPT] sí se ha sometido a validación”, ha dicho Ruiz en la Asamblea de Madrid, explicando que ella personalmente ha enviado esta herramienta al Comité de Ética Asistencial de la CAM para su evaluación, y que están pendientes de su dictamen. También ha dicho que no se implantará en atención primaria sin un informe positivo. 

Sin embargo, según la Fundación 29, el Sermas y varios médicos de atención primaria consultados por Newtral, Sermas GPT ya está implementado en el sistema informático de los médicos madrileños y estos están pudiendo meter datos de sus pacientes desde hace meses. ¿Por qué no se ha pedido esta evaluación antes? Ruiz ha respondido a esta pregunta de Más Madrid: “Este es un proyecto piloto donde no se introducen datos de ningún paciente y donde no hay integración con la historia clínica, por lo tanto no ha sido necesario iniciarlo con el Comité de Ética Asistencial”. 

“Aunque sea un proyecto experimental, un protocolo no es suficiente”, dice Silvia Diez, experta en derecho administrativo, que dice que si hay un desarrollo y han participado privados, tiene que haber una base jurídica, es decir un documento de la administración que defina la ejecución, tareas y responsabilidades a las partes. En la regla de oro de la Administración de que tiene que quedar un expediente de todo lo que se hace, Diez indica que incluso si fuera experimental, sí que hay reglas de publicidad y transparencia. 

Los proyectos piloto también necesitan base jurídica

“A mí me llama mucho la atención que con un acuerdo protocolo de intenciones que ni siquiera tiene la categoría de convenio de colaboración de la ley 40/2015 se pueda estar llevando a cabo nada”, señala Diez, que se muestra cauta y admite la posibilidad de que exista documentación que no se ha publicado o no nos han enviado. “Lo que yo digo es que no puede haber una app o herramienta que se esté implementando en el sector público sin apoyo jurídico, y a partir de ahí que me digan cuál es”. Newtral.es ha pedido esta documentación, contrato o convenio, al Sermas, sin recibir respuesta desde hace semanas. 

En un reportaje anterior sobre este tema, otro experto en derecho administrativo, José María Gimeno Feliú definía a Sermas GPT “como un sandbox”. Diez considera que para que lo sea tiene que estar determinado como tal en la documentación.

Hay técnicas en la administración para hacer cosas innovadoras: para hacer proyectos piloto, la ley de contratos tiene fórmulas como la compra pública precomercial, o la asociación para la innovación.

Lo que sucede es que si la Administración quiere hacer un convenio de colaboración con un privado, tiene que estar fuera de su ámbito de vocación de mercado. “Por que si no, ¿por qué lo haces con Microsoft y no con otro? Porque si aquí se va a hacer una app o algo que esté dentro de la vocación de mercado de Microsoft de la que luego se pueda beneficiar, desde mi punto de vista sería muy discutible que eso se pueda articular por un convenio. A no ser que hagas convenios con muchos más”, reflexiona Diez.

Fuente: Newtral