Reglamento de IA
El 13 de marzo de 2024, el Parlamento Europeo ha aprobado el Reglamento de Inteligencia Artificial (RIA)
Regula el desarrollo y uso de la IA en la UE, clasificando los sistemas según su riesgo y estableciendo requisitos de seguridad y ética.
Objetivos que persigue:
- Seguridad y Protección.
- Transparencia y Responsabilidad.
- Innovación y Competitividad.
Aunque el reglamento ha generado mucha controversia, tanto dentro como fuera de la EU. Con voces que se muestran a favor, por el impacto sobre la protección de los datos, como en contra, porque lo consideran un freno al desarrollo de la IA dentro de la propia EU. La realidad es que es una norma que empieza a andar y que se tendrá que ir amoldando a las necesidades de la propia EU. Es pronto para asegurar su éxito o fracaso, más teniendo en cuenta que dentro de la EU no existen empresas relevantes de IA y siendo un mercado de datos tan atractivo para otras regiones, es importante establecer unas reglas del juego, que garanticen unos controles mínimos sobre el uso de los modelos de IA.
Clasificación de la RIA
Se establece la siguiente clasificación dentro del reglamento RIA, para establecer unos niveles en función del riesgo que tienen los sistemas de IA. Como se muestra en la siguiente tabla, estos riesgos van desde aquellos sistemas basados en Ia que no representan un riesgo para los usuarios, por no trabajar con datos relacionados con la salud, la seguridad o los derechos fundamentales.
Hasta el máximo nivel, que son aquellos sistemas que están prohibidos expresamente por el reglamento. Estos sistemas son los que pueden poner en riesgo los derechos fundamentales de las personas.
En función de la clasificación que corresponda a nuestras solución, el reglamento define una serie de obligaciones, que debemos tener muy en cuenta si queremos cumplir con el regulador y no tener que enfrentarnos a sanciones dentro de la EU.
Sistemas de Riesgo Alto
Vamos a centrarnos en los sistema de Riesgo Alto, por ser los que mayor problemas pueden presentar a la hora de trabajar dentro de la EU. Ya que todos aquellos que sean catalogados como de Riesgo inaceptable, tienen prohibido expresamente poder operar con datos de ciudadanos de la EU.
Los sistemas de Riesgo Alto son todos aquellos sistemas que afectan a la siguiente lista.
Como se puede observar en el cuadro anterior, son sistemas que van desde la identificación biométrica, la gestión de infraestructuras o los servicios relacionados con la Justicia. Es importante entender que el reglamento establece una serie de obligaciones, para todas aquellas soluciones basadas en IA que trabajen con este tipo de sistemas de información, por considerar que pueden afectar a datos de carácter personal, e impactar de manera negativa sobre derechos fundamentales de las personas.
Un ejemplo, sería la selección de personal, si los modelos de IA utilizados para los procesos de selección, no son entrenados correctamente, pueden contener sesgos que generen una toma de decisión, en la que cierto patrón de personas queden excluidas, por raza, géneros o edad.
Exigencias para los sistemas de Riesgo Alto
Para todos los sistemas anteriores, la RIA define una serie de exigencias que deben cumplir, para que puedan operar con datos de ciudadanos de la EU.
Obligaciones de los actores
La RIA impone una serie de obligaciones, no solo a los sistemas de información que se desarrollen, también a los actores que participan. Las principales obligaciones para los proveedores y los usuarios son:
- Los proveedores:
- Cumplirán los requisitos y superarán las pruebas de conformidad.
- Contarán con un sistema de gestión de calidad.
- Custodiarán los registros del sistema.
- Colaborarán con las autoridades notificando los incumplimientos y riesgos que detecten.
- Los usuarios:
- Labores de supervisión humana.
- Monitorizar los sistemas.
- Gestión de los datos y privacidad.
- Cooperarán con las autoridades.
Principales riesgos de la tecnología de IA
El reglamento RIA pretende ser la base sobre la que poder construir un modelo de uso y gobernanza de los sistemas basados en IA, que sean seguros y confiables. Intentando poner trabas a aquellas empresas que intenten hacer un uso fraudulento de la IA. Porque, aunque los beneficios de la IA están fuera de toda discusión, debemos ser conscientes, de que existen una serie de riesgos, los cuales nos afectan como usuarios. Estos riesgos, no se deben tomar a la ligera, pensando que un modelo de fallo y error es mejor que no tener modelo, ya que la tecnología de IA presenta una serie de características que son nuevas para nosotros, en cuanto a la gestión de la información.
La principal diferencia con los sistemas de información tradicionales, es que en estos últimos, el proveedor del sistema, tenía control sobre los datos y la manipulación que se hace de los datos, por parte del software. Pero en los sistemas de información basados en IA, este control se diluye y no existe un control real sobre cómo el modelo de IA está utilizando los datos.
Este cambio sobre la forma en la que el dato es gestionado, tiene un impacto tremendo sobre conceptos como la privacidad de los datos, el permisionado o la trazabilidad. Conceptos que hasta ahora, en sistemas de información tradicionales, estaban perfectamente claros. El problema con la IA, es que se puede entrenar con datos y su comportamiento puede ser alterado con el tiempo, sin que el creador y el usuario, tengan noción sobre esta alteración.
Los principales riesgos a los que nos enfrentamos al construir o usar sistemas basados en IA son:
- Discriminación y sesgos.
- Falta de Transparencia y Explicabilidad.
- Impacto en los derechos fundamentales de las personas.
- Falta de criterio y dependencia ciega del sistema.
- Problemas de privacidad y cumplimiento.
- Seguridad y vulnerabilidades.
- Dilemas éticos sobre la toma de decisión.
- Vigilancia y scoring masivo de personas.
- El problema de los sofismas y falacias.
Convergencia IA + Blockchain
La tecnología Blockchain se está convirtiendo en una perfecta aliada para reducir los riesgos, a los que se enfrentan los proveedores de servicios y los usuarios de las soluciones basadas en IA. Existen cuatro áreas de convergencia entre ambas tecnologías, que pueden ayudar a incrementar la confianza y fiabilidad de las soluciones basadas en IA.
En Kolokium participamos en varios proyectos, en los que estamos desplegando tecnología blockchain, para incrementar la confianza y la seguridad, de soluciones basadas en IA. El enfoque principal es utilizar la tecnología blockchain como base, sobre la que desplegar procesos de trazabilidad y certificación de las operaciones sobre la infraestructura de IA, permitiendo incrementar la seguridad de los datos utilizados por la IA.
Otro aspecto importante en el que estamos trabajando en Kolokium, es el fortalecer el control y la privacidad de los procesos que utilizan la IA, con el objetivo de poder garantizar que se cumplen con los requisitos impuestos por los reguladores. Un ejemplo son la implementación de modelos de identidad digital que permitan procesos de animación segura de los datos. Para garantizar que tanto los datos de entrenamiento de los modelos, como los usados para la toma de decisión, no puedan ser utilizados de manera fraudulenta por el proveedor de la solución.
La trazabilidad y la certificación, son dos cualidades de la tecnología blockchain, que estamos utilizando para validar los procesos de explicabilidad de los modelos y la trazabilidad de las operaciones. Dos cuestiones de tremenda importancia, tanto para los proveedores de soluciones, como para los usuarios. Tener la capacidad de poder demostrar, que la solución que el modelo a dado es la que tiene que dar, no es algo trivial con las tecnologías de IA. en muchas ocasiones, los propios modelos no pueden explicar por qué han dado una solución a un problema, lo que limita de forma considerable, la confianza que los usuarios pueden tener de la solución ofrecida.
Conclusión
Las soluciones basadas en IA están inundando el mercado, ofreciendo herramientas que ayudan a los usuarios a desarrollar y automatizar tareas, generando imágenes o textos para documentos. Pero existe un riesgo detrás de muchas de estas soluciones y es el tratamiento que se está realizando de los datos de los propios usuarios. Entidades como la EU están preocupadas por el uso que se puede estar haciendo de estos datos, no solo por parte de los fabricantes de IA, sino también de proveedores e intermediarios, los cuales están gestionando datos, que en muchas ocasiones, son considerados de carácter personal, sin ningún tipo de garantías.
Los modelos de IA cada vez son más grandes y consumen más datos, en muchos casos no se están garantizando los mínimos requisitos sobre los datos, la identidad de los usuarios o los autores reales de dichos datos, lo que está generando un problema grave sobre la confianza en la calidad de los datos ofrecidos por los modelos.
Desde Kolokium estamos trabajando en el desarrollo de soluciones que permitan a los proveedores de aplicaciones basadas en IA, poder garantizar unos requisitos mínimos sobre la calidad del tratamiento de los datos. Así como aportar soluciones que permitan a los usuarios incrementar su confianza sobre la manera en la que los modelos de IA procesan sus datos.
José Juan Mora Pérez
