La inteligencia artificial (IA) ha dejado de ser una promesa futurista para convertirse en una realidad tangible que está transformando sectores tan diversos como la medicina, la educación, las finanzas y la industria.
Sin embargo, a medida que su impacto crece, también lo hacen las preguntas en torno a su regulación, sus implicaciones éticas y los desafíos que plantea a futuro.
En este contexto, Europa ha asumido un papel pionero con la propuesta de la Ley de Inteligencia Artificial (AI Act), una legislación destinada a regular el uso de esta tecnología que ya forma parte de nuestra cotidianeidad.
Mujeres y Cia entrevistó a cuatro mujeres miembros de EJE&CON, expertas en tecnología y regulación, para conocer más al respecto.
Las entrevistadas
Silvia Vela Ruiz, CEO de LegAire, despacho de asesoramiento legal dedicado a los sectores aeroespacial, automoción y nuevas tecnologías.
Beatriz Arias Gago, máster en Filosofía aplicada a la Tecnología por la Universidad Complutense de Madrid.
Elena Sánchez Rodríguez, miembro experto de la asociación Generative AI Association y cofundadora de WeTheHumans que promueve la ética en la Inteligencia Artificial.
Ana Buitrago, licenciada en Derecho por ICADE y máster en Derecho Internacional de los Negocios por Fordham University (Nueva York), experta en regulación y estrategia.
¿Cuál es tu opinión personal respecto a la Ley de IA en Europa?
Silvia Vela Ruiz
Considero que es un hito y representa un paso fundamental en la legislación global, ya que es el primer intento significativo en regular completamente el uso y desarrollo de la IA a escala global. El mundo entero mira a Europa con esta normativa. Y están claros los motivos: es un marco legal revolucionario que no solo establece estándares detallados para la seguridad y la ética en el desarrollo de la IA, sino que sienta las bases para que otras regiones y países establezcan sus propias regulaciones.
Beatriz Arias Gago
Como todo lo que supone legislar en materia tecnológica, esta ley era muy necesaria. Sé que algunos de mis colegas tecnólogos ven cierto freno a la innovación y temen que esto pueda sofocar la competitividad. No todo sirve en nombre del progreso. La Ley de IA de Europa viene a decirnos que no podemos permitir la innovación y despliegue de aplicaciones sin un control ético. Europa ha sido la cuna del desarrollo humanista, intelectual y filosófico durante siglos, es normal que haya sido la primera en dar este paso.
«La Ley de IA de Europa viene a decirnos que no podemos permitir la innovación y despliegue de aplicaciones sin un control ético»
Elena Sánchez Rodríguez
Creo que es una ley muy necesaria para concretar un entendimiento regulatorio común en la UE sobre cómo queremos aplicar una tecnología tan potente y tan potencial. Me parece importante que la regulación plantee como eje central que la IA es una herramienta para el humano, por lo que la supervisión y la decisión es del humano. Además, hay que pensar que la IA está desarrollada y entrenada por humanos, con los sesgos y los intereses del humano. Por eso, es necesario plantear los intereses de las diferentes partes y su impacto, y esta regulación plantea los diversos actores y escenarios donde pueden surgir conflictos éticos y de intereses.
Ana Buitrago
Mi opinión es favorable. La IA plantea grandes oportunidades pero también acarrea importantes riesgos para los derechos y libertades fundamentales, y para la seguridad que no podemos pasar por alto. El regulador europeo ha sido pionero en el mundo a la hora de afrontar estos retos y su objetivo principal es dotar de seguridad jurídica tanto a fabricantes como usuarios con la finalidad de crear un entorno de confianza que permita un desarrollo sostenible y ético de la tecnología, lo cual es encomiable. Con un objetivo tan ambicioso, quedarnos de brazos cruzados no es una opción en vista de lo que está en juego.
¿Cuáles son los principales desafíos que enfrentan las empresas en la implementación? ¿Y las administraciones estatales?
Silvia Vela Ruiz
Es importante destacar que la UE ha centrado su esfuerzo normativo en aquellos usos y sistemas de IA que generen un riesgo relevante en el mercado de la UE, con el fin de no obstaculizar el desarrollo de la IA.
Por un lado, las empresas deben adaptar sus procesos y tecnología para cumplir requisitos específicos según el nivel de riesgo, lo que puede incluir inversiones significativas en medidas de seguridad y auditorías. Por ejemplo, dentro del mundo de la automoción, un concesionario de vehículos deberá adaptar sus sistemas de IA utilizados para análisis y clasificación de clientes para recomendaciones de ventas a fin de cumplir con los requisitos de transparencia y protección de datos establecidos por la ley.
Por otro lado, las administraciones públicas enfrentan el desafío de desarrollar y mantener mecanismos efectivos para monitorear y aplicar estas regulaciones, asegurando que las evaluaciones de riesgos sean precisas y que se apliquen de manera justa y equitativa.
«Las empresas deberán implementar herramientas que permitan auditar y explicar cómo se toman las decisiones basadas en IA»
Beatriz Arias Gago
Las empresas no solo deben adaptarse legalmente, sino que también han de reevaluar sus estrategias de negocio y desarrollo tecnológico para cumplir con las nuevas normativas sin comprometer su capacidad de innovación y crecimiento.
Las administraciones estatales tienen un reto aún mayor. Deberán designar autoridades de supervisión que se encarguen de velar por la implementación de la Ley. Sistemas de IA que gestionan infraestructuras críticas como la energía, el agua, y el transporte, donde un error podría tener graves consecuencias en la seguridad de las personas, se vuelve un gran desafío para la administración. Los gobiernos deben también invertir en la capacitación de su personal.
Elena Sánchez Rodríguez
Un esfuerzo relevante es el de adaptación de casos de uso ya existentes que caigan en la clasificación de alto riesgo. Son casos de uso que pueden estar ya en producción, y que requieren realizar una evaluación de requisitos para la conformidad que marca la regulación.
Pensemos también que esta regulación es importante en la medida en que da cobertura a riesgos globales de carácter sistémico y que impactan a democracias, infraestructuras críticas, ciberseguridad y a otros riesgos como químicos, biológicos, nucleares.
En este sentido, la Administración Pública es doblemente parte de la entrada en vigor de la regulación. Es responsable de la implantación de estas soluciones en la propia Administración y también le corresponde regular y poner en marcha la RIA en cada país. En España tenemos la AESIA, que no sólo tiene funciones de supervisión, sino también de divulgación de conocimiento y la innovación a través del fomento del ecosistema de empresas emergentes y de buenas prácticas.
«Esta regulación es importante en la medida en que da cobertura a riesgos globales que impactan a democracias»
Ana Buitrago
Los desafíos para las empresas pueden venir de diferentes frentes, desde el coste económico de adaptación hasta la disparidad geográfica de la regulación.
Desde el punto de vista de las administraciones públicas, será muy importante dotar a las agencias gubernamentales responsables de la autorización y supervisión de estos sistemas con suficientes medios materiales y humanos, así como la adecuada formación, para poder realizar su función de forma efectiva.
Existe además la preocupación de cómo de eficaz será la coordinación entre las distintas administraciones involucradas tanto dentro del territorio nacional como europeo. Por citar un ejemplo, dado el impacto de la IA en cuestiones de protección de los datos personales y la privacidad, es evidente que serán necesarios mecanismos de coordinación eficaces entre la Agencia Española de Inteligencia Artificial y la Agencia Española de Protección de Datos.
¿De qué manera la Ley de IA podría impactar en la innovación y el desarrollo de nuevas tecnologías en Europa?
Silvia Vela Ruiz
Personalmente, creo que si bien la ley de IA puede presentar desafíos para la innovación, ya que detiene ciertos desarrollos o plantea restricciones, también tiene el potencial de impulsar el desarrollo hacia prácticas más seguras y éticas. Así, el resultado sería la atracción de empresas que buscan operar en un entorno regulatorio sólido y ético, impulsando el desarrollo tecnológico europeo.
Pero además, siguiendo con esta línea, la ley podría estimular la “innovación responsable”, y así fomentar la creación de tecnologías más responsables y seguras. La idea detrás de este concepto es que las empresas comiencen a desarrollar soluciones innovadoras que cumplan con un alto estándar de ética y protección del usuario, yendo incluso más allá de lo que prevé la norma.
«La ley podría fomentar la creación de tecnologías más responsables y seguras»
Beatriz Arias Gago
Es necesario fomentar un ecosistema de innovación donde las PYMES puedan explorar y desarrollar soluciones basadas en IA de manera segura y responsable. Y esto también está contemplado en la Ley.
En España ya se han implementado varias iniciativas de sandbox (espacios controlados para experimentar) para ayudar a las PYMES a cumplir con la ley de IA de la Unión Europea y fomentar la innovación en el uso de tecnologías de inteligencia artificial. En esta línea la UE se está dotando de los llamados Digital Innovation Hubs para apoyar a las PYMES en el cumplimiento de las nuevas reglas según su necesidad.
Algunas universidades y centros de investigación en España están trabajando en colaboración con PYMES para desarrollar proyectos de IA en un entorno de prueba. Cabe esperar el establecimiento de alianzas entre empresas tecnológicas y empresas industriales, junto con expertos humanistas que ayuden a garantizar un desarrollo de nuevas tecnologías que cumpla con la regulación y se adapte a futuros cambios.
«Cabe esperar el establecimiento de alianzas para garantizar un desarrollo de nuevas tecnologías que cumpla con la regulación y se adapte a futuros cambios»
Elena Sánchez Rodríguez
La IA tiene un alcance tecnológico exponencial que confluye con otras tecnologías. Creo que es cierto que impacta en la innovación y que, seguramente en este momento, se esté generando una ralentización de nuevas creaciones y funcionalidades para nuestro mercado. Yo soy una apasionada de la innovación y creo que, en este punto, es importante pensar esta innovación como una innovación responsable.
Hay soluciones que llevan años implantadas, pero aquellas que supongan un riesgo inaceptable según la clasificación de riesgos de la UE (la manipulación cognitiva, social scoring, vigilancia masiva, si no es por causas de seguridad nacional), obviamente tendrán que desaparecer durante estos próximos meses. No sé si con esto muere la innovación o se canaliza, seguramente ambas cosas.
Finalmente, uno de los temores empresariales es que esta legislación se quede en una foto estática de un acuerdo y no desarrolle una dinámica de revisión de acuerdo a esa innovación en nuevas necesidades de mercado y a los aprendizajes obtenidos.
«Es importante pensar esta innovación como una innovación responsable»
Ana Buitrago
Personalmente no creo que la innovación en Europa se vea seriamente afectada por una ley de mínimos, como es la Ley de IA. Ahora bien, no podemos negar que Europa tiene unos competidores formidables como son Estados Unidos y las potencias asiáticas (con China a la cabeza) y que hoy día está muy rezagada en I+D+i.
Es muy importante que todas las regiones del globo juguemos con las mismas reglas para evitar una competencia abiertamente desleal. No es la primera vez que la Unión Europea opta por regular tecnologías fabricadas fuera de nuestras fronteras estableciendo como único punto de conexión su utilización por usuarios residentes en la Unión.
Con ello, y al igual que ha pasado hasta cierto punto con el Reglamento General de Protección de Datos, se busca establecer unos estándares mínimos comunes a los que deberán adaptarse estas tecnologías y que, al ser flexibles y respetuosos con la defensa de valores humanos fundamentales, esperemos terminarán siendo adoptados por otros países y quién sabe, mediante un Tratado Internacional.
En todo caso, es necesario que la Comisión Europea y los Estados Miembros se planteen seriamente adoptar medidas para fomentar el emprendimiento y la investigación. Una regulación flexible y que dote de seguridad jurídica es una pieza clave del engranaje, pero obviamente por sí sola no puede cambiar el ecosistema empresarial y social.
«Es muy importante que todas las regiones del globo juguemos con las mismas reglas para evitar una competencia abiertamente desleal»
¿Qué papel juegan los derechos humanos en el marco regulatorio de la IA en Europa?
Silvia Vela Ruiz
La protección de los derechos humanos son el eje central de la nueva ley europea de IA. No se trata solo de fomentar la innovación tecnológica de manera ética sino también construir una sociedad digital donde derechos fundamentales como la igualdad, la justicia, la dignidad humana o la privacidad estén protegidos.
Hay dos lugares clave donde se ve claramente la relevancia de los derechos humanos: por un lado, en las prohibiciones explícitas sobre ciertas prácticas, y por otro, en las disposiciones sobre sistemas de IA de alto riesgo.
En materia de prohibiciones destacan la prohibición de la vigilancia masiva, la no discriminación algorítmica, la protección de la privacidad y el derecho a un juicio justo.
Pero hay mucho más. Por ejemplo, el artículo 9 introduce la necesidad de realizar Evaluaciones de Impacto en los Derechos Fundamentales (FRIA) en el caso de sistemas de IA de alto riesgo, en particular aquellos que puedan afectar la privacidad, la igualdad, la no discriminación y otros derechos fundamentales. Estas evaluaciones tienen como objetivo garantizar que los sistemas de IA respeten los principios fundamentales consagrados en la Carta de Derechos Fundamentales de la UE. Otro ejemplo claro es el artículo 29a, que establece la obligación de realizar evaluaciones conjuntas cuando el sistema de IA también esté sujeto a una evaluación de impacto en materia de protección de datos (DPIA) en virtud del RGPD. Así, la ley vincula estrechamente la protección de la privacidad y otros derechos fundamentales.
En definitiva, la protección de los derechos humanos promovidos por la Unión Europea son clave para la interpretación y la aplicación de la nueva Ley.
Beatriz Arias Gago
Los derechos humanos son precisamente un pilar central. Este es el primer marco jurídico global sobre IA en todo el mundo, que garantiza la salud, la seguridad y los derechos fundamentales de las personas y proporciona seguridad jurídica a las empresas de los veintisiete Estados miembros.
Precisamente para apoyar este enfoque se ha creado la Oficina de IA. Esta desempeña un papel clave en la aplicación de la Ley de IA: apoya a los organismos de gobernanza de los Estados miembros en sus tareas y hace cumplir las normas para los modelos de IA de uso general, lleva a cabo evaluaciones de modelos de IA de uso general, solicita información y medidas a los proveedores de modelos y aplica sanciones, donde sea pertinente.
«Es el primer marco jurídico global sobre IA en todo el mundo, que garantiza la salud, la seguridad y los derechos fundamentales de las personas»
Elena Sánchez Rodríguez
Los derechos humanos son el principio y el fin de este planteamiento regulatorio que busca a la vez protegerlos e impactarlos positivamente. La RIA está enfocada desde la protección de derechos fundamentales, como la no discriminación o sesgo, la privacidad y la protección de datos. Para ello plantea mecanismos para la transparencia y explicabilidad y promueve la supervisión humana para evitar decisiones automatizadas que impacten en los derechos humanos.
Además, la regulación busca impactar en el bien común y en acceso a servicios básicos que facilitan la consecución de los Derechos Humanos, por ejemplo, en el acceso y la mejora de servicios al ciudadano como la asistencia sanitaria, el transporte y la Educación. También protege específicamente a las personas, por ejemplo, cuando clasifica como casos de uso prohibidos por riesgo inaceptable a aquellos sistemas de IA destinados a detectar el estado emocional de las personas en situaciones relacionadas con el lugar de trabajo y el ámbito educativo. No obstante, en el otro lado, hay un debate muy legítimo sobre su impacto en el futuro del trabajo y algunos temas muy relevantes como los derechos de autor.
«Los derechos humanos son el principio y el fin de este planteamiento regulatorio que busca a la vez protegerlos e impactarlos positivamente»
Ana Buitrago
La Ley de IA prohíbe expresamente aquellos usos que puedan vulnerar derechos fundamentales o afectar a colectivos vulnerables. La licitud de estos usos era más que cuestionable bajo nuestro ordenamiento jurídico antes de la Ley, pero en cualquier caso la Ley de IA viene a concretar una prohibición general y con ello establecer garantías jurídicas adecuadas.
Es el caso, por ejemplo, de los sistemas que utilicen técnicas subliminales o engañosas para alterar sustancialmente el comportamiento mermando la libertad de decisión o de aquellos sistemas que buscan alterar dicho comportamiento aprovechándose, precisamente, de un aspecto vulnerable de una persona o colectivo. A ellos se unen los sistemas de puntuación social o de categorización e identificación biométrica remota, cuyos riesgos para los derechos humanos son evidentes.
Además, la Ley de IA establece un marco regulatorio específico para aquellos sistemas de IA que representan un alto riesgo de impacto en la salud, la seguridad y derechos fundamentales como la privacidad, la igualdad y la no discriminación. Se trata de sistemas que funcionan con autonomía lo cual es crítico en sectores como la medicina y la justicia, donde no debemos tolerar errores.
Además, estos sistemas tienen el potencial de mantener o crear sesgos, con el consiguiente impacto negativo en grupos vulnerables y minoritarios. En el mismo grupo se incluyen sistemas de seguridad en infraestructuras críticas como la energía y el transporte, cuyo mal uso pueden ocasionar daños graves y de amplio alcance. En definitiva, es esencial que estos sistemas se enmarquen dentro de un conjunto estricto de normas diseñadas para proteger a la sociedad y fomentar un ambiente de confianza.
¿Qué áreas de la ley podrían necesitar revisión o ajustes a medida que la tecnología avance?
Silvia Vela Ruiz
Uno de los aspectos que previsiblemente necesitará ajustes es la categorización de riesgos, para incluir nuevas categorías de riesgo conforme los sistemas de IA se vuelvan más sofisticados y autónomos. Por ejemplo, en el mundo de la aviación, la integración de IA en la gestión de flujos de pasajeros y carga puede crear nuevos riesgos operativos que precisen nuevas categorías de riesgo para asegurar la eficiencia y seguridad en el aeropuerto.
Otra cuestión que previsiblemente será esencial actualizar, son los requisitos de transparencia y rendición de cuentas para tener en cuenta la creciente complejidad de los algoritmos.
Beatriz Arias Gago
La propia Ley ya prevé su auto revisión en un marco no superior a cinco años desde su entrada en vigor. A medida que surgen nuevas tecnologías, será necesario revisar esta clasificación de niveles de riesgo (alto, medio, bajo) para asegurar que aborde adecuadamente los riesgos emergentes y las innovaciones.
Será de esperar que haya nuevos mecanismos de seguimiento y evaluación para adaptar la legislación a medida que la tecnología evoluciona, garantizando que siga siendo relevante y efectiva en el respeto de los derechos fundamentales de las personas y la competitividad tecnológica de los Estados Miembro.
Elena Sánchez Rodríguez
Habrá que ver cómo se plasma la interacción de la RIA con otras legislaciones como la de datos y aquellos reglamentos o directivas a las que la propia regulación modifica. Un aspecto de alto impacto, especialmente en la Generativa por su complejidad, son los derechos de autor. En todo caso, este es un proceso de aprendizaje y ajuste conjunto donde tenemos una oportunidad para involucrar a todos los actores. Creo que es una oportunidad única e histórica para nuestro futuro.
«Este es un proceso de aprendizaje y ajuste conjunto donde tenemos una oportunidad para involucrar a todos los actores»
Ana Buitrago
La Ley de IA ya prevé que la Comisión Europea pueda modificar el listado de los sistemas de alto riesgo añadiendo nuevos sistemas que presenten un riesgo de perjuicio para la salud, la seguridad o los derechos fundamentales, siempre y cuando el riesgo sea equivalente o mayor al de los sistemas previamente reconocidos como de alto riesgo. También está previsto que la Comisión pueda eliminar del listado de sistemas de alto riesgo aquellos que dejen de representar un riesgo considerable.
En todo caso, creo que es pronto para saber qué va a pasar. La Ley de IA no regula tecnologías concretas sino más bien usos concretos en función del nivel de riesgo que puedan conllevar dichos usos. En la medida que los futuros avances de los sistemas de IA pudieran plantear nuevos riesgos para los derechos humanos o colectivos vulnerables, es posible que haya que modificar la norma para prever esos nuevos usos. El tiempo lo dirá.
