Esta semana, autoridades del Reino Unido, la UE, EE. UU. y otros siete países se reunieron en San Francisco para lanzar la “Red internacional de institutos de seguridad de IA”.
La reunión, que tuvo lugar en el Presidio Golden Gate Club, abordó la gestión de los riesgos del contenido generado por IA, la prueba de modelos básicos y la realización de evaluaciones de riesgos para sistemas avanzados de IA. Los institutos de seguridad de IA de Australia, Canadá, Francia, Japón, Kenia, República de Corea y Singapur también se unieron oficialmente a la Red.
Además de firmar una declaración de misiónse asignaron más de 11 millones de dólares en financiación a la investigación de contenidos generados por IA y se revisaron los resultados del primer ejercicio conjunto de pruebas de seguridad de la Red. Entre los asistentes se encontraban funcionarios reguladores, desarrolladores de IA, académicos y líderes de la sociedad civil para ayudar en el debate sobre los desafíos emergentes de la IA y sus posibles salvaguardas.
La convocatoria se basó en los avances logrados en la Cumbre anterior de seguridad de IA en mayo, que tuvo lugar en Seúl. Las 10 naciones acordaron fomentar “la cooperación y el diálogo internacional sobre inteligencia artificial frente a sus avances sin precedentes y el impacto en nuestras economías y sociedades”.
“La Red Internacional de Institutos de Seguridad de la IA servirá como un foro de colaboración, reuniendo experiencia técnica para abordar los riesgos y las mejores prácticas de seguridad de la IA”, según el Comisión Europea. “Al reconocer la importancia de la diversidad cultural y lingüística, la Red trabajará para lograr una comprensión unificada de los riesgos de seguridad de la IA y las estrategias de mitigación”.
Los institutos de seguridad de IA miembros tendrán que demostrar su progreso en las pruebas y evaluaciones de seguridad de la IA en la Cumbre de Impacto de la IA de París en febrero de 2025 para que puedan avanzar en las discusiones sobre la regulación.
Resultados clave de la conferencia
Declaración de misión firmada
La declaración de misión compromete a los miembros de la Red a colaborar en cuatro áreas:
- Investigación: Colaborar con la comunidad de investigación de seguridad de la IA y compartir hallazgos.
- Pruebas: Desarrollar y compartir mejores prácticas para probar sistemas avanzados de IA.
- Guía: Facilitar enfoques compartidos para interpretar los resultados de las pruebas de seguridad de la IA.
- Inclusión: Compartir información y herramientas técnicas para ampliar la participación en la ciencia de la seguridad de la IA.
Más de 11 millones de dólares asignados a la investigación de la seguridad de la IA
En total, los miembros de la Red y varias organizaciones sin fines de lucro anunciaron más de 11 millones de dólares en financiación para investigaciones destinadas a mitigar el riesgo del contenido generado por IA. Se destacaron como áreas clave de preocupación el material de abuso sexual infantil, las imágenes sexuales no consensuadas y el uso de IA para fraude y suplantación de identidad.
La financiación se asignará como prioridad a los investigadores que investiguen técnicas de transparencia de contenidos digitales y modelos de protección para evitar la generación y distribución de contenidos nocivos. Se considerarán subvenciones para científicos que desarrollen mitigaciones técnicas y evaluaciones sociocientíficas y humanísticas.
El instituto estadounidense también publicó un serie de enfoques voluntarios para abordar los riesgos del contenido generado por IA.
Se discuten los resultados de un ejercicio de prueba conjunto
La red ha completado su primer ejercicio de prueba conjunto en Meta Llama 3.1 405B, analizando su conocimiento general, capacidades multilingües y alucinaciones de dominio cerrado, donde un modelo proporciona información fuera del ámbito de aquello a lo que se le indicó que se refiriera.
El ejercicio planteó varias consideraciones sobre cómo se podrían mejorar las pruebas de seguridad de la IA en todos los idiomas, culturas y contextos. Por ejemplo, el impacto que pueden tener diferencias metodológicas menores y técnicas de optimización de modelos en los resultados de la evaluación. Antes de la Cumbre de Acción sobre IA de París se llevarán a cabo ejercicios de prueba conjuntos más amplios.
Se acuerda una base compartida para las evaluaciones de riesgos
La red ha acordado un base científica compartida para las evaluaciones de riesgos de IAincluido el hecho de que deben ser viables, transparentes, integrales, de múltiples partes interesadas, iterativos y reproducibles. Los miembros debatieron cómo podría ponerlo en práctica.
Se establece el grupo de trabajo de EE. UU. ‘Prueba de riesgos de la IA para la seguridad nacional’
Finalmente, se estableció el nuevo grupo de trabajo TRAINS, dirigido por el Instituto de Seguridad de IA de EE. UU., e incluía expertos de otras agencias estadounidenses, incluidas Comercio, Defensa, Energía y Seguridad Nacional. Todos los miembros probarán modelos de IA para gestionar los riesgos de seguridad nacional en ámbitos como la seguridad radiológica y nuclear, la seguridad química y biológica, la ciberseguridad, la infraestructura crítica y las capacidades militares.
VER: Apple se suma al compromiso voluntario del gobierno de EE. UU. con la seguridad de la IA
Esto refuerza cuán importante es la intersección de la IA y el ejército en los EE. UU. El mes pasado, la Casa Blanca publicó el primer informe de la historia. Memorando de seguridad nacional sobre inteligencia artificialque ordenó al Departamento de Defensa y a las agencias de inteligencia estadounidenses acelerar la adopción de la IA en misiones de seguridad nacional.
Los oradores abordaron el equilibrio entre la innovación en IA y la seguridad
La secretaria de Comercio de Estados Unidos, Gina Raimondo, pronunció el discurso de apertura el miércoles. Dijo a los asistentes que “hacer avanzar la IA es lo correcto, pero avanzar lo más rápido posible, sólo porque podemos, sin pensar en las consecuencias, no es lo más inteligente”, según TIEMPO.
La batalla entre el progreso y la seguridad en la IA ha sido un punto de discordia entre gobiernos y empresas de tecnología en los últimos meses. Si bien la intención es mantener seguros a los consumidores, los reguladores corren el riesgo de limitar su acceso a las últimas tecnologías, lo que podría traer beneficios tangibles. Google y Meta tienen ambos Criticó abiertamente la regulación europea de IArefiriéndose a la región Ley de IAsugiriendo que anulará su potencial de innovación.
Raimondo dijo que el Instituto de Seguridad de IA de EE. UU. “no está en el negocio de sofocar la innovación”, según AP. “Pero aquí está la cuestión. La seguridad es buena para la innovación. La seguridad genera confianza. La confianza acelera la adopción. La adopción conduce a una mayor innovación”.
También enfatizó que las naciones tienen la “obligación” de gestionar los riesgos que podrían impactar negativamente a la sociedad, por ejemplo causando desempleo y violaciones de seguridad. “No dejemos que nuestra ambición nos ciegue y nos permitamos caminar sonámbulos hacia nuestra propia ruina”, dijo vía AP.
Dario Amodei, director ejecutivo de Anthropic, también pronunció una charla destacando la necesidad de realizar pruebas de seguridad. Dijo que si bien “hoy la gente se ríe cuando los chatbots dicen algo un poco impredecible”, esto indica lo esencial que es controlar la IA antes de que adquiera capacidades más nefastas, según Fortuna.
Los institutos globales de seguridad de la IA han ido apareciendo durante el último año.
El primera reunión de autoridades de IA tuvo lugar en Bletchley Park en Buckinghamshire, Reino Unido, hace aproximadamente un año. Se produjo el lanzamiento del Instituto de Seguridad de IA del Reino Unido, que tiene los tres objetivos principales:
- Evaluación de los sistemas de IA existentes.
- Realizar investigaciones fundamentales sobre la seguridad de la IA.
- Compartir información con otros actores nacionales e internacionales.
Estados Unidos tiene su propio Instituto de Seguridad de IA, establecido formalmente por el NIST en febrero de 2024, que ha sido designado presidente de la red. Fue creado para trabajar en las acciones prioritarias señaladas en el Orden ejecutiva de IA emitido en octubre de 2023. Estas acciones incluyen el desarrollo de estándares para la seguridad de los sistemas de IA.
VER: OpenAI y Anthropic Sign llegan a acuerdos con el Instituto de Seguridad de IA de EE. UU.
En abril, el El gobierno del Reino Unido acordó formalmente colaborar con los EE. UU. en el desarrollo de pruebas para modelos avanzados de IA, en gran medida compartiendo los desarrollos realizados por sus respectivos Institutos de Seguridad de IA. Un acuerdo celebrado en Seúl vio la creación de institutos similares en otras naciones que se unieron a la colaboración.
Fue especialmente importante aclarar la posición de Estados Unidos hacia la seguridad de la IA en la conferencia de San Francisco, ya que la nación en general no presenta actualmente una actitud de apoyo abrumadora. El presidente electo Donald Trump ha prometió derogar la Orden Ejecutiva cuando regrese a la Casa Blanca. El gobernador de California, Gavin Newsom, que estuvo presente, también vetó el controvertido proyecto de ley de regulación de la IA SB 1047 a finales de septiembre.
