Un nuevo informe publicado por el gobierno del Reino Unido dice que el modelo O3 de OpenAI ha hecho un avance en una prueba de razonamiento abstracto que muchos expertos pensaron “fuera de alcance”. Este es un indicador del ritmo que Investigación de IA está avanzando, y que los formuladores de políticas pronto necesitan decidir si intervenir antes de que haya tiempo para reunir un gran grupo de evidencia científica.
Sin dicha evidencia, no se puede saber si un avance de AI en particular presenta o presenta un riesgo. “Esto crea una compensación”, escribieron los autores del informe. “Implementar medidas de mitigación preventiva o temprana puede resultar innecesario, pero esperar la evidencia concluyente podría dejar a la sociedad vulnerable a los riesgos que surgen rápidamente”.
En una serie de pruebas de programación, razonamiento abstracto y razonamiento científico, Modelo O3 de Openai realizó mejor que “cualquier modelo anterior” y “muchos (pero no todos) expertos humanos”, pero actualmente no hay indicios de su competencia con las tareas del mundo real.
VER: Operai cambia la atención a la superinteligencia en 2025
El informe de seguridad de IA fue compilado por 96 expertos globales
El O3 de OpenAi se evaluó como parte del Informe de seguridad internacional de IAque fue reunido por 96 expertos en IA globales. El objetivo era resumir toda la literatura existente sobre los riesgos y capacidades de los sistemas de IA avanzados para establecer un entendimiento compartido que pueda apoyar la toma de decisiones del gobierno.
Asistentes de la primera Cumbre de seguridad de IA en 2023 Acordó establecer tal comprensión firmando la Declaración de Bletchley sobre la seguridad de la IA. Se publicó un informe provisional en mayo de 2024, pero esta versión completa se presentará en la Cumbre de Acción de AI de París a finales de este mes.
Los resultados de las pruebas sobresalientes de O3 también confirman que simplemente preparar modelos con más potencia informática mejorará su rendimiento y les permitirá escalar. Sin embargo, existen limitaciones, como la disponibilidad de datos de capacitación, papas fritasy energíaasí como el costo.
VER: Escasez de energía Centro de datos de paradas en el Reino Unido, Europa
El lanzamiento de Deepseek-r1 El mes pasado aumentó las esperanzas de que el precio se pueda bajar. Un experimento que cuesta más de $ 370 con el modelo O1 de OpenAI costaría menos de $ 10 con R1, según Naturaleza.
“Las capacidades de la IA de uso general han aumentado rápidamente en los últimos años y meses. Si bien esto tiene un gran potencial para la sociedad “, dijo Yoshua Bengio, el presidente del informe y ganador del premio Turing, en un presione soltar. “La IA también presenta riesgos significativos que deben ser cuidadosamente administrados por los gobiernos de todo el mundo”.
El informe internacional de seguridad de IA destaca el creciente número de casos de uso nefasto de IA
Si bien las capacidades de IA avanzan rápidamente, como con O3, también es el potencial para que se usen con fines maliciosos, según el informe.
Algunos de estos casos de uso están completamente establecidos, como estafa, sesgoinexactitudes, y violaciones de privacidady “Hasta ahora ninguna combinación de técnicas puede resolverlas completamente”, según los autores expertos.
Otros casos de uso nefasto todavía están creciendo en prevalencia, y los expertos están en desacuerdo sobre si serán décadas o años hasta que se conviertan en un problema importante. Estos incluyen a gran escala pérdida de empleoAtaques cibernéticos habilitados para AI, ataques biológicos y la sociedad que pierden el control sobre los sistemas de IA.
Desde la publicación del informe provisional en mayo de 2024, la IA se ha vuelto más capaz en algunos de estos dominios, dijeron los autores. Por ejemplo, los investigadores han creado modelos que “pueden encontrar y explotar algunas vulnerabilidades de ciberseguridad por su cuenta y, con asistencia humana, descubrir un Vulnerabilidad previamente desconocida en software ampliamente utilizado “.
Los avances en el poder de razonamiento de los modelos AI significa que pueden “ayudar a la investigación sobre patógenos” con el objetivo de crear armas biológicas. Pueden generar “instrucciones técnicas paso a paso” que “superen los planes escritos por expertos con un doctorado e información de superficie que los expertos luchan por encontrar en línea”.
Como AI avanza, también lo hacen las medidas de mitigación de riesgos que necesitamos
Desafortunadamente, el informe destacó una serie de razones por las cuales la mitigación de los riesgos antes mencionados es particularmente desafiante. Primero, los modelos de IA tienen casos de uso “inusualmente amplios”, lo que dificulta mitigar todos los riesgos posibles y potencialmente permitiendo más alcance para soluciones.
Los desarrolladores tienden a no comprender completamente cómo funcionan sus modelos, lo que dificulta la garantía de seguridad. El creciente interés en los agentes de IA – es decir, los sistemas que actúan de manera autónoma – presentaron nuevos riesgos que los investigadores no están preparados para administrar.
VER: Operador: el siguiente paso de Openai hacia el futuro ‘agente’
Tales riesgos se derivan de que el usuario desconoce lo que están haciendo sus agentes de IA, su capacidad innata para operar fuera del control del usuario y las posibles interacciones AI a AI. Estos factores hacen que los agentes de IA sean menos predecibles que los modelos estándar.
Los desafíos de mitigación de riesgos no son únicamente técnicos; También involucran factores humanos. Las compañías de IA a menudo retienen detalles sobre cómo funcionan sus modelos de reguladores e investigadores de terceros para mantener una ventaja competitiva y evitar que la información confidencial caiga en manos de los piratas informáticos. Esta falta de transparencia hace que sea más difícil desarrollar salvaguardas efectivas.
Además, la presión para innovar y mantenerse por delante de los competidores puede “incentivar a las empresas a invertir menos tiempo u otros recursos en la gestión de riesgos de lo que lo harían”, indica el informe.
En mayo de 2024, Se disolvió el equipo de seguridad de superinteligencia de Openai y varios personal superior se fueron en medio de las preocupaciones de que “cultura de seguridad y los procesos han tomado un asiento en el segundo lugar de productos brillantes “.
Sin embargo, no todo es fatalidad y penumbra; El informe concluye diciendo que experimentar los beneficios de la IA avanzada y conquistar sus riesgos no son mutuamente excluyentes.
“Esta incertidumbre puede evocar el fatalismo y hacer que la IA aparezca como algo que nos sucede”, escribieron los autores.
“Pero serán las decisiones de las sociedades y los gobiernos sobre cómo navegar por esta incertidumbre que determinan qué camino tomaremos”.
