Una encuesta reciente realizada a 500 profesionales de seguridad por HackerOne, una plataforma de investigación de seguridad, concluyó que el 48 % cree que la IA representa el riesgo de seguridad más importante para su organización. Entre sus mayores preocupaciones relacionadas con la IA se incluyen:
- Datos de entrenamiento filtrados (35%).
- Uso no autorizado (33%).
- El hackeo de modelos de IA por parte de terceros (32%).
Estos temores resaltan la necesidad urgente de que las empresas reevalúen sus estrategias de seguridad de IA antes de que las vulnerabilidades se conviertan en amenazas reales.
La IA tiende a generar falsos positivos para los equipos de seguridad
Si bien el informe completo de Hacker Powered Security no estará disponible hasta finales de este otoño, se realizarán más investigaciones de un Informe del SANS Institute patrocinado por HackerOne reveló que el 58% de los profesionales de seguridad creen que los equipos de seguridad y los actores de amenazas podrían encontrarse en una “carrera armamentista” para aprovechar las tácticas y técnicas de IA generativa en su trabajo.
Los profesionales de seguridad encuestados por SANS afirmaron que han tenido éxito utilizando la IA para automatizar tareas tediosas (71%). Sin embargo, los mismos participantes reconocieron que los actores de amenazas podrían explotar la IA para hacer que sus operaciones sean más eficientes. En particular, los encuestados “estaban más preocupados por las campañas de phishing impulsadas por IA (79%) y la explotación automatizada de vulnerabilidades (74%)”.
VER: Los líderes de seguridad son frustrarse con código generado por IA.
“Los equipos de seguridad deben encontrar las mejores aplicaciones para la IA para mantenerse al día con los adversarios y, al mismo tiempo, considerar sus limitaciones existentes, o correr el riesgo de crear más trabajo para ellos mismos”, dijo Matt Bromiley, analista del SANS Institute, en un presione soltar.
¿La solución? Las implementaciones de IA deberían someterse a una revisión externa. Más de dos tercios de los encuestados (68 %) eligieron la “revisión externa” como la forma más eficaz de identificar problemas de seguridad y protección de la IA.
“Los equipos ahora son más realistas sobre las limitaciones actuales de la IA” que el año pasado, dijo el arquitecto de soluciones sénior de HackerOne, Dane Sherrets, en un correo electrónico a TechRepublic. “Los humanos aportan mucho contexto importante a la seguridad defensiva y ofensiva que la IA aún no puede replicar. Problemas como las alucinaciones también han hecho que los equipos duden en implementar la tecnología en sistemas críticos. Sin embargo, la IA sigue siendo excelente para aumentar la productividad y realizar tareas que no requieren un contexto profundo”.
Otros hallazgos de la encuesta sobre IA de SANS 2024, publicada este mes, incluyen:
- El 38% planea adoptar IA dentro de su estrategia de seguridad en el futuro.
- El 38,6% de los encuestados afirmó haber enfrentado deficiencias al utilizar IA para detectar o responder a amenazas cibernéticas.
- El 40% cita las implicaciones legales y éticas como un desafío para la adopción de IA.
- El 41,8% de las empresas se han enfrentado al rechazo de los empleados que no confían en las decisiones de la IA, algo que SANS especula que se debe “a la falta de transparencia”.
- El 43% de las organizaciones utilizan actualmente IA dentro de su estrategia de seguridad.
- La tecnología de IA dentro de las operaciones de seguridad se utiliza con mayor frecuencia en sistemas de detección de anomalías (56,9%), detección de malware (50,5%) y respuesta automatizada a incidentes (48,9%).
- El 58% de los encuestados dijo que los sistemas de IA tienen dificultades para detectar nuevas amenazas o responder a indicadores atípicos, lo que SANS atribuye a una falta de datos de entrenamiento.
- Del total de personas que informaron deficiencias en el uso de la IA para detectar o responder a amenazas cibernéticas, el 71 % afirmó que la IA generaba falsos positivos.
Anthropic busca la opinión de investigadores de seguridad sobre medidas de seguridad de la IA
El fabricante de IA generativa Anthropic amplió su programa de recompensas por errores en HackerOne en agosto.
En concreto, Anthropic quiere que la comunidad de hackers ponga a prueba las medidas de mitigación que utilizamos para evitar el uso indebido de nuestros modelos, lo que incluye intentar superar las barreras de seguridad destinadas a impedir que la IA proporcione recetas para explosivos o ciberataques. Anthropic afirma que premiará con hasta 15.000 dólares a quienes identifiquen con éxito nuevos ataques de jailbreaking y proporcionará a los investigadores de seguridad de HackerOne acceso anticipado a su próximo sistema de mitigación de seguridad.
