El Pentágono fortalece sus sistemas de inteligencia artificial hackeándose a sí mismo

Un nuevo “equipo rojo” intentará anticipar y frustrar los ataques a los programas de aprendizaje automático.

El Pentágono cree que la inteligencia artificial es una forma de superar, maniobrar y dominar a los futuros adversarios. Pero la fragilidad de la IA significa que la tecnología podría abrir nuevas vías de ataque a los enemigos sin la debida diligencia.

El Centro Conjunto de Inteligencia Artificial (Joint Artificial Intelligence Center), establecido por el Pentágono para ayudar al ejército de los EE. UU. a desplegar IA, creó recientemente una unidad para recopilar, estudiar y distribuir modelos de aprendizaje automático de código abierto y de la industria a grupos en todo el Departamento de Defensa.

Parte de este esfuerzo apunta a un desafío clave en el uso de la IA con fines militares. Un “equipo rojo” de aprendizaje automático, conocido como Grupo de Prueba y Evaluación, examinará los modelos previamente entrenados para detectar puntos débiles. Otro equipo de ciberseguridad examina el código y los datos de IA en busca de vulnerabilidades ocultas.

El aprendizaje automático, la tecnología en la que se basa la IA moderna, representa una forma fundamentalmente diferente y, a menudo, más poderosa de escribir código informático. En lugar de escribir reglas que una máquina debe seguir, el aprendizaje automático genera sus propias reglas aprendiendo de los datos. El problema es que este proceso de aprendizaje, junto con artefactos o errores en los datos de entrenamiento, puede hacer que los modelos de IA se comporten de manera extraña o impredecible.

“Para algunas aplicaciones, el software de aprendizaje automático es un millón de veces mejor que el software tradicional”, dijo Gregory Allen, director de estrategia y políticas de JAIC. Pero, agrega, el aprendizaje automático “funciona de manera diferente al software tradicional”.

Un algoritmo de aprendizaje automático que está entrenado, por ejemplo, para reconocer ciertos vehículos en imágenes de satélite, también podría aprender a asignar el vehículo a un cierto color del paisaje circundante. Un oponente podría ser más astuto que la IA cambiando el paisaje alrededor de sus vehículos. Con acceso a los datos de entrenamiento, el oponente también podría colocar imágenes como cierto símbolo que confundiría al algoritmo.

Allen dice que el Pentágono tiene pautas estrictas para la confiabilidad y seguridad del software que utiliza. Él dice que el enfoque se puede extender a la inteligencia artificial y el aprendizaje automático, y señala que la JAIC está trabajando para actualizar los estándares del DoD para que el software incluya problemas relacionados con el aprendizaje automático.

“No sabemos cómo hacer sistemas que sean perfectamente resistentes a los ataques de los oponentes”. Tom Goldstein, profesor social de información en la Universidad de Maryland, Estados Unidos.

La IA está cambiando la forma en que funcionan algunas empresas porque puede ser una forma eficaz y poderosa de automatizar tareas y procesos. En lugar de escribir un algoritmo que prediga qué productos comprará un cliente, por ejemplo, una empresa que utilice un algoritmo de inteligencia artificial puede analizar miles o millones de ventas pasadas y desarrollar su propio modelo para predecir quién comprará qué.

Estados Unidos y otros ejércitos ven beneficios similares y se apresuran a utilizar la inteligencia artificial para mejorar la logística, la recopilación de inteligencia, la planificación de misiones y la tecnología de armas. La creciente capacidad tecnológica de China ha aumentado la urgencia del Pentágono de adoptar la IA. Allen dice que el Departamento de Defensa “opera de una manera responsable que prioriza la seguridad y la confiabilidad”.

Los investigadores están desarrollando formas cada vez más creativas de piratear, subvertir o destruir los sistemas de IA en la naturaleza. En octubre de 2020, investigadores israelíes demostraron que las imágenes cuidadosamente manipuladas pueden confundir los algoritmos de inteligencia artificial que permiten a un Tesla interpretar la carretera. Este tipo de “ataque del adversario” optimiza la entrada de un algoritmo de aprendizaje automático para encontrar pequeños cambios que provocan grandes errores.

Dawn Song, profesora de UC Berkeley que ha realizado experimentos similares con sensores Tesla y otros sistemas de inteligencia artificial, dice que los ataques a los algoritmos de aprendizaje automático ya son un problema en áreas como la detección de fraudes. Algunas empresas ofrecen herramientas para probar los sistemas de inteligencia artificial utilizados en finanzas. “Por supuesto que hay un atacante que quiere evadir el sistema”, dice. “Creo que veremos más problemas como este”.

Un ejemplo simple de un ataque de aprendizaje automático fue Tay, el chatbot fallido de Microsoft que se lanzó en 2016. El bot utilizó un algoritmo que aprendió a responder a nuevas solicitudes examinando conversaciones anteriores. Los redditors se dieron cuenta rápidamente de que podían aprovechar esto para engañar a Tay para que enviara mensajes de odio.

Tom Goldstein, profesor asociado de la Universidad de Maryland que estudia la fragilidad de los algoritmos de aprendizaje automático, dice que hay muchas formas de atacar los sistemas de IA, incluido el cambio de los datos introducidos en un algoritmo a uno específico para lograr el comportamiento. Afirma que los modelos de aprendizaje automático se diferencian del software tradicional en que el acceso a un modelo puede permitir a un adversario planificar un ataque, como una entrada fraudulenta, del que no puede defenderse.

“Realmente no sabemos cómo solucionar todas las debilidades de la IA”, dice Goldstein. “No sabemos cómo hacer sistemas que sean perfectamente resistentes a los ataques de los oponentes”.

En el contexto militar, donde un oponente bien equipado y técnicamente avanzado es un hecho, puede ser particularmente importante protegerse de todas las posibles nuevas líneas de ataque.

Un informe reciente del Centro de Seguridad y Tecnología Emergente de la Universidad de Georgetown advierte que el “envenenamiento de datos” en la IA puede representar una seria amenaza para la seguridad nacional. Esto significaría infiltrarse en el proceso utilizado para entrenar un modelo de IA, quizás ofreciendo un agente para etiquetar imágenes que se introducen en un algoritmo, o colocando imágenes en la web que se raspan y se pueden ingresar en un modelo de IA.

El autor del informe, Andrew Lohn, elogia a JAIC por crear un equipo dedicado a examinar los sistemas de IA en busca de vulnerabilidades. Advierte que será más difícil asegurar el proceso de aprendizaje automático de los modelos de IA del sector privado, ya que puede no estar claro cómo se desarrollan. También puede ser difícil identificar datos que supuestamente envenenan un modelo de IA, ya que los cambios pueden no ser obvios o visibles para el ojo humano.

Por supuesto, es probable que el Pentágono desarrolle sus propias habilidades ofensivas para aplicar ingeniería inversa, envenenar y socavar los sistemas de inteligencia artificial de los oponentes, afirma Lohn. Sin embargo, por ahora, la cuestión es que la IA militar estadounidense no puede ser atacada. “Podemos tener la opción ofensiva”, dice. “Pero nos aseguraremos de que no se pueda hacer en nuestra contra”. Allen, el funcionario de JAIC, se negó a comentar sobre si Estados Unidos está desarrollando capacidades ofensivas.

Muchos países han desarrollado estrategias nacionales de inteligencia artificial para garantizar que sus economías aprovechen al máximo una nueva y poderosa tecnología. Al mismo tiempo, las grandes empresas de tecnología de EE. UU. Y China en particular están compitiendo por la ventaja de comercializar y exportar las últimas tecnologías de inteligencia artificial.

Allen afirma que una ventaja técnica en IA también será una ventaja estratégica para los estados nacionales. Los algoritmos que mantienen en funcionamiento la cadena de suministro militar o impulsan las decisiones críticas para el negocio deben protegerse.

“Cuando se trabaja a una escala abrumadora y se trabaja con sistemas increíblemente complejos desde el punto de vista tecnológico en situaciones que a menudo ponen en peligro la vida, se necesita algún tipo de excelencia en ingeniería profunda para asegurarse de que los sistemas funcionen según lo previsto”. Dice.

Smartket
Logo