La IA generativa ha hecho que el phishing, la estafa y el doxxing sean más fáciles que nunca.
La inteligencia artificial ha aportado un gran impulso a la productividad en el mundo criminal.
La IA generativa proporciona un conjunto de herramientas nuevo y poderoso que permite a los actores maliciosos trabajar de manera mucho más eficiente e internacional que nunca, dice Vincenzo Ciancaglini, investigador senior de amenazas de la empresa de seguridad Trend Micro.
La mayoría de los delincuentes “no viven en una guarida oscura y traman cosas”, dice Ciancaglini. «La mayoría de ellos son personas normales que realizan actividades habituales que también requieren productividad».
El año pasado se produjo el ascenso y la caída de WormGPT , un modelo de lenguaje de inteligencia artificial construido sobre un modelo de código abierto y entrenado con datos relacionados con malware, que fue creado para ayudar a los piratas informáticos y no tenía reglas ni restricciones éticas. Pero el verano pasado, sus creadores anunciaron que cerrarían el modelo después de que comenzó a atraer la atención de los medios. Desde entonces, la mayoría de los ciberdelincuentes han dejado de desarrollar sus propios modelos de IA. En cambio, optan por trucos con herramientas existentes que funcionan de manera confiable.
Esto se debe a que los delincuentes quieren una vida fácil y ganancias rápidas, explica Ciancaglini. Para que cualquier nueva tecnología valga los riesgos desconocidos asociados con su adopción (por ejemplo, un mayor riesgo de ser descubierto), tiene que ser mejor y generar mayores recompensas que las que se utilizan actualmente.
Aquí hay cinco formas en que los delincuentes utilizan la IA actualmente.
Suplantación de identidad
El mayor caso de uso de la IA generativa entre los delincuentes en este momento es el phishing, que implica intentar engañar a las personas para que revelen información confidencial que puede usarse con fines maliciosos, dice Mislav Balunović, investigador de seguridad de IA en ETH Zurich. Los investigadores han descubierto que el auge de ChatGPT ha ido acompañado de un enorme aumento en el número de correos electrónicos de phishing .
Los servicios que generan spam, como GoMail Pro, tienen ChatGPT integrado, lo que permite a los usuarios delincuentes traducir o mejorar los mensajes enviados a las víctimas, dice Ciancaglini. Las políticas de OpenAI restringen el uso de sus productos para actividades ilegales, pero eso es difícil de controlar en la práctica, porque muchas indicaciones que suenan inocentes también podrían usarse con fines maliciosos, dice Ciancaglini.
OpenAI dice que utiliza una combinación de revisores humanos y sistemas automatizados para identificar y hacer cumplir el uso indebido de sus modelos, y emite advertencias, suspensiones temporales y prohibiciones si los usuarios violan las políticas de la empresa.
«Nos tomamos en serio la seguridad de nuestros productos y mejoramos continuamente nuestras medidas de seguridad en función de cómo la gente usa nuestros productos», nos dijo un portavoz de OpenAI. «Trabajamos constantemente para hacer que nuestros modelos sean más seguros y robustos contra el abuso y las fugas, manteniendo al mismo tiempo la utilidad de los modelos y el rendimiento de las tareas», agregaron.
En un informe de febrero, OpenAI dijo que había cerrado cinco cuentas asociadas con actores maliciosos afiliados al estado.
Antes, las llamadas estafas del príncipe nigeriano, en las que alguien promete a la víctima una gran suma de dinero a cambio de un pequeño pago por adelantado, eran relativamente fáciles de detectar porque el inglés de los mensajes era torpe y estaba plagado de errores gramaticales, dijo Ciancaglini. . dice. Los modelos de lenguaje permiten a los estafadores generar mensajes que suenan como algo que habría escrito un hablante nativo.
“Los angloparlantes solían estar relativamente a salvo de los [delincuentes] que no hablaban inglés porque se podían detectar sus mensajes”, dice Ciancaglini. Ese ya no es el caso.
Gracias a una mejor traducción de la IA, diferentes grupos criminales de todo el mundo también pueden comunicarse mejor entre sí. El riesgo es que podrían coordinar operaciones a gran escala que se extiendan más allá de sus naciones y apuntar a víctimas en otros países, dice Ciancaglini.
Estafas de audio deepfake
La IA generativa ha permitido que el desarrollo de deepfake dé un gran paso adelante, con imágenes, videos y audio sintéticos que parecen y suenan más realistas que nunca . Esto no ha pasado desapercibido para el mundo criminal.
A principios de este año, un empleado en Hong Kong fue presuntamente estafado con 25 millones de dólares después de que los ciberdelincuentes utilizaran un deepfake del director financiero de la empresa para convencer al empleado de que transfiriera el dinero a la cuenta del estafador. «Hemos visto cómo los deepfakes finalmente se comercializan en el mundo clandestino», dice Ciancaglini. Su equipo encontró personas en plataformas como Telegram mostrando su “cartera” de deepfakes y vendiendo sus servicios por tan solo 10 dólares por imagen o 500 dólares por minuto de vídeo. Una de las personas más populares para que los delincuentes realicen deepfake es Elon Musk, dice Ciancaglini.
Y si bien los videos deepfake siguen siendo complicados de hacer y más fáciles de detectar para los humanos, ese no es el caso de los deepfakes de audio. Son baratos de hacer y requieren sólo un par de segundos de la voz de alguien (tomada, por ejemplo, de las redes sociales) para generar algo terriblemente convincente.
En los EE. UU., ha habido casos de alto perfil en los que personas recibieron llamadas angustiosas de sus seres queridos diciendo que habían sido secuestrados y pidiendo dinero para ser liberados, solo para que la persona que llamaba resultara ser un estafador que utilizaba una grabación de voz falsa. .
«La gente debe ser consciente de que ahora estas cosas son posibles, y la gente debe ser consciente de que ahora el rey de Nigeria ya no habla un inglés entrecortado», dice Ciancaglini. “La gente puede llamarte con otra voz y te puede poner en una situación muy estresante”, añade.
Hay algunos para que la gente se proteja, afirma. Ciancaglini recomienda acordar una palabra de seguridad secreta que cambie periódicamente entre sus seres queridos y que pueda ayudar a confirmar la identidad de la persona al otro lado de la línea.
«Protegí a mi abuela con una contraseña», dice.
Eludir los controles de identidad
Otra forma en que los delincuentes utilizan los deepfakes es eludir los sistemas de verificación de «conozca a su cliente». Los bancos y los intercambios de criptomonedas utilizan estos sistemas para verificar que sus clientes sean personas reales. Requieren que los nuevos usuarios se tomen una foto sosteniendo un documento de identificación físico frente a una cámara. Pero los delincuentes han comenzado a vender aplicaciones en plataformas como Telegram que permiten a las personas eludir este requisito.
Funcionan ofreciendo una identificación falsa o robada e imponiendo una imagen ultrafalsa encima del rostro de una persona real para engañar al sistema de verificación de la cámara de un teléfono Android. Ciancaglini ha encontrado ejemplos en los que las personas ofrecen estos servicios para el sitio web de criptomonedas Binance por tan solo 70 dólares.
«Todavía son bastante básicos», dice Ciancaglini. Las técnicas que utilizan son similares a los filtros de Instagram, donde se cambia la cara de otra persona por la propia.
«Lo que podemos esperar en el futuro es que [los delincuentes] utilicen deepfakes reales… para poder realizar una autenticación más compleja», afirma.
Jailbreak como servicio
Si preguntas a la mayoría de los sistemas de IA cómo fabricar una bomba, no obtendrás una respuesta útil.
Esto se debe a que las empresas de inteligencia artificial han implementado varias salvaguardas para evitar que sus modelos arrojen información dañina o peligrosa. En lugar de construir sus propios modelos de IA sin estas salvaguardas, lo cual es costoso, requiere mucho tiempo y es difícil, los ciberdelincuentes han comenzado a adoptar una nueva tendencia: el jailbreak como servicio.
La mayoría de los modelos vienen con reglas sobre cómo se pueden utilizar. El jailbreak permite a los usuarios manipular el sistema de inteligencia artificial para generar resultados que violen esas políticas; por ejemplo, escribir código para ransomware o generar texto que podría usarse en correos electrónicos fraudulentos.
Servicios como EscapeGPT y BlackhatGPT ofrecen acceso anónimo a API de modelos de lenguaje y mensajes de jailbreak que se actualizan con frecuencia. Para luchar contra esta creciente industria artesanal, las empresas de inteligencia artificial como OpenAI y Google con frecuencia tienen que tapar agujeros de seguridad que podrían permitir que se abuse de sus modelos.
Los servicios de jailbreak utilizan diferentes trucos para romper los mecanismos de seguridad, como plantear preguntas hipotéticas o formular preguntas en idiomas extranjeros. Existe un constante juego del gato y el ratón entre las empresas de inteligencia artificial que intentan evitar que sus modelos se porten mal y los actores maliciosos que presentan sugerencias de jailbreak cada vez más creativas.
Estos servicios están dando en el blanco de los delincuentes, afirma Ciancaglini.
“Mantenerse al día con las fugas es una actividad tediosa. Creas uno nuevo, luego necesitas probarlo, luego funcionará durante un par de semanas y luego Open AI actualiza su modelo”, añade. «El jailbreak es un servicio muy interesante para los delincuentes».
Doxxing y vigilancia
Los modelos de lenguaje de IA son una herramienta perfecta no sólo para el phishing sino también para el doxxing (revelar información privada e identificable sobre alguien en línea), dice Balunović. Esto se debe a que los modelos de lenguaje de IA se entrenan con grandes cantidades de datos de Internet, incluidos datos personales, y pueden deducir dónde, por ejemplo, podría estar ubicada alguien.
Como ejemplo de cómo funciona esto, podrías pedirle a un chatbot que se haga pasar por un investigador privado con experiencia en elaboración de perfiles. Luego, podría pedirle que analice el texto que la víctima ha escrito e infiera información personal a partir de pequeñas pistas en ese texto (por ejemplo, su edad según cuándo fue a la escuela secundaria o dónde vive según los puntos de referencia que menciona en su viaje). . Cuanta más información haya sobre ellos en Internet, más vulnerables serán a ser identificados.