Nueva técnica de ataque contra el chatbot Grok de xAI

Una empresa de seguridad especializada en IA, Adversa AI, ha puesto en público una vulnerabilidad que denomina Cryptographic Context Injection. Según su investigación, al solicitar a Grok que resuma una página web, el modelo puede incluir datos del usuario —nombre, ubicación aproximada, nivel de suscripción y los prompts de la conversación— en una respuesta que el atacante controla. El atacante recibe esta información a través de un servidor bajo su control, lo que permite robar datos sensibles de la interacción con el chatbot.

¿Cómo funciona?

  1. Petición al chatbot: El usuario pide a Grok que resuma el contenido de una página web.
  2. Inyección de contexto: El atacante manipula la petición para que el modelo inserte información del contexto criptográfico del usuario en la respuesta.
  3. Exfiltración: La respuesta, ahora contaminada, se envía al servidor del atacante, revelando datos personales y de suscripción.

Impacto potencial

  • Robo de datos personales: nombre y ubicación aproximada.
  • Exposición de información de suscripción: nivel de acceso a servicios premium.
  • Filtrado de prompts: permite al atacante conocer preguntas y respuestas previas, facilitando ataques de ingeniería social.

Recomendaciones preliminares

  • Limitar la exposición de datos de usuario en los encabezados de sesión.
  • Implementar validaciones estrictas de los parámetros que se envían al modelo.
  • Monitorear patrones de tráfico inusuales hacia dominios externos tras interacciones con el chatbot.

Cobertura de detección en DefensOps

  • Plan mínimo: Essential
  • Técnicas MITRE: N/A
  • Cobertura: Detección genérica mediante nuestro motor de correlación, incluido en el plan Essential.

¿Estás cubierto en DefensOps?

Nuestro motor de correlación analiza los flujos de datos y detecta patrones de exfiltración similares a la inyección de contexto criptográfico. Con el plan Essential dispones de alertas automáticas y dashboards personalizados que te ayudarán a identificar y responder a este tipo de amenazas.

Descubre los precios y solicita una demo

Fuente: The Hacker News