Un nuevo informe de investigadores de Cisco y la Universidad de Pensilvania ha puesto en evidencia serias vulnerabilidades en el chatbot de inteligencia artificial R1 de DeepSeek. El modelo, desarrollado por la empresa china, no fue capaz de detectar ni bloquear ninguna de las cincuenta órdenes maliciosas con las que fue evaluado, lo que resultó en una tasa de éxito del 100% en los ataques. Este hallazgo pone en duda la fiabilidad del sistema de seguridad de DeepSeek, que había ganado atención por su enfoque en ofrecer modelos de IA a bajo costo.

El equipo utilizó una base de datos estándar llamada HarmBench, diseñada para probar la resistencia de los sistemas de IA a cibercrimen y contenido dañino. A diferencia de otros modelos, el R1 no detectó ni bloqueó ninguna de las amenazas, lo que resalta la falta de inversión en medidas de seguridad, según DJ Sampath, vicepresidente de producto de Cisco. Además, expertos en IA como Alex Polyakov, director ejecutivo de Adversa AI, señalaron que muchos de los métodos utilizados en los ataques son tácticas documentadas que deberían haber sido prevenidas por un sistema de seguridad adecuado.

Una de las preocupaciones más alarmantes es la vulnerabilidad del modelo a los "jailbreaks", manipulaciones que permiten eludir las restricciones de seguridad y generar contenido riesgoso como discursos de odio o instrucciones para actividades ilegales. Aunque este tipo de ataques no es exclusivo de DeepSeek, los investigadores subrayaron que algunos de estos métodos han sido conocidos durante años, lo que pone de manifiesto la falta de protección en el sistema de la empresa.

La capacidad del modelo R1 para resistir estos ataques es de particular preocupación, ya que se destina a ofrecer procesos avanzados y mejorar el rendimiento en diversas aplicaciones. Sin embargo, su desempeño en términos de seguridad fue insatisfactorio. Además, expertos han alertado sobre los riesgos de integrar este tipo de modelos en infraestructuras críticas, ya que la vulnerabilidad a ataques avanzados podría tener consecuencias graves para empresas y usuarios.

A pesar de la creciente preocupación y la cobertura mediática, DeepSeek aún no ha emitido una respuesta oficial. La situación resalta la necesidad urgente de supervisión y pruebas continuas en modelos de inteligencia artificial emergentes para prevenir posibles riesgos y daños.