La Inteligencia Artificial (IA) está zumbando de nuevo gracias al reciente
lanzamiento de
ChatGPT
de OpenAI, un
chatbot de lenguaje natural
que las personas están utilizando para escribir correos electrónicos, poemas,
letras de canciones y ensayos universitarios.
Los primeros usuarios incluso lo han utilizado para escribir código Python,
así como para crear shellcode y reescribir código en C. ChatGPT ha
despertado esperanza entre las personas ansiosas por la llegada de
aplicaciones prácticas de IA, pero también plantea la pregunta de si desplazará a los programadores y desarrolladores de la misma manera que los
robots y las computadoras han reemplazado a algunos cajeros, trabajadores de
la línea de ensamblaje y, quizás en el futuro, taxistas.
ChatGPT ha impresionado a mucha gente porque hace un buen trabajo al simular
la conversación humana. Desarrollado por
OpenAI, el
creador del popular motor de IA DALL-E, está impulsado por un gran modelo de
lenguaje entrenado en grandes cantidades de texto extraído de Internet,
incluidos los repositorios de código. Utiliza algoritmos para analizar el
texto y los humanos ajustan el entrenamiento del sistema para responder a las
preguntas de los usuarios con oraciones completas que suenan como si hubieran
sido escritas por un humano.
Con el aprendizaje automático en su núcleo, ChatGPT genera respuestas
utilizando una gran colección de datos de 2021 y anteriores. Como el
desarrollador, OpenAI, ha indicado que si bien ChatGPT es una herramienta en
línea, en realidad no tiene acceso a Internet y, por lo tanto, no puede
consultar ni leer nada en línea, lo que hace que no pueda proporcionar
respuestas actualizadas.
En cambio, cuando se le solicita código fuente, ChatGPT genera código
modificado o inferido basado en los parámetros establecidos en lugar de
simplemente reproducir ejemplos que haya aprendido o visto previamente. Hay
que tener en cuenta que, aunque ChatGPT intentará responder cualquier cosa,
tiene filtros de contenido incorporados que le impiden responder preguntas
sobre temas que podrían ser problemáticos, como la inyección de código, por
ejemplo, ¿o sí? La mayoría de las veces, los ChatBots tienen puntos ciegos,
que permitirían evitar los filtros.
«Las impresionantes características de ChatGPT ofrecen ejemplos de código
intuitivos y sofisticados, que son increíblemente beneficiosos para
cualquier persona en el negocio del software», escribieron los investigadores de CyberArk Eran Shimony y Omer Tsarfati
esta semana en una
publicación de blog
que aparentemente fue escrita por AI.
«Sin embargo, encontramos que su capacidad para escribir malware
sofisticado también es bastante avanzada».
Si bien los filtros de contenido incorporados de ChatGPT están destinados a
evitar que ayude a crear malware, los investigadores pudieron evitar
rápidamente esos filtros repitiendo y reformulando sus solicitudes, y cuando
usaron la API en lugar de la versión web, ningún filtro de contenido fue
utilizado en absoluto.
Los investigadores sugieren que la API de ChatGPT podría aprovecharse dentro
del propio malware, entregando módulos para realizar diferentes acciones según
sea necesario. «Esto da como resultado malware polimórfico que no exhibe un
comportamiento malicioso mientras está almacenado en el disco y, a menudo, no
contiene lógica sospechosa mientras está en memoria», escribieron.
¿Cómo responder a la amenaza ChatGPT?
El CISO de Inversion6, Jack Nicholson, dijo a eSecurity Planet que las organizaciones deben tomar medidas proactivas para mitigar
la amenaza potencial del uso malicioso de los modelos de IA. «Esto incluye
invertir en investigación y desarrollo de seguridad, configuración de
seguridad adecuada y pruebas regulares, e implementar sistemas de monitoreo
para detectar y prevenir el uso malicioso», dijo.
La aparición de la codificación asistida por IA, dijo Nichelson , es una nueva
realidad que las empresas tienen que aceptar y responder. «La capacidad de
reducir o incluso automatizar el proceso de desarrollo utilizando IA es un
arma de doble filo, y es importante que las organizaciones se mantengan a la
vanguardia invirtiendo en investigación y desarrollo de seguridad», dijo.
También es importante tener en cuenta, agregó, que ChatGPT no es el único
modelo de lenguaje de IA que presenta esta amenaza potencial: otros, como
GPT-3, podrían hacer lo mismo. «Por lo tanto, es importante que las
organizaciones se mantengan informadas sobre los últimos avances en IA y sus
riesgos potenciales», dijo Nichelson.
Fuentes: eSecurity Planet | DevOps | CyberArk | DeepInstinct
Traducción y colaboración de Diego M. Romero
Los comentarios están cerrados.