Bl0ckch41nnewsSidney: usuario engaña a ChatGPT en Bing para obtener documentos internos de Microsoft ~ Segu-Info

Si bien 2022 acabó con OpenAI sorprendiéndonos de nuevo con
ChatGPT
, una herramienta que ha hecho mella en el sector de la inteligencia
artificial, todo apunta a que 2023 está siendo una carrera por saber quién
implementa antes este tipo de herramientas en los productos que utilizamos en
nuestro día a día. En este sentido, parece que Microsoft lleva la delantera,
ya que recientemente anunció
la integración de ChatGPT en Bing Search
.

Actualmente para acceder al «rediseño» del buscador de Bing hay que entrar en
una lista de espera. Sin embargo, ya son muchos los usuarios que han podido
probar las capacidades de ChatGPT en Bing. También ha habido tiempo para
desvelar algunos de sus secretos. Y es que un usuario ha mostrado cómo ha
engañado a la IA para obtener el documento interno de Bing Search con todo
tipo de detalles sobre sus capacidades y limitaciones.

Las directrices que Microsoft le ha dado a «Sidney», nombre en clave de la IA
de Bing

Con el nombre en clave «Sidney», Bing, o más concretamente ChatGPT, ha
sido víctima de un ataque de «inyección de prompt«. Este tipo de
ataques consisten en engañar a una inteligencia artificial introduciendo un
input malicioso o contradictorio con el fin de realizar una tarea que no forma
parte del objetivo inicial de la IA.

En este caso, el usuario que ha realizado la hazaña ha sido un estudiante de
la Universidad de Standford, Kevin Liu, pudiendo engañar a ChatGPT para
obtener un documento interno con todas las directrices que Microsoft le ha
dado a la inteligencia artificial para instruirla a la hora de dar respuestas
al usuario y no perjudicarlo de ninguna forma. También hay directrices para no
filtrar contenido interno.

Parece que la compañía necesita pulir un poco más esas directrices, y es que
con un poco de maña, Liu pudo obtener todos los puntos clave de las
directrices de Sidney. El usuario ha podido compartir toda la conversación a
través de unas capturas en Twitter.

Por medio de un ataque de inyección de prompt, la IA iba soltando
píldoras de información a cada pregunta que le hacía el usuario. Esta
información tenía que ver con aspectos como la instrucción recibida para la
introducción, su nombre en clave, el número de idiomas que admite, y algunas
instrucciones sobre su comportamiento. La información ha sido confirmada
además por otro estudiante,
Marvin von Hagen, quien se hacía pasar por un desarrollador de OpenAI para engañar a la IA.

Tras haber trasteado un poco con la herramienta, Liu pensó que había sido
baneado del servicio según
comenta en Twitter. Sin embargo, tiempo después pudo volver a utilizarla con
normalidad.

Microsoft se adelanta en inteligencia artificial

La gran
inversión de Microsoft en OpenAI parece que está empezando a dar sus frutos. Tan solo
hay que fijarse en algo inaudito: Bing está ahora en boca de todos. Esto no
significa ni mucho menos que le esté comiendo la tostada a Google, aún es
pronto para hablar en esos términos. Sin embargo, lo que está claro es que
Google está siendo la última en mover ficha en lo que respecta a integrar
herramientas de IA a sus productos, y eso podría afectar gravemente su
posición en unos años.

No obstante, ya pudimos ver en acción a
Google Bard, la IA que Google espera añadir a su buscador. Bard es un proyecto de IA
conversacional, basado en el modelo de lenguaje LaMDA en el que la empresa
lleva trabajando años. Bard tiene por objetivo ofrecer una herramienta de IA conversacional al usuario, pudiendo agregarse posteriormente al buscador de Google para potenciar las
respuestas y marcar así otro paso evolutivo en la compañía.

Fuente:
Genbeta