Microsoft advierte, los Agentes de IA de Windows 11 en fase beta vienen con errores y alucinaciones

La inteligencia artificial sigue avanzando para ofrecer mejor experiencia de usuario en el sistema operativo por excelencia de Microsoft, Windows 11. Recientemente se han introducido agentes en los canales para desarrolladores y beta de Windows 11, unos agentes de los que Microsoft ya ha advertido a los usuarios que vayan a probar esta nueva forma de IA que pueden producir respuestas erróneas y alucinar.

Los nuevos Agentes de Windows 11 vienen en versión Beta

Con la versión de Windows 11 26220.7262 se han introducido los agentes de IA que cuentan con mayor control sobre el sistema operativo. Estos vienen desactivados por defecto, y si quieres probarlos y hacer uso de ellos tendrás que habilitarlos de forma manual. Microsoft ya ha advertido que, como su propio nombre indica, estos están en fase beta y pueden contener errores, así como alucinar en sus respuestas y comportarse de manera inesperada.

Pueden ofrecer respuestas incorrectas y comportarse de manera inesperada

También ha advertido sobre los posibles ataques usando Agentes de IA, una nueva técnica con la que hay que extremar la precaución. Los agentes pueden ser fruto de ataques con prompts adjuntos en documentos y otros archivos, donde pueden añadir un prompt oculto que realice estas acciones de forma adicional a las peticiones del usuario, lo que se denomina Inyección de Prompt Cruzado. Para esto Microsoft también está añadiendo medidas extra de seguridad que puedan evitar estos ataques.

Nuevos ataques de Inyección de Prompt y nuevas medidas de Microsoft para evitarlos

Las medidas de seguridad implementadas por Microsoft pasan por ofrecer un espacio independiente para cada agente, una cuenta para cada uno junto con un árbol de procesos separado. Además, cada acción queda registrada para que los administradores puedan revisar qué ha sucedido con los Agentes. A pesar de estas medidas, los agentes cuentan con acceso a las carpetas más comunes como Escritorio o Descargas, pero no tendrán acceso a las carpetas del sistema o las protegidas por el usuario, a menos que se le ofrezca acceso de forma manual.

Los agentes registran todas sus acciones y no tienen acceso a carpetas de sistema o protegidas

Las medidas de seguridad son parte del MCP, que está pensado para actuar de intermediario entre los agentes y las diferentes herramientas que pueden manejar, y así vigilar las acciones de estos. Funciones que llegarán, por ejemplo, a la barra de búsqueda y que mejorará los resultados al añadir la IA.

La barra de búsqueda incorporará agentes para mejorar los resultados

Por el momento tendremos que esperar que Microsoft afine estos agentes en las versiones beta y preview, a la espera que se implemente en una versión final de Windows disponible para todos los usuarios. Para esto tendrá que mejorar los resultados y evitar estas alucinaciones, a la vez que refuerza (aún más si cabe) la seguridad para evitar estos nuevos ataques de Inyección de Promt Cruzado que pueden comenzar a expandirse con esta nueva llegada de los Agentes.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!