Microsoft Copilot Vision, cómo funciona la IA que puede ver por ti

Copilot añade nuevas funciones a su IA

La inteligencia artificial está ganando cada vez más utilidades que pueden mejorar la experiencia de usuario en tu día a día. Hemos visto como Copilot se ha actualizado para añadir reconocimiento de voz y respuestas habladas, todo con lenguaje natural. Pero esta función también se acompaña de otra que te permitirá interactuar con tu alrededor, Copilot Vision permite ver lo que hay en tu pantalla o a través de la cámara de tu teléfono para ayudarte con lo que estés haciendo.

La Inteligencia Artificial sigue dando pasos para avanzar en esta primera etapa en la que se encuentra. El potencial de esta reciente tecnología puede seguir avanzando y ofreciendo alternativas que nos ayuden en nuestro día a día, más lejos de los habituales chatbot que nos ofrecen respuestas. Microsoft se ha reinventado con Copilot Vision, que forma parte de Copilot Labs, permitiendo que este apartado de la IA Microsoft Copilot permita incluso ver por nosotros.

Copilot está disponible en todos los PCs con Windows 11, no necesitas que tu PC sea un Copilot+ PC o disponga de una potente NPU. Podrás probar esta nueva función incluida en el asistente de IA integrado en Windows en prácticamente cualquier ordenador. Gracias a la integración que está llevando a cabo Microsoft con su IA, podemos usar esta herramienta de forma general con Windows 11, también en nuestro teléfono móvil o incluso directamente integrado en Edge.

Además, recuerda que también está integrado con Microsoft 365 y te ayudará en las aplicaciones que forman este paquete de ofimática.

Veamos por separado qué puede hacer esta nueva opción por nosotros, pero primero vamos a ver cómo activarlo en tu PC con Windows 11.

Cómo activar Microsoft Copilot Vision en Windows

Lo principal es que debemos contar con la aplicación, que puedes descargar desde la propia Microsoft Store, os dejamos el enlace aquí para que puedas instalarla, es gratis. Si ya la tenías instalada, asegúrate de que tienes todas las actualizaciones de esta aplicación al día. Es necesario actualizarla ya que estas funciones se han incluido más recientemente.

Una vez instalada y actualizada, vamos a revisar donde está la opción que nos permitirá dar ojos a Copilot a través de Vision. Solo tienes que seguir estos pasos.

1. Abre Microsoft Copilot de la forma que más sencillo te resulte. Puedes pulsar la tecla Copilot si tu portátil la tiene, puedes buscarlo en el buscador de Windows o ir directamente a la aplicación si la tienes anclada en la barra de tareas, por ejemplo.

   

2. Ahora tendrás que hacer grande la ventana de la aplicación, ya que por defecto aparece con la ventana en pequeño. Para esto haz clic en el recuadro con una flecha que hay en la parte superior derecha, al lado de la X para cerrarla.

   

3. Seguidamente abre la barra lateral haciendo clic en el icono que hay simulando esta barra en la parte superior izquierda, justo al lado de las palabras Copilot.

   

4. En la parte inferior tendrás que hacer clic en el icono de tu usuario y abrir la configuración.

   

5. Deberás bajar hasta encontrar la opción Copilot Vision, está justo debajo del Modo de Voz que hemos visto en la otra guía. Asegúrate de que está activada.

   

Con estos sencillos pasos ya podemos iniciar la IA de Microsoft para que pueda ver por nosotros y ayudarnos con el exterior, sin límites de uso.

Leer la pantalla de tu PC

Si estás usando la Inteligencia Artificial en tu PC de forma general en tu Windows 11, puedes pedir a Copilot que lea tu pantalla para que te pueda ayudar y así mejorar la experiencia de usuario. Una opción muy útil a la hora de tomar decisiones y así ahorrarte explicar todo por escrito, como lo venías haciendo con el habitual chatbot, además puedes usar tu voz gracias a Copilot Voice.

Para iniciarlo solo tienes que hacer clic en el icono de las gafas que encontrarás en la parte derecha del recuadro para escribir los prompt. Al hacer clic en este icono, Copilot te preguntará qué quieres compartir, donde encontrarás como opciones las diferentes pantallas que tengas conectadas o solo una si no tienes más. También podrás compartir alguna ventana o aplicación específica, para que no pueda ver más allá de lo que tú quieres que vea y así preservar tu privacidad.

Una vez compartida Copilot te puede ayudar con lo que está viendo en tu pantalla. Si compartes una ventana de una aplicación, un documento en PDF o incluso una página web, Vision te ayudará con el contenido. Es capaz de leer por ti, detectar botones y formularios y resaltarlos para que sea más cómodo localizarlos y rellenarlos. También puede marcar los enlaces que estés buscando por ti, para que puedas identificarlos con mayor facilidad.

Pero compartir la pantalla tiene otras ventajas que puedes aprovechar con esta IA, puedes pedirle que te describa el contenido de la pantalla. Si hay imágenes puedes obtener una descripción de estas, también puede narrar gráficos o formularios y ayudarte a interpretarlos si no los comprendes con claridad.

Como vemos, esta función es muy útil para ayudarte a entender y encontrar lo que hay en tu pantalla.

Copilot Vision tiene ojos en tu teléfono móvil

La inteligencia artificial de Windows no solo está presente en los ordenadores con Windows 11, sino que también puedes hacer uso de ella en teléfonos móviles Android e iOS. Si tienes Copilot instalado en tu teléfono, Vision puede usar la cámara de este para que sean sus ojos, una función que permitirá a la IA ver que hay a tu alrededor.

Para aprovechar esta función, a través de tu teléfono móvil puede usar la cámara para reconocer objetos. Puede reconocer desde plantas, animales, edificios, monumentos, alimentos, etc., que identificará y nombrará para ti.

También puede ayudarte a leer, apuntando con tu cámara sobre carteles, documentos un menú de un restaurante o etiquetas de productos o ropa. Puede ofrecerte consejos sobre sus cuidados, elegir la comida que más te gusta o informarte sobre actividades, rutas, etc. Solo tendrás que llevar la cámara de tu teléfono sobre estos objetos para obtener toda la información.

No te preocupes si no estás en tu país y no dominas la lengua de donde te encuentras, Copilot también puede traducir texto en tiempo real. Puedes ver la carta de un restaurante, carteles indicativos en las calles o diferentes textos que puedes encontrar para traducirlos de forma inmediata.

Si te encuentras un enlace o un código QR también podrá llevarte hasta la página web que enlaza, solo tienes que ponerlo a la vista de tu cámara.

Si prefieres un análisis de imagen también es capaz, identificará imágenes poco claras o legibles y además extraer información de ellas. Puedes ver el precio de algo, las instrucciones o directamente que ingredientes lo compone. También puedes preguntar la imagen que está viendo, útil para identificar plantas o árboles, frutas, símbolos, etc.

Usa Copilot Vision en Microsoft Edge

Si estás navegando por Internet también te resultará muy útil gracias a su integración con Microsoft Edge. Esto permite que Copilot pueda acceder, siempre que tu lo permitas, al contenido por el que estés navegando para aplicar sus ventajas también dentro de las web.

Como es de esperar, con acceso al contenido de tu navegador, esta IA puede leer lo que estás viendo en esa página web. Esto te ofrece como ventaja poder pedirte que te lea el contenido e incluso puedes pedir que te describa y explique gráficos que haya dentro de la web, incluso una descripción de imágenes que sean poco claras para ti.

Otra de las ventajas de contar con esta IA dentro de Edge es poder resumir el contenido de una página web. Imagina que estás leyendo una extensa noticia y tienes poco tiempo, puedes pedir a Copilot que te haga un resumen, incluso afinando la extensión para que te ocupe mas o menos tiempo leerlo. También podrás obtener un resumen cuando el texto es demasiado técnico y prefieres que sea en un lenguaje que puedas entender si no estás especializado en la materia, solo tienes que pedírselo.

No te preocupes si estás accediendo a contenido en otro idioma, Copilot puede traducirlo en tiempo real. También puedes combinar varias de estas funciones, como pedir a Copilot un resumen del contenido y que lo traduzca a otro idioma, una opción muy útil cuando cuentas con extensa documentación disponible en varios idiomas que no dominas.

Integrado en el navegador también es capaz de explicarte ciertos conceptos o terminología específica. Puedes pedir que te cuente con tus palabras algunas cuestiones legales para que las puedas entender, también es posible hacerlo con definiciones técnicas o incluso con cuestiones médicas.

Copilot te puede guiar en las páginas web más extensas o complejas, puede identificar botones, formularios, detectar filtros, enlaces, e incluso algunas opciones ocultas. También es capaz de buscar para ti ofertas si estás viendo algún producto, e incluso las opiniones de usuarios acerca de él. Si es un producto con requisitos, también puedes preguntar si es compatible o si es adecuado para ti.

Unos ojos para tu PC y móvil con múltiples opciones

Como podemos ver, la Inteligencia Artificial sigue avanzando, haciendo uso del hardware de tus dispositivos para complementarla. Puedes añadir ojos a Microsoft Copilot para poder ver lo que hay en tu pantalla o incluso ver alrededor dando permiso para ver a través de tu cámara.

Un complemento que ayudará a expandir tus respuestas con nuevas funciones, sin recurrir al habitual prompt o texto en el que describes la situación. Con esta función no será necesario describir el entorno o darle referencias, directamente podemos dejar que vea por nosotros compartiendo la pantalla, una app o desde la cámara de nuestro teléfono para ver alrededor en el mundo real.

Puedes obtener resúmenes sin copiar y pegar el texto, traducir sin tener que hacer fotos o incluso obtener una descripción de una foto o gráfico sin necesidad de guardarla y añadirla al chat de la IA. Además, puede complementarse muy bien con el navegador Edge, resaltando botones, enlaces o incluso encontrando contenido oculto. También te ayudará con los formularios y haciendo tu navegación más sencilla.

Aprovecha esta función y haz que tu inteligencia artificial gane unos ojos para que tu experiencia de usuario gane más en tu día a día.

Fin del Artículo. ¡Cuéntanos algo en los Comentarios!