El asistente inteligente de Google, “Gemini”, ha comenzado a desarrollar “sentido del humor”, o al menos se ha vuelto mejor “leyendo la situación”. Google presenta una nueva función de contexto de pantalla que permite a la inteligencia artificial escanear lo que aparece en su teléfono para comprender instantáneamente sus consultas relacionadas con el contenido mostrado.
Contenido del artículo:
- Introducción
- ¿Qué es la función de contexto de pantalla?
- Asistencia proactiva
- Privacidad y mecanismos de control
- Rendimiento y limitaciones técnicas
- Importancia para los usuarios y accesibilidad
- ¿Qué podemos esperar en el futuro?
- Preguntas frecuentes
Introducción
En un esfuerzo por hacer que el asistente inteligente sea más natural y rápido, Google ha lanzado una nueva función en “Gemini” que elimina la necesidad de presionar el botón “Preguntar sobre esta pantalla”. Esta función promete ofrecer una asistencia más rápida y fluida a través de aplicaciones, fotos e incluso videos, a la vez que proporciona un interruptor para los usuarios que prefieren mantener su privacidad y desactivar esta característica.
¿Qué es la función de contexto de pantalla?
La función de “Contexto de pantalla” está diseñada para capturar esos momentos en los que señalas algo que estás viendo y esperas una respuesta inmediata. Si preguntas “¿Qué significa este error?”, “Resume este artículo” o “Compara estos dos modelos”, Gemini ahora puede tomar una captura de pantalla, analizar el contenido proporcionado y ofrecer una respuesta en pantalla sin ningún paso adicional.
Esta función funciona con imágenes, fotogramas de video, páginas web, documentos y muchas pantallas de aplicaciones, lo que hace que las tareas diarias como traducir texto en un mensaje o extraer información de la página de un producto parezcan mucho más fluidas.
Asistencia proactiva
Esta idea sigue la larga trayectoria de Google en la integración de contexto, según explicó Johnny Lee, director de producto de la Búsqueda de Google. La diferencia ahora es que Gemini se ha vuelto “proactivo”. El asistente no esperará una señal manual de tu parte si está bastante seguro de que tu pregunta está relacionada con lo que estás viendo actualmente en la pantalla. Esta tecnología se inspira en funciones anteriores como “Rodear para buscar” (Circle to Search), pero con una mayor evolución en la comprensión de la intención del usuario.
Privacidad y mecanismos de control
Cuando llegue la función, los usuarios verán una tarjeta informativa que explica cómo Gemini puede tomar una captura de pantalla para responder preguntas. El usuario tiene total libertad para mantener la función activada para una experiencia más fluida o desactivarla de inmediato. Los ajustes también se pueden modificar más adelante en el menú de configuración de Gemini.
En Android, las restricciones de seguridad de las aplicaciones siguen vigentes. El contenido de aplicaciones bancarias o servicios de streaming protegidos no estará disponible para su análisis, al igual que las pestañas de incógnito. El sistema se basa en tus pistas lingüísticas; las preguntas directas como “Explica este gráfico” aumentan la probabilidad de que se capture la pantalla en comparación con frases ambiguas.
Rendimiento y limitaciones técnicas
En las pruebas iniciales, la precisión de las respuestas varió, y las respuestas con conciencia de pantalla funcionaron con éxito en aproximadamente la mitad de los casos, dependiendo de la formulación de la pregunta y de la aplicación utilizada. La ambigüedad es el peor enemigo; si haces una pregunta general sin aclarar que te refieres a lo que está visible, el modelo puede elegir la ruta segura y no analizar la pantalla.
También existen casos técnicos complejos, como diseños de ventanas múltiples, contenido dinámico de movimiento rápido y textos altamente ornamentados que pueden confundir las técnicas de reconocimiento óptico de caracteres (OCR).
Importancia para los usuarios y accesibilidad
Al eliminar el toque adicional, Gemini refleja la forma natural en que los humanos piden ayuda, lo cual es vital en situaciones con las manos ocupadas o con fines de accesibilidad. Esto acerca al asistente al concepto de “agentes” que comprenden el entorno digital del usuario, reduciendo las tareas de varios pasos a una sola consulta simple.
¿Qué podemos esperar en el futuro?
Se espera que la función se implemente lentamente con actualizaciones del lado del servidor y actualizaciones de aplicaciones. La precisión mejorará a medida que Google ajuste los umbrales de detección y agregue más tipos de contenido. Los administradores empresariales y educativos también verán controles de políticas sobre cuándo puede aparecer el contexto de pantalla en los dispositivos administrados.
Preguntas frecuentes
Pregunta: ¿Gemini fotografía todo en mi pantalla todo el tiempo?
Respuesta: No, Gemini solo analiza la pantalla cuando detecta a través de tu pregunta que estás consultando sobre contenido que se muestra actualmente, y puedes desactivar esta función por completo.
Pregunta: ¿Funciona la función con aplicaciones bancarias?
Respuesta: No, las aplicaciones que utilizan protocolos de seguridad en Android (como bancos y Netflix) están bloqueadas para su escaneo con el fin de preservar la privacidad.
Pregunta: ¿Cómo activo o desactivo la función?
Respuesta: Aparecerá una tarjeta de configuración en el primer uso y luego podrás controlarla a través de la configuración de la aplicación Gemini en tu teléfono.
