Google Gemini Live évolue en un véritable assistant multimodal

Dans un moment déterminant pour l'intelligence artificielle mobile au MWC 2026, Google a annoncé une mise à jour transformatrice de Gemini Live, dotant son IA conversationnelle de la capacité à « voir » et à comprendre le monde via la vidéo en direct et le partage d'écran. Ce développement marque la réalisation commerciale de la vision « Project Astra », faisant passer Gemini Live d'interactions uniquement vocales à une expérience pleinement multimodale qui traite les données visuelles en temps réel.

Prévue pour être déployée auprès des abonnés Advanced sur les appareils Android en mars 2026, cette mise à jour place Google en position de concurrence agressive face aux modèles multimodaux rivaux, offrant aux utilisateurs un assistant numérique qui peut non seulement entendre et parler, mais aussi observer et analyser à la fois l'environnement physique et le contenu à l'écran.

L'ère des « yeux » pour l'IA

Le cœur de cette mise à jour est l'intégration du traitement visuel en temps réel dans l'interface de Gemini Live. Auparavant, les utilisateurs pouvaient converser avec Gemini, mais l'IA manquait de contexte sur l'environnement immédiat de l'utilisateur à moins que des photos ne soient téléchargées manuellement. Avec la nouvelle fonctionnalité Analyse vidéo en direct, la dynamique change fondamentalement.

Les utilisateurs peuvent désormais activer la caméra au sein d'une session Gemini Live, ce qui permet à l'IA de traiter un flux vidéo continu. Cela rend l'interaction plus naturelle et fluide, où l'IA peut identifier des objets, lire du texte dans l'environnement et fournir des conseils contextuels sans que l'utilisateur ait besoin de prendre des images statiques.

Applications concrètes

Les applications pratiques de cette technologie sont vastes. Google a démontré plusieurs cas d'utilisation convaincants lors de l'annonce :

• Dépannage matériel : Un utilisateur peut pointer sa caméra vers un appareil défectueux ou une partie spécifique d'un moteur de voiture, et Gemini Live peut identifier les composants et guider l'utilisateur à travers les étapes de réparation en temps réel.
• Assistance créative : Dans une démonstration impliquant de la poterie, un utilisateur a montré à Gemini un ensemble de vases cuits. L'IA a analysé les textures et les formes pour suggérer des couleurs d'émail permettant d'obtenir une esthétique « mid-century modern ».
• Accessibilité : Pour les utilisateurs malvoyants, cette fonctionnalité offre un outil descriptif très réactif capable de narrer les environs ou de lire instantanément des panneaux.

Conscience intelligente de l'écran

Au-delà du monde physique, Google offre à Gemini Live une compréhension approfondie de l'espace de travail numérique via les fonctionnalités Contexte d'écran. Cette fonctionnalité permet à l'IA de « voir » l'écran de l'utilisateur pendant une conversation, comblant ainsi le fossé entre l'assistance en arrière-plan et la collaboration active.

Lorsqu'elle est activée, les utilisateurs peuvent appuyer sur un bouton « Partager l'écran avec Live », accordant à l'IA la permission d'analyser l'application ou le site web actif. Contrairement à l'analyse d'une simple capture d'écran, cette fonctionnalité prend en charge un dialogue continu pendant que l'utilisateur navigue sur son appareil.

Cas d'utilisation clés pour le partage d'écran :

1. Compagnon de shopping : Un utilisateur parcourant une boutique de vêtements en ligne peut demander à Gemini si une paire de jeans va avec une chemise qu'il a consultée précédemment, ou demander des conseils de style basés sur les tendances actuelles de la mode.
2. Navigation complexe : Lors de l'utilisation d'applications de cartographie ou de sites de réservation de voyages, les utilisateurs peuvent demander à Gemini de repérer des détails spécifiques — comme « Lequel de ces hôtels offre le petit-déjeuner gratuit et est le plus proche du métro ? » — ce qui évite à l'utilisateur de filtrer manuellement une masse d'informations.
3. Soutien éducatif : Les étudiants peuvent partager leur écran tout en regardant un diagramme complexe ou un article en langue étrangère, et demander à Gemini d'expliquer des concepts ou de traduire le texte in situ.

Comparaison des générations de Gemini Live

Le passage de l'itération précédente de Gemini Live à cette nouvelle version multimodale représente un bond significatif en termes de capacités. Le tableau suivant décrit les principales différences :

La technologie derrière la vision

Cette mise à jour est largement alimentée par les avancées réalisées dans le cadre de « Project Astra », une initiative de recherche axée sur la création d'agents d'IA universels capables de percevoir, raisonner et agir en temps réel. La transition de ces fonctionnalités d'une démonstration de recherche à un produit grand public met en évidence le cycle de développement accéléré de Google dans le domaine de l'IA générative (Generative AI).

Pour atteindre la faible latence requise pour une conversation « en direct » sur de la vidéo, Google a optimisé l'architecture Gemini 2.0. Le traitement de trames vidéo continues exige une puissance de calcul immense ; Google utilise une approche hybride, traitant certaines données sur l'appareil (via les dernières puces Tensor) tout en déléguant le raisonnement complexe vers le cloud. Cela garantit que lorsqu'un utilisateur demande « Quel est ce bâtiment ? » en balayant sa caméra, la réponse est presque instantanée.

Confidentialité et contrôle utilisateur

Avec l'introduction de fonctionnalités d'IA en mode surveillance permanente, la confidentialité reste une préoccupation majeure. Google a mis en place des garde-fous stricts pour ces nouvelles capacités :

• Activation explicite : Les modes caméra et partage d'écran ne sont jamais activés par défaut. Les utilisateurs doivent explicitement appuyer sur une icône dédiée pour activer la « vision » pour la session.
• Indicateurs visuels : Une notification à l'écran bien visible persiste chaque fois que l'IA « regarde » l'écran ou le flux de la caméra.
• Rétention des données : Google indique que les données vidéo traitées pendant ces sessions en direct sont transitoires et ne sont pas stockées de façon permanente pour l'entraînement des modèles par défaut, bien que les utilisateurs puissent choisir d'enregistrer leur historique d'interactions.

Déploiement et disponibilité

Google a confirmé que ces fonctionnalités ne seront pas initialement disponibles pour le niveau gratuit des utilisateurs de Gemini. Le déploiement est prévu pour mars 2026, exclusivement pour les abonnés Advanced sur le plan Google One AI Premium.

Le lancement privilégiera l'écosystème Android, avec une intégration poussée prévue pour les appareils Pixel et la dernière série Galaxy S de Samsung. Bien qu'une sortie sur iOS soit attendue, aucun calendrier précis n'a été communiqué lors de l'annonce au MWC. Cette stratégie souligne l'intention de Google d'utiliser sa maîtrise de l'IA comme un élément différenciateur clé pour la plateforme Android.

À mesure que les frontières entre assistants numériques et perception de niveau humain s'estompent, les nouvelles capacités de Gemini Live fixent un haut niveau pour les concurrents. La capacité de passer sans friction entre parler, montrer et partager crée une expérience d'assistant mobile qui correspond enfin à la promesse de la science-fiction d'un compagnon IA toujours conscient.