Google prépare une fonctionnalité révolutionnaire pour Gemini qui permettra à l’assistant IA de contrôler directement votre téléphone Android pour effectuer des tâches complexes à votre place. Cette nouvelle capacité appelée « screen automation » (automatisation d’écran) pourra passer des commandes, réserver des courses et interagir avec différentes applications installées sur votre appareil.
Comment ça fonctionne
La version bêta 17.4 de l’application Google révèle les détails de cette fonctionnalité baptisée en interne « bonobo ». Gemini pourra interagir avec certaines applications de votre téléphone de manière autonome, en effectuant les actions nécessaires pour accomplir la tâche demandée . Cette fonction s’appuie sur les fondations posées par Android 16 QPR3.
L’utilisateur garde cependant le contrôle : vous pourrez à tout moment arrêter l’agent IA et reprendre la tâche manuellement. Google insiste sur le fait que « Gemini peut faire des erreurs » et que « vous êtes responsable de ce qu’il fait en votre nom, donc surveillez-le attentivement ».
Questions de confidentialité
Google a prévu plusieurs garde-fous concernant la vie privée :
- Lorsque Gemini interagit avec une application, des captures d’écran sont examinées par des réviseurs humains et utilisées pour améliorer les services Google si l’option « Conserver l’activité » est activée
- Il est recommandé de ne pas entrer d’informations de connexion ou de paiement dans les discussions Gemini
- L’automatisation d’écran ne doit pas être utilisée pour les urgences ou les tâches impliquant des informations sensibles
Intégration avec les avatars 3D
La mise à jour révèle également une fonctionnalité « Likeness » (nom de code « wasabi ») qui fait référence aux avatars 3D actuellement utilisés dans Android XR pour les appels Google Meet . Cette intégration suggère une possible utilisation de ces avatars personnalisés dans l’interface Gemini.
Cette fonctionnalité n’est pas encore officiellement lancée et reste pour l’instant au stade de développement dans les versions bêta.
