Google prépare une fonctionnalité révolutionnaire pour Gemini qui permettra à l’assistant IA de contrôler directement votre téléphone Android pour effectuer des tâches complexes à votre place . Cette nouvelle capacité appelée « screen automation » (automatisation d’écran) pourra passer des commandes, réserver des courses et interagir avec différentes applications installées sur votre appareil .
Comment ça fonctionne
La version bêta 17.4 de l’application Google révèle les détails de cette fonctionnalité baptisée en interne « bonobo » . Gemini pourra interagir avec certaines applications de votre téléphone de manière autonome, en effectuant les actions nécessaires pour accomplir la tâche demandée . Cette fonction s’appuie sur les fondations posées par Android 16 QPR3 .
L’utilisateur garde cependant le contrôle : vous pourrez à tout moment arrêter l’agent IA et reprendre la tâche manuellement . Google insiste sur le fait que « Gemini peut faire des erreurs » et que « vous êtes responsable de ce qu’il fait en votre nom, donc surveillez-le attentivement » .
Questions de confidentialité
Google a prévu plusieurs garde-fous concernant la vie privée :
-
Lorsque Gemini interagit avec une application, des captures d’écran sont examinées par des réviseurs humains et utilisées pour améliorer les services Google si l’option « Conserver l’activité » est activée
-
Il est recommandé de ne pas entrer d’informations de connexion ou de paiement dans les discussions Gemini
-
L’automatisation d’écran ne doit pas être utilisée pour les urgences ou les tâches impliquant des informations sensibles
Intégration avec les avatars 3D
La mise à jour révèle également une fonctionnalité « Likeness » (nom de code « wasabi ») qui fait référence aux avatars 3D actuellement utilisés dans Android XR pour les appels Google Meet . Cette intégration suggère une possible utilisation de ces avatars personnalisés dans l’interface Gemini .
Cette fonctionnalité n’est pas encore officiellement lancée et reste pour l’instant au stade de développement dans les versions bêta .
