Cette application apporte une des Pixel 9'aux autres appareils Android

L’un des meilleurs aspects de la possession d’un Android est que la plupart des fonctionnalités ne restent pas exclusives longtemps. Un développeur a maintenant (en quelque sorte) apporté l’une des meilleures fonctionnalités du Pixel 9 – la nouvelle application Pixel Screenshot – à d’autres appareils Android.

Qu’est-ce que PixelShot ?

Sanuj Bhatia / lizengo.fr

Si vous êtes comme moi, vous faites d’innombrables captures d’écran chaque jour pour conserver des informations importantes. Mais quand vient le moment de trouver une capture d’écran spécifique, c’est un processus chaotique de défilement à travers une mer d’images.

C’est là que PixelShot intervient. Cette application utilise l’IA pour analyser vos captures d’écran, extraire le texte en informations consultables et l’organiser dans une base de données afin que vous puissiez le rechercher ultérieurement.

Imaginons que vous ayez un vol à effectuer et que vous fassiez une capture d’écran des détails du vol. Plus tard, vous pouvez simplement rechercher « vol » dans l’application PixelShot, et elle vous montrera instantanément la capture d’écran correspondante et les détails clés.

Si cela vous semble familier, c’est parce qu’elle imite la fonctionnalité Pixel Screenshots que l’on trouve dans l’un des meilleurs smartphones AI de l’année, la série Pixel 9. Développée par Mehul Kanzariya, PixelShot repose sur la même idée mais fonctionne sur n’importe quel appareil Android fonctionnant sous Android 11 ou une version ultérieure. La fonctionnalité dépasse ainsi le cadre de l’écosystème Pixel.

Sanuj Bhatia / lizengo.fr

L’application est gratuite et sans publicité dans son état actuel. Cependant, le développeur a mentionné que si la base d’utilisateurs augmente de manière significative, il pourrait introduire des achats in-app ou des publicités pour couvrir les coûts de l’API.

Il convient de noter que l’application PixelShot repose sur un mélange de traitement sur l’appareil et dans le nuage. Elle utilise le ML Kit SDK de Google pour extraire le texte des images et télécharge ce texte – et non les captures d’écran elles-mêmes – vers un serveur cloud où le modèle d’IA Llama 3 8B Instruct le traite pour générer un résumé.

Une fois que l’IA a traité le texte, elle renvoie un résumé qui est stocké localement sur votre appareil. En revanche, l’appli Pixel Screenshots du Pixel 9 utilise l’un des petits modèles de langage de Google, Gemini Nano, pour extraire des informations des captures d’écran sur votre appareil.

PixelShot ne fonctionne qu’avec les captures d’écran contenant du texte.

Comment utiliser PixelShot

Commencez par télécharger l’application à partir du site Google Play Store. Au premier lancement, l’appli fournit un bref aperçu de ses fonctionnalités et de son fonctionnement.

Vous devrez accorder quelques autorisations pour que l’application fonctionne – accès photo pour lire les captures d’écran et accès aux notifications pour qu’elle puisse fonctionner en arrière-plan.

Une fois configuré, PixelShot analysera toutes vos captures d’écran existantes. À l’avenir, il vous suffira de prendre des captures d’écran comme d’habitude.

L’application fonctionne en arrière-plan, en extrayant le texte et en utilisant l’IA pour le rendre consultable. Cependant, comme l’application repose sur le traitement en nuage, le développeur indique que vous devrez l’ouvrir de temps en temps pour assurer le téléchargement du texte.

Ce qui est particulièrement utile dans PixelShot, c’est sa capacité à ajouter des notes aux captures d’écran et à les organiser en collections pour une bibliothèque plus structurée. Il y a cependant une petite limitation : PixelShot ne peut analyser que les captures d’écran contenant du texte.

Par exemple, si vous faites une capture d’écran d’un T-shirt que vous voulez acheter pendant une vente à venir, elle ne pourra pas être recherchée dans l’application – elle ne fonctionne qu’avec les captures d’écran contenant du texte.

Cela dit, PixelShot reste un excellent moyen d’essayer la fonctionnalité Pixel Screenshot du Pixel 9 sur votre appareil Android existant. Alors que certains utilisateurs pourraient s’inquiéter de la confidentialité, le développeur assure qu’aucune capture d’écran n’est téléchargée sur le cloud. Seul le texte extrait est traité, et même celui-ci n’est pas stocké en ligne.

J’espère que Google ouvrira l’accès à Gemini Nano à davantage de développeurs à l’avenir. Des applications comme celle-ci pourraient alors fonctionner entièrement sur l’appareil. En attendant, PixelShot est un moyen fantastique d’essayer cette fonctionnalité du Pixel 9 sur votre appareil actuel – surtout si vous vous demandez si cela vaut la peine de passer au Pixel 9 pour cette fonctionnalité.