Lors de sa conférence Google I/O en mai dernier, le moteur de recherche Google avait introduit une nouvelle technologie à renfort d'IA baptisée MUM - Multitask Unified Model - pour comprendre des requêtes de plus en plus complexes en un minimum d'étapes.

La technologie MUM est vantée mille fois plus puissante que le modèle de langage BERT (Bidirectional Encoder Representations from Transformers) actuellement exploité par Google pour le traitement automatique du langage naturel.

Le modèle de machine learning MUM est entraîné à effectuer plusieurs tâches en parallèle dans 75 langues différentes. L'algorithme est dit multimodal pour sa capacité à comprendre des informations transmises non seulement par texte, mais aussi par image, puis avec de l'audio et de la vidéo.

À l'occasion de son rendez-vous annuel Search On qui vient de se dérouler, Google a évidemment mis en vedette MUM, et notamment pour améliorer la recherche visuelle avec l'outil Google Lens et la capacité de poser des questions sur ce qui est reconnu.

Associer recherche visuelle et langage naturel

Un exemple donné par Google est la photo d'une chemise et la possibilité de demander par texte de trouver un même motif sur un autre vêtement comme des chaussettes. Une autre combinaison de l'image et du texte en langage naturel en une requête est la photo d'un dérailleur cassé d'un vélo et l'ajout d'une question " comment réparer " dans Google Lens sans plus de précision.

Google Lens identifie que la pièce du vélo est un dérailleur et la requête renvoie vers le moment précis dans une vidéo pour montrer comment réparer. MUM dans Google Lens sera disponible dans les prochains mois, avec d'abord l'anglais. Par ailleurs, Google Lens sera prochainement proposé pour Google Chrome sur ordinateur avec la sélection d'un contenu sur une page.

Google a également évoqué MUM pour Google Search avec une section de choses à savoir. " Si vous recherchez ' peinture acrylique ', Google comprend comment les utilisateurs explorent généralement ce sujet et indique les aspects qu'ils sont susceptibles de consulter en premier." À l'avenir, MUM permettra d'afficher des informations plus pointues et utiles, sans même formuler des requêtes.

google-search-mum

MUM sera également exploité pour identifier des sujets connexes dans une vidéo sans les spécifier, avec des liens proposés pour aller plus loin dans la recherche d'informations. À voir si MUM n'aura pas trop tendance à favoriser l'écosystème Google comme avec YouTube...