Meta a annoncé le lancement de Muse Image et a présenté en avant-première Muse Video, les premiers modèles de génération de médias développés par Meta Superintelligence Labs. Ces nouveaux outils représentent une avancée significative dans la création de contenus visuels et audiovisuels.
Muse Image, considéré à ce jour comme le modèle le plus sophistiqué de l’entreprise, se distingue par sa capacité à suivre des instructions avec précision, à effectuer des modifications détaillées, à composer des éléments à partir de plusieurs références et à utiliser Instagram pour le contexte social. De plus, il offre des capacités d’outils interactifs et s’intègre à Muse Spark, tandis que Muse Video, construit sur la même base de pré-formation, promet une fidélité visuelle exceptionnelle avec une prise en charge audio native.
En termes de disponibilité, Muse Image est désormais accessible sur l’application Meta AI, sur la plateforme meta.ai, sur Instagram Stories pour les utilisateurs aux États-Unis et sur WhatsApp dans certains pays. Bientôt, il sera également disponible sur Facebook. Muse Video sera bientôt disponible pour les créateurs de contenu et sur Meta AI.
Génération d’images d’agence avec Muse Image
Au lieu de simplement convertir des instructions en images, Muse Image fonctionne comme un agent intelligent. Il fait appel à des outils de recherche et de codage pour affiner la précision, améliore ses propres générations et optimise ses performances en augmentant la puissance de calcul pendant les tests. Son intégration avec Muse Spark permet aux deux modèles de partager des outils et des plans ensemble, offrant ainsi une puissante capacité de génération de médias d’agence.
Capacité à utiliser des outils
Muse Image a accès à plusieurs outils qui améliorent ses capacités de performances. Il a appris, grâce à l’apprentissage par renforcement, à écrire et exécuter du code pour produire des graphiques et des codes QR précis, en conditionnant les chiffres rendus pour améliorer la précision des images générées. La combinaison avec Muse Spark vous permet de créer des GIF animés, des sites Web avec des images intégrées et des jeux visuels interactifs.
Un exemple notable de ses prouesses en programmation est la création d’un code QR lisible dans une illustration complexe de style manhwa coréen, garantissant que le code fonctionne correctement tout en s’intégrant artistiquement à la scène. Le modèle est également capable de générer des graphiques fractals détaillés, tels que des ensembles de Julia et des triangles de Sierpinski, et de les appliquer à des mises en page d’affiches spécifiques à un style.
Dans le domaine de l’animation, Muse Image démontre la création de séquences de flipbook. Il améliore les détails des personnages, ajuste leurs positions pour générer des interactions dynamiques, telles qu’un mouvement de coup de poing et d’esquive, tout en conservant la cohérence du décor et de l’éclairage dans chaque image. Une autre application consiste à créer différentes étapes de la vie d’un animal de compagnie, comme un chat persan crème transformé en chaton nouveau-né ou en adolescent mince, pour une utilisation dans des jeux visuels, en convertissant les images en URI de données pour un chargement instantané.
En plus de la programmation, la fonctionnalité de recherche permet à Muse Image d’interroger le Web pour justifier les images générées avec des informations factuelles en temps réel ainsi que des références visuelles. Cette capacité est cruciale pour améliorer la précision des demandes qui nécessitent des connaissances préalables, notamment sur l’actualité et les faits du monde réel.
L’outil de recherche a été utilisé pour identifier les tendances de la mode pour l’été 2026, en analysant les rapports de défilés et les catalogues de produits pour générer des liens d’achat et des suggestions de tenues. Dans le domaine scientifique, le modèle a recherché des diagrammes et des sources fiables sur l’hypothèse de l’impact géant pour créer des infographies précises et visuellement cohérentes sur la formation de la Lune. Dans une autre démonstration, Muse Image a planifié et sélectionné des articles vintage sans marque sur le marché Facebook de San Francisco, en les combinant avec le style de décoration simple et confortable d’une chambre.
Modèle d’auto-amélioration et de réflexion
L’une des caractéristiques émergentes de Muse Image est sa capacité à s’auto-améliorer. Le modèle réfléchit sur son propre travail et l’améliore dans le cadre de son raisonnement, qu’il s’agisse d’effectuer des modifications locales pour de petites erreurs ou de générer une image entièrement nouvelle en cas de défauts majeurs. Ce comportement est apparu lors de la formation d’apprentissage par renforcement, car il aboutissait à des images de meilleure qualité et, par conséquent, à de plus grandes récompenses.
Dans des exemples d’auto-amélioration, le mannequin a démontré sa capacité à créer une page de magazine, intégrant les étapes de critique, de titre et de portrait de mode avec une mise en page cohérente et des détails impeccables. Une autre illustration consiste à corriger des formules mathématiques, à ajuster la mise en page et à vérifier la clarté du texte. Le processus comprenait également un examen final des images générées, confirmant les détails de la macro, la finition brillante et la précision avant le partage.
Évolutivité et efficacité informatique
Comme pour les modèles de langage, Muse Image s’améliore progressivement à mesure qu’il traite d’informations lors de l’inférence. Avec une plus grande puissance de calcul au moment du test, le modèle approfondit son raisonnement, effectue davantage d’appels d’outils et emploie davantage d’étapes d’auto-amélioration pour affiner ses générations. L’augmentation de la capacité de raisonnement et de la puissance de calcul entraîne une amélioration des scores Elo de préférence humaine, démontrant une relation d’échelle approximativement log-linéaire.
Des études ont révélé qu’une utilisation judicieuse de la budgétisation symbolique est essentielle pour une mise à l’échelle efficace. Si la méthode Best-of-N (qui génère plusieurs images et sélectionne la meilleure) améliore la qualité dans un premier temps, elle sature rapidement. D’un autre côté, investir la même puissance de calcul dans un raisonnement délibéré offre une bien meilleure évolutivité. Le raisonnement et l’utilisation d’outils s’enrichissent mutuellement, permettant au modèle d’aller au-delà de ses connaissances antérieures, qu’il s’agisse de rechercher des références ou d’écrire des codes pour des détails précis, comblant des lacunes que le raisonnement seul ne serait pas en mesure de combler.
Retouche d’image précise
Muse Image démontre une capacité d’édition d’image de précision, modifiant exactement ce que l’utilisateur demande dans une variété d’instructions. Il peut, par exemple, dissiper le brouillard d’une image pour révéler une vallée, modifier les pétales d’une fleur pour former un dégradé arc-en-ciel, ou changer les textes et les chiffres sur une pancarte, en plus d’ajuster le zoom pour contextualiser une scène.
Le modèle maintient également la cohérence tout au long des étapes d’édition, facilitant le raffinement itératif et l’expérimentation ouverte pour obtenir le résultat souhaité. Lors d’une démonstration, il a réussi à transformer un salon dans le style Japandi, en utilisant des éléments spécifiques provenant d’autres images. Un autre exemple complexe consistait à composer un pique-nique entre un chat et un chien, puis à l’imaginer comme une photo encadrée dans un café, et enfin à générer le menu de l’établissement avec un élément thématique et une illustration animalière.
Création de compositions avec de multiples références
Les capacités de Muse Image s’étendent à la composition d’éléments à partir de plusieurs images de référence insérées dans l’invite, notamment des personnes, des objets, des vêtements, des styles et des environnements. Le modèle prend en charge l’entrelacement de texte et d’images directement à l’invite pour des créations visuelles complexes.
Ceci est démontré en composant l’image d’une personne faisant du vélo, portant des vêtements et assise sur un banc de parc, le tout avec un style de dessin spécifique, utilisant de multiples références visuelles. Dans un autre cas, le modèle a réussi à changer la couleur d’un salon en un motif spécifique sur le mur, en ajoutant une table basse, un buffet et un téléviseur de 65 pouces avec une image spécifique sur l’écran, et en insérant une personne assise sur le canapé avec des objets spécifiques.
Muse Image se classe actuellement au deuxième rang dans Arena pour la conversion de texte en image, l’édition d’une seule image et l’édition de plusieurs images, selon les dernières évaluations Human Preference Elo.
