Meta ha annunciato il lancio di Muse Image e ha presentato in anteprima Muse Video, i primi modelli di generazione multimediale sviluppati da Meta Superintelligence Labs. Questi nuovi strumenti rappresentano un progresso significativo nella creazione di contenuti visivi e audiovisivi.
Muse Image, considerato fino ad oggi il modello più sofisticato dell’azienda, si distingue per la sua capacità di seguire con precisione le istruzioni, eseguire modifiche dettagliate, comporre elementi da più riferimenti e utilizzare Instagram per il contesto sociale. Inoltre, offre funzionalità di strumenti interattivi e si integra con Muse Spark, mentre Muse Video, costruito sulla stessa base di pre-formazione, promette un’eccezionale fedeltà visiva con supporto audio nativo.
In termini di disponibilità, è ora possibile accedere a Muse Image sull’app Meta AI, sulla piattaforma meta.ai, su Instagram Stories per gli utenti negli Stati Uniti e su WhatsApp in alcuni paesi. Presto sarà disponibile anche su Facebook. Muse Video sarà presto disponibile per i creatori di contenuti e su Meta AI.
Generazione di immagini di agenzia con Muse Image
Invece di convertire semplicemente le istruzioni in immagini, Muse Image funziona come un agente intelligente. Richiama strumenti di ricerca e codifica per affinare la precisione, migliorare le proprie generazioni e ottimizzare le prestazioni ridimensionando la potenza di calcolo durante i test. La sua integrazione con Muse Spark consente a entrambi i modelli di condividere strumenti e pianificare insieme, fornendo all’agenzia una potente capacità di generazione di media.
Capacità di utilizzare strumenti
Muse Image ha accesso a diversi strumenti che migliorano le sue capacità prestazionali. Ha imparato, attraverso l’apprendimento per rinforzo, a scrivere ed eseguire codice per produrre grafica e codici QR accurati, condizionando le figure renderizzate per migliorare la precisione delle immagini generate. La combinazione con Muse Spark ti consente di creare GIF animate, siti Web con immagini incorporate e giochi visivi interattivi.
Un esempio notevole della sua abilità di programmazione è la creazione di un codice QR leggibile all’interno di una complessa illustrazione coreana in stile manhwa, garantendo che il codice funzioni correttamente e allo stesso tempo si integri artisticamente nella scena. Il modello è anche in grado di generare grafica frattale dettagliata, come i set di Julia e i triangoli di Sierpinski, e di applicarli a layout di poster specifici per stile.
Nel campo dell’animazione, Muse Image dimostra la creazione di sequenze di libri sfogliabili. Migliora i dettagli dei personaggi, regola le loro posizioni per generare interazioni dinamiche, come un pugno e un movimento di schivata, mantenendo la coerenza dello scenario e dell’illuminazione in ogni fotogramma. Un’altra applicazione prevede la creazione di diverse fasi della vita di un animale domestico, come un gatto persiano color crema trasformato in un gattino appena nato o un adolescente snello, da utilizzare in giochi visivi, convertendo le immagini in URI di dati per il caricamento istantaneo.
Oltre alla programmazione, la funzionalità di ricerca consente a Muse Image di interrogare il web per comprovare le immagini generate con informazioni fattuali in tempo reale e riferimenti visivi. Questa capacità è fondamentale per migliorare la precisione nelle richieste che richiedono una conoscenza preliminare, in particolare sugli eventi attuali e sui fatti del mondo reale.
Lo strumento di ricerca è stato utilizzato per identificare le tendenze della moda per l’estate 2026, analizzando report sulle passerelle e cataloghi di prodotti per generare link di acquisto e suggerimenti di outfit. Nel campo della scienza, il modello ha ricercato diagrammi e fonti affidabili sull’ipotesi dell’impatto gigante per creare infografiche accurate e visivamente coerenti sulla formazione della Luna. In un’altra dimostrazione, Muse Image ha pianificato e selezionato articoli vintage senza marchio dal Marketplace di Facebook a San Francisco, combinandoli con lo stile di arredamento semplice e accogliente di una camera da letto.
Modellare l’auto-miglioramento e la riflessione
Una delle caratteristiche emergenti di Muse Image è la sua capacità di auto-migliorarsi. Il modello riflette sul proprio lavoro e lo migliora all’interno del suo ragionamento, sia apportando modifiche locali per piccoli errori o generando un’immagine completamente nuova quando ci sono grossi difetti. Questo comportamento è emerso durante l’addestramento con apprendimento per rinforzo, poiché ha prodotto immagini di migliore qualità e, di conseguenza, maggiori ricompense.
Negli esempi di auto-miglioramento, il modello ha dimostrato la capacità di mettere insieme una pagina di rivista, integrando le fasi di recensione, titolo e ritratto di moda con un layout coerente e dettagli impeccabili. Un altro esempio riguarda la correzione di formule matematiche, la regolazione del layout e il controllo della chiarezza del testo. Il processo includeva anche la revisione finale delle immagini generate, confermando i macro dettagli, la finitura lucida e l’accuratezza prima della condivisione.
Scalabilità ed efficienza computazionale
Come con i modelli linguistici, Muse Image migliora progressivamente quanto più informazioni elabora durante l’inferenza. Con una maggiore potenza computazionale al momento del test, il modello approfondisce il suo ragionamento, effettua più chiamate a strumenti e impiega più passaggi di auto-miglioramento per perfezionare le sue generazioni. L’aumento della capacità di ragionamento e della potenza di calcolo si traduce in miglioramenti nei punteggi Elo delle preferenze umane, dimostrando una relazione di ridimensionamento approssimativamente log-lineare.
Gli studi hanno rivelato che un uso giudizioso del token budgeting è essenziale per un ridimensionamento efficace. Anche se il metodo Best-of-N (che genera più immagini e seleziona quella migliore) migliora inizialmente la qualità, si satura rapidamente. D’altra parte, investire la stessa potenza computazionale nel ragionamento deliberato fornisce una scalabilità significativamente migliore. Il ragionamento e l’uso degli strumenti si potenziano a vicenda, permettendo al modello di andare oltre le conoscenze pregresse, sia cercando riferimenti sia scrivendo codici per dettagli precisi, colmando lacune che il solo ragionamento non sarebbe in grado di colmare.
Modifica precisa delle immagini
Muse Image dimostra una capacità di modifica delle immagini di precisione, modificando esattamente ciò che l’utente richiede in una varietà di istruzioni. Può, ad esempio, dissipare la nebbia da un’immagine per rivelare una valle, modificare i petali di un fiore per formare una sfumatura arcobaleno, o cambiare testi e numeri su un cartello, oltre a regolare lo zoom per contestualizzare una scena.
Il modello mantiene inoltre la coerenza durante tutte le fasi di modifica, facilitando il perfezionamento iterativo e la sperimentazione aperta per ottenere il risultato desiderato. In una dimostrazione, è riuscito a trasformare un soggiorno in stile Japandi, utilizzando elementi specifici di altre immagini. Un altro esempio complesso è stato quello di comporre un picnic tra un gatto e un cane, immaginarlo poi come una foto incorniciata in un bar e infine generare il menu del locale con un piatto a tema e un’illustrazione di animali.
Creazione di composizioni con molteplici riferimenti
Le capacità di Muse Image si estendono alla composizione di elementi da più immagini di riferimento inserite nel prompt, comprese persone, oggetti, vestiti, stili e ambienti. Il modello supporta l’interlacciamento di testo e immagini direttamente al prompt per creazioni visive complesse.
Ciò è dimostrato componendo l’immagine di una persona che va in bicicletta, indossa abiti e siede su una panchina del parco, il tutto con uno stile di disegno specifico, utilizzando molteplici riferimenti visivi. In un altro caso, il modello è riuscito a cambiare il colore di un soggiorno con un motivo specifico sulla parete, aggiungendo un tavolino da caffè, una credenza e un televisore da 65 pollici con un’immagine specifica sullo schermo e inserendo una persona seduta sul divano con oggetti specifici.
Muse Image è attualmente al secondo posto in Arena per la conversione da testo a immagine, l’editing di immagini singole e l’editing di più immagini, secondo le ultime valutazioni Elo di Human Preference.
