Meta annoncerede lanceringen af Muse Image og forhåndsviste Muse Video, den første mediegenerationsmodeller udviklet af Meta Superintelligence Labs. Disse nye værktøjer repræsenterer et betydeligt fremskridt i skabelsen af visuelt og audiovisuelt indhold.
Muse Image, der anses for at være virksomhedens mest sofistikerede model til dato, skiller sig ud for sin evne til at følge instruktionerne præcist, udføre detaljerede redigeringer, komponere elementer fra flere referencer og bruge Instagram til social sammenhæng. Derudover tilbyder den interaktive værktøjer og integreres med Muse Spark, mens Muse Video, bygget på det samme forudgående træningsgrundlag, lover enestående visuel troskab med indbygget lydunderstøttelse.
Med hensyn til tilgængelighed kan Muse Image nu tilgås på Meta AI-appen, på meta.ai-platformen, på Instagram Stories for brugere i USA og på WhatsApp i nogle lande. Snart vil den også være tilgængelig på Facebook. Muse Video kommer snart til indholdsskabere og på Meta AI.
Generering af bureaubilleder med Muse Image
I stedet for blot at konvertere instruktioner til billeder, fungerer Muse Image som en intelligent agent. Den påberåber sig søge- og kodningsværktøjer for at forfine nøjagtigheden, forbedrer sine egne generationer og optimerer dens ydeevne ved at skalere beregningskraften under test. Dens integration med Muse Spark giver begge modeller mulighed for at dele værktøjer og planlægge sammen, hvilket giver en kraftfuld bureaumediegenereringskapacitet.
Evne til at bruge værktøjer
Muse Image har adgang til flere værktøjer, der forbedrer dets ydeevne. Han lærte gennem forstærkningslæring at skrive og udføre kode for at producere nøjagtig grafik og QR-koder, idet han konditionerede de gengivede figurer for at forbedre nøjagtigheden af de genererede billeder. Ved at kombinere med Muse Spark kan du oprette animerede GIF’er, websteder med indlejrede billeder og interaktive visuelle spil.
Et bemærkelsesværdigt eksempel på hans programmeringsevne er at skabe en læsbar QR-kode i en kompleks illustration i koreansk manhwa-stil, der sikrer, at koden fungerer korrekt, mens den kunstnerisk integreres i scenen. Modellen er også i stand til at generere detaljeret fraktalgrafik, såsom Julia-sæt og Sierpinski-trekanter, og anvende dem på stilspecifikke plakatlayouts.
Inden for animation demonstrerer Muse Image oprettelsen af flipbook-sekvenser. Det forbedrer karakterdetaljerne, justerer deres positioner for at generere dynamiske interaktioner, såsom et slag og en undvigende bevægelse, samtidig med at den bibeholder sammenhængen i sceneri og belysning i hvert billede. En anden applikation involverer at skabe forskellige livsstadier for et kæledyr, såsom en cremefarvet perserkat omdannet til en nyfødt killing eller en slank teenager, til brug i visuelle spil, konvertere billederne til data-URI’er til øjeblikkelig indlæsning.
Ud over programmering giver søgefunktionalitet Muse Image mulighed for at forespørge på nettet for at underbygge genererede billeder med real-time, faktuelle oplysninger samt visuelle referencer. Denne evne er afgørende for at forbedre nøjagtigheden i anmodninger, der kræver forudgående viden, især om aktuelle begivenheder og fakta i den virkelige verden.
Forskningsværktøjet blev brugt til at identificere modetrends for sommeren 2026, analysere catwalk-rapporter og produktkataloger for at generere købslinks og outfitforslag. Inden for videnskaben undersøgte modellen diagrammer og pålidelige kilder om den gigantiske virkningshypotese for at skabe nøjagtige og visuelt konsistente infografikker om Månens dannelse. I en anden demonstration planlagde og udvalgte Muse Image umærkede vintageartikler fra Facebook Marketplace i San Francisco, og kombinerede dem med den hyggelige og enkle indretningsstil i et soveværelse.
Model selvforbedring og refleksion
Et af de nye kendetegn ved Muse Image er dets evne til at forbedre sig selv. Modellen reflekterer over sit eget arbejde og forbedrer det inden for sin begrundelse, uanset om det laver lokale redigeringer for små fejl eller genererer et helt nyt billede, når der er store fejl. Denne adfærd dukkede op under forstærkningslæringstræning, da det resulterede i billeder af bedre kvalitet og som følge heraf større belønninger.
I eksempler på selvforbedring demonstrerede modellen evnen til at sammensætte en magasinside, integrere anmeldelse, titel og modeportrættrin med et sammenhængende layout og upåklagelige detaljer. En anden illustration involverer at rette matematiske formler, justere layoutet og kontrollere tekstens klarhed. Processen omfattede også endelig gennemgang af genererede billeder, bekræftelse af makrodetaljer, blank finish og nøjagtighed før deling.
Skalerbarhed og beregningseffektivitet
Som med sprogmodeller forbedrer Muse Image gradvist, jo mere information det behandler under inferens. Med større beregningskraft på testtidspunktet uddyber modellen sin ræsonnement, foretager flere værktøjskald og anvender flere selvforbedringstrin til at forfine sine generationer. Øget ræsonnement og beregningskraft resulterer i forbedringer i Elo-scorer for menneskelig præference, hvilket viser et omtrent log-lineært skaleringsforhold.
Undersøgelser har afsløret, at fornuftig brug af tokenbudgettering er afgørende for effektiv skalering. Mens Best-of-N-metoden (som genererer flere billeder og vælger det bedste) forbedrer kvaliteten til at begynde med, mættes den hurtigt. På den anden side giver det betydeligt bedre skalerbarhed at investere den samme regnekraft i bevidst ræsonnement. Ræsonnering og brug af værktøjer forbedrer hinanden gensidigt, hvilket gør det muligt for modellen at gå ud over sin tidligere viden, uanset om det søger efter referencer eller skriver koder for præcise detaljer, og udfylder huller, som ræsonnement alene ikke ville være i stand til at udfylde.
Præcis billedredigering
Muse Image demonstrerer en præcis billedredigeringsfunktion, der ændrer præcis, hvad brugeren anmoder om i en række instruktioner. Det kan for eksempel fjerne tåge fra et billede for at afsløre en dal, ændre kronbladene på en blomst til at danne en regnbuegradient eller ændre tekster og tal på et skilt, ud over at justere zoomen for at kontekstualisere en scene.
Modellen bevarer også sammenhæng i hele redigeringsstadierne, hvilket letter iterativ forfining og åbne eksperimenter for at opnå et ønsket resultat. I en demonstration var han i stand til at omdanne en stue til den japanske stil ved at bruge specifikke elementer fra andre billeder. Et andet komplekst eksempel omfattede at komponere en picnic mellem en kat og en hund, derefter forestille sig det som et indrammet foto på en cafe og til sidst generere etablissementets menu med et temaelement og dyreillustration.
Udarbejdelse af kompositioner med flere referencer
Muse Images muligheder strækker sig til at komponere elementer fra flere referencebilleder indsat i prompten, herunder mennesker, genstande, tøj, stilarter og miljøer. Skabelonen understøtter interleaving af tekst og billeder direkte ved prompten til komplekse visuelle kreationer.
Dette demonstreres ved at komponere et billede af en person, der kører på cykel, iført tøj og sidder på en parkbænk, alt sammen med en bestemt tegnestil, ved hjælp af flere visuelle referencer. I et andet tilfælde lykkedes det modellen at ændre farven på en stue til et bestemt mønster på væggen, tilføje et sofabord, skænk og et 65-tommer fjernsyn med et bestemt billede på skærmen, og indsætte en person, der sidder i sofaen med bestemte ting.
Muse Image ligger i øjeblikket på andenpladsen i Arena for tekst-til-billede-konvertering, enkeltbillede-redigering og multi-billed-redigering ifølge de seneste Human Preference Elo-klassificeringer.
