Un'anteprima di "Beyond the Seen".Di Harry Guinness |Pubblicato 19 ottobre 2022 15:00Oggi ad Adobe MAX, la conferenza annuale sulla creatività dell'azienda, Adobe presenterà in anteprima una nuova tecnologia chiamata "Beyond the Seen" che utilizza l'intelligenza artificiale per estendere i confini delle immagini bidimensionali e persino trasformarle in scene tridimensionali coinvolgenti.Sebbene sia solo una dimostrazione, mostra come i generatori di immagini AI progettati per scopi specifici potrebbero avere applicazioni commerciali e artistiche di vasta portata.Il generatore di immagini funziona prendendo un paesaggio o una fotografia dall'interno di un edificio ed espandendolo in un panorama sferico completo a 360 gradi attorno alla fotocamera.Ovviamente, non può sapere cosa c'è effettivamente dietro la telecamera, quindi utilizza l'apprendimento automatico per creare un ambiente plausibile e senza interruzioni, indipendentemente dal fatto che l'immagine in ingresso sia di un paesaggio di montagna o dell'interno di una sala da concerto.Gli algoritmi di Adobe possono anche stimare la geometria 3D del nuovo ambiente, che consente di modificare il punto di vista e persino di far sembrare che la telecamera si muova nell'ambiente.Sebbene l'estensione dell'immagine o l'out-painting non siano nuovi, il generatore di intelligenza artificiale di Adobe è il primo ad essere costruito esclusivamente attorno ad esso.Ad esempio, DALL-E 2 consente agli utenti di estendere le proprie immagini in piccoli blocchi, mentre Stable Diffusion richiede una soluzione.Il generatore di immagini AI di Adobe è leggermente diverso dai generatori di immagini più generali come DALL-E 2 e Stable Diffusion in un paio di modi chiave.Innanzitutto, viene addestrato su un set di dati molto più limitato con uno scopo specifico in mente.DALL-E 2 e Stable Diffusion sono stati addestrati su miliardi di coppie testo-immagine che coprono ogni concetto, dagli avocado e Avril Lavigne, alle zebre e Zendaya.Il generatore di Adobe è stato addestrato esclusivamente su un set di dati di circa 250.000 panorami a 360 gradi ad alta risoluzione.Ciò significa che è ottimo per generare ambienti realistici da immagini seed, ma non ha funzionalità di conversione da testo a immagine (in altre parole, non puoi inserire un prompt di testo e ottenere un risultato strano) o altre funzionalità di generazione generale.È uno strumento con un lavoro specifico.Tuttavia, le immagini che emette sono significativamente più grandi.Il generatore di Adobe attualmente utilizza una tecnica di intelligenza artificiale chiamata General Adversarial Network, o GAN, e non un modello di diffusione.I GAN funzionano utilizzando due reti neurali l'una contro l'altra.Il generatore è responsabile della creazione di nuovi output e il discriminatore deve indovinare se un'immagine con cui viene presentata è un output del generatore o un'immagine reale dal set di addestramento.Man mano che il generatore migliora nella creazione di immagini realistiche, diventa più bravo a ingannare il discriminatore e quindi viene creato un algoritmo di generazione delle immagini funzionante.Nel frattempo, i modelli di diffusione, utilizzati da DALL-E 2 e Stable Diffusion, iniziano con un rumore casuale e lo modificano per creare un'immagine plausibile.Ricerche recenti hanno dimostrato che possono produrre risultati più realistici rispetto ai GAN.Detto questo, Gavin Miller, VP e Head of Adobe Research, dice a PopSci che l'algoritmo potrebbe essere adattato per utilizzare un modello di diffusione prima che fosse rilasciato in commercio.Sebbene sia ancora in fase di sviluppo, Adobe ha evidenziato un paio di potenziali usi della tecnologia.Sebbene ci siano affermazioni sul Metaverso e sulla generazione di mondi 3D da istantanee 2D, è probabile che le normali funzionalità di estensione dell'immagine si dimostreranno preziose per prime.Un esempio dimostrato da Adobe nel video dimostrativo è il modo in cui il suo algoritmo ha consentito di inserire oggetti renderizzati "speculari" (o brillanti) in un'immagine.Il generatore di intelligenza artificiale è stato utilizzato per estrapolare ciò che potrebbe esserci dietro la telecamera e sopra l'oggetto al fine di creare riflessi realistici su quell'oggetto brillante.Questo è il genere di cose che consentirebbe ad architetti e interior designer di creare più facilmente rendering accurati per i loro progetti.Allo stesso modo, consentirebbe a fotografi e operatori video di espandere lo sfondo delle loro immagini in modo più naturale.Miller ha spiegato che gli strumenti di riconoscimento del contenuto, presenti nelle app di Adobe come Photoshop dal 2010, sono in grado di generare texture naturalistiche, mentre i nuovi modelli generativi sono in grado di creare sia texture che struttura.Anche se non si sa ancora quando questa tecnologia sarà disponibile al pubblico, rivelarlo oggi fa tutto "parte di un'agenda più ampia verso tecnologie più generative", che Adobe sta perseguendo, afferma Miller.È sempre stato possibile creare panorami a 360 gradi con l'hardware, ma presto sarà possibile crearne di realistici utilizzando solo il software.E questo potrebbe davvero cambiare le cose, e sì, forse consentire ai piccoli creatori di fare esperienze adiacenti al metaverso.Ti piacciono i progetti scientifici, tecnologici e fai-da-te?Iscriviti per ricevere le e-mail di Popular Science e ottenere i punti salienti.Gli articoli possono contenere link di affiliazione che ci consentono di condividere le entrate di qualsiasi acquisto effettuato.La registrazione o l'utilizzo di questo sito implica l'accettazione dei nostri Termini di servizio.