Adobe Sensei e la produzione video

“Sensei” è una parola affascinante. Presa in prestito dal giapponese, nel linguaggio moderno si riferisce tipicamente a un istruttore e, più specificamente, a un istruttore di arti marziali. Storicamente, è stata usata per indicare insegnanti in diverse discipline o persone di una certa levatura. Adobe “Sensei” è immaginabile sia come insegnante che come studente, posto che impara dai dati mentre svolge altri compiti In questo articolo, vedremo cosa sia Adobe Sensei, a cosa serve e come funzioni per migliorare il flusso di una produzione video.

Cos’è Adobe Sensei?

Adobe Sensei è la tecnologia di Intelligenza Artificiale (AI) e di Apprendimento Automatico (Machine Learning, ML) di Adobe, che opera su tutta la piattaforma Adobe, inclusi Adobe Experience Cloud, Creative Cloud e Document Cloud. Sebbene Adobe Sensei faccia molto all’interno della suite di Adobe, chi si occupa di produzione video lo trova più frequentemente in programmi come Adobe Premiere Pro e After Effects. In definitiva, Adobe Sensei utilizza sia la tecnologia AI che Machine Learning per semplificare e automatizzare compiti complessi che richiederebbero enormi quantità di energia e tempo se fatti manualmente. Per esempio, Adobe Sensei può automaticamente fare un rotoscoping su una sequenza video. Abbiamo chiesto a Giuseppe Galliano che, con il suo studio di produzione e post produzione video  fu tra i primi, negli anni 90, a impiegare sistemi digitali per l’editing di filmati, di indicarci quali fossero le funzioni di Sensei nella post produzione. Ecco cosa ne è emerso.

Adobe Sensei e Premiere Pro

• Color match: Questo strumento fa corrispondere automaticamente la coerenza del colore degli elementi chiave in un’inquadratura, risparmiando all’editor il dovere di regolare manualmente le impostazioni del colore.
• Auto-Ducking: Molto simile allo strumento trovato in Audition, questo può essere utilizzato sui clip audio senza lasciare Premiere Pro. Per ricapitolare, l’Auto-Ducking regola automaticamente il livello del volume su un contributo specificato per gestire il mix con altri elementi audio.
• Morph Cut : Usando Morph Cut, è possibile realizzare video interviste senza quei fastidiosi salti tra un taglio e l’altro, anche se, va detto, la transizione  Morph Cut lavora quasi solo su camera fissa. Ad esempio, nelle video interviste girate a 4K e distribuite in Full HD, quando da un’ inquadratura se ne generano due o più. E’ una funzione indicatissima per video interviste e filmati di relatori da post produrre per una diffusione sui canali social o sul web in genere. Non per live streaming o produzioni Tv in diretta.
• Auto-Classification: Questa funzionalità utilizza Sensei per applicare automaticamente tag, come metadati contestuali ai contenuti audio. Una volta etichettati come dialogo, musica o altro, il sistema regola gli effetti e le opzioni disponibili per quella clip.
• Auto-Creation: L’Auto-Creazione segue la stessa linea dell’ Auto-Classification. Sensei utilizza tag utente o tag di contenuti auto-generati per costruire automaticamente creazioni come slideshow o collage.
• Auto Reframe: L’Auto Reframe può analizzare filmati ampi e mantenere soggetti importanti nell’inquadratura. Lo fa cambiando dinamicamente l’aspect ratio e di converso la dimensione del contenuto video per mantenere i soggetti centrati. In pratica viene svuluppato il sistema di stabilizzazione precedentemente in uso su altri plug in che lavoravano sulla similitudine dei pixel adiacenti. E’ un vero toccasana per i formati dei video sui vari social network, che hanno raggiunto una varietà e un numero incredibile. Non ci credete? Questo articolo passa in rassegna tutti i formati video per social network indicandone per ognuno dimensioni, codec e aspect ratio, che – incredibile a dirsi – sono sovente diversi tra post e annunci a pagamento. Una torre di Babele in cui è difficile orientarsi.

Content-Aware Fill in After Effects

Adobe Sensei in After Effects offre uno strumento chiamato Content-Aware Fill, che permette di rimuovere rapidamente oggetti indesiderati da una scena. Questo effetto esiste in Photoshop da un po’ di tempo — anch’esso alimentato da Sensei. Tuttavia, in After Effects, rimuove oggetti nel filmato video.

Strumenti Adobe Sensei in Audition

Adobe Audition include un paio di nuove funzionalità alimentate da Sensei. La prima è Remix, che adatterà automaticamente la musica scelta a una durata desiderata. Immagina di impostare la musica alla lunghezza della tua sequenza invece di cercare tracce abbastanza lunghe per fare il lavoro o di dover tagliare le tracce per accorciarle. La seconda funzionalità implementata da Sensei in Audition è l’Auto-Ducking. Questo strumento regola automaticamente — e dinamicamente — il volume della musica o dei dialoghi quando sono presenti altri elementi audio. Per fare ciò, Adobe Sensei analizzerà l’audio che specifichi per capire dove il suono dovrebbe essere regolato per un mix perfetto.

Capture Mobile

In Capture Mobile, Sensei rende possibile il riconoscimento dei font. Sensei può identificare automaticamente il tipo di font di un testo in un’immagine. Per farlo, il testo deve essere chiaramente leggibile in modo da poter essere inviato a una rete neurale pre-addestrata. Quindi, fornirà automaticamente le informazioni sul font all’utente.

Character Animator

Character Animator utilizza Sensei con l’Auto Lip-Sync. Sensei abbina le voci registrate e i movimenti registrati dalle webcam con un personaggio/pupazzo animato. Questo permette sostanzialmente di far interagire personaggi animati con i movimenti e le espressioni esatte registrati con la propria webcam. Sono lontani i tempi in cui questa funzionalità era confinata a costosi e complessi sistemi di motion capture

Adobe Stock

Adobe Sensei non opera solo all’interno delle applicazioni video di Adobe, ma anche all’interno di Adobe Stock. Innanzitutto, alimenta la Ricerca Visiva della piattaforma, uno strumento utile per trovare rapidamente immagini di stock simili a un’altra immagine. La Profondità di Campo è un’altra funzione intelligente di ricerca che aiuta a trovare immagini che si concentrano specificamente sul soggetto, sfocando gli altri elementi della fotografia.

Altri strumenti

Altre funzionalità di ricerca basate su Sensei includono Vivid Colors, che controlla se i risultati della ricerca saranno luminosi e colorati o scuri, freddi e smorzati. Allo stesso modo, Copy Space filtrerà le immagini in base allo spazio effettivo nell’immagine per l’aggiunta di testo. Includendo sia location naturali che in studio. Altri strumenti creativi che non trattiamo qui sono inseriti in Behance, Colour Service, Dimension, Fonts, Fresco, Illustrator, InDesign, Photoshop, Lightroom e Spark

Uno strumento per il futuro

Adobe Sensei è molto più di un semplice strumento o blocco di codice. È un modo completamente nuovo di approcciarsi allo sviluppo del software per Adobe. Posizionando questo strato di intelligenza e apprendimento automatico tra noi e i nostri risultati finali, le applicazioni di post rpuzione, video o audio che siano, sono migliorate parecchio. L’ introduzione di Intelligenza artificiale e apprendimento automatico nelle applicazioni creative di Adobe aiuta tutti a creare contenuti migliori più rapidamente. Con strumenti migliori, i creatori possono essere più efficienti che mai. Sebbene Adobe Sensei sia stato uno strumento in crescita nei prodotti Adobe per diversi anni, è sicuro che questo rappresenti ancora solo la punta dell’iceberg. Non sappiamo ancora tutte le modalità con cui l’apprendimento automatico e l’intelligenza artificiale guideranno gli sforzi creativi nel software. La tecnologia Sensei e AI sta guidando un nuovo modo di lavorare nell’industria video. Ph: emily-bernal-unsplash