Nvidia har lärt sig att skapa "ultralång" video

Slow motion-video, aka slow-mo, är otroligt populär bland tittarna, men det är extremt svårt att skapa den. Utrustningen som behövs för detta är mycket dyr, och behovet av att lagra bilder med 300 tusen bilder per sekund någonstans blir snabbt ett problem. Ny teknik från Nvidia passar dock bättre för denna uppgift.

Metoden kallas ”multi-frame interpolation of variable length” och är baserad på maskininlärning vid analys av källmaterialet så att det neurala nätverket kan ”gissa” de saknade ramarna. Det spelar ingen roll om du vill uppnå virtuell avmattning på 8 eller 15 gånger, den här tekniken har ingen övre gräns och systemet kan generera valfritt antal bilder som passar perfekt in i ramen. Mer exakt - tittaren kommer inte att märka fångsten.

Det finns faktiskt två neurala nätverk här. Den första analyserar själva videon vid ett visst ramintervall, skapar en karta över videoströmmen framåt och bakåt och bildar en plan för att infoga virtuella ramar. Det andra systemet interpolerar data och matchar genereringsfunktionerna med planen för att eliminera krokiga pixlar, ghosting och andra "artefakter". Nu återstår det att från dessa data skapa ett godtyckligt antal förvrängda versioner av den första och andra bilden i tandem för att infoga dem mellan dem och "sträcka" videon till önskad längd.

För att implementera tekniken användes Nvidia Tesla V100-grafikkort och cuDNNs PyTorch-djupanalyssystem. Enligt skaparna betyder detta att den kommersiella versionen inte kommer att visas mycket snart, och i den måste de flesta beräkningarna överföras till molnet. Men resultatet är fantastiskt - videosekvensen visar sig vara väldigt smidig och det finns en möjlighet att "sakta ner" den redan super slowmotion-videon.