В този блог ще покажа някои от резултатите и процеса на проекта, върху който работех, в който трябваше да сглобя видео, изцяло направено от техники за дълбоко обучение
Преди да разрешим този проблем, трябва да знаем какви са изискванията за създаване на филм
няколко основни нужди са актьори, музика, сценарий
сега с това знание сме подготвени да продуцираме филм
Скрипт
За да създам сценария за филма, ще използвам името на модела GPT-J-6B 6B, защото има 6 милиарда параметри и благодарение на всички изследователи на EleutherAI те отварят модела за обществеността
така че, за да създам скрипт, трябваше да въведа контекстен текст, след което GPT-6B ще се погрижи за скрипта
човече - тук е твърде тъмно, не бих могъл да намеря светлина, ако исках.
човече - защо закъсня много.
Жените отговориха - времето беше студено и сурово.
това е, което въвеждам в модела след много пробни грешки, получих скрипт, който има малко смисъл, така че сега приключихме със скрипта
Актьори
Имаме нужда от някой, който действително да изпълни нашия сценарий за това, аз се обърнах към StyleGAN, който беше пуснат от nvidia, което ни улеснява да набираме актьор, така че след проба и грешка финализирам да избера двама актьори, които не съществуват
Един за жени актьори и други за мъже, но това са само изображения как ще се представят тогава
за да преодолея този проблем, завърших с First-order-model, който лесно решава този проблем, можете да проверите официалното репо https://github.com/AliaksandrSiarohin/first-order-model тук
Музика
Как можем да имаме филм без музика, така че да произвеждаме музика, завърших с musegan, който всъщност може да произведе добър звук, можете да проверите тяхното репо https://github.com/salu133445/musegan, така че имаме музиката, сега е време да събера цялото нещо в едно видео, което е изцяло машинно генерирано
за кинематографични снимки използвах gaugan
ето го крайният резултат от проекта, надявам се да ви хареса
