Израильский стартап CannyAI употребляет технологию VDR (Video Dialogue Replacement) для перевода видео на различные языки, устраняя необходимость в субтитрах. Сооснователь компании Джонатан Хейманн сказал порталу NoCamels о разработке проекта и особенностях его работы.
Израильский стартап CannyAI употребляет технологию VDR для дубляжа видео
Александра Степанова
«Когда Netflix запустил стриминг в Израиле, он провел несколько тестов по локализации контента», — вспоминает Хейманн. Он поглядел дублированные шоу вкупе с будущим сооснователем CanniAI Омером Бен-Ами. Хейманн и Бен-Ами сошлись во мировоззрении, что это смотрится страшно, и попробовали решить делему.
Скоро они с удивлением нашли, что никто иной не пробует это создать. Довольно стремительно им сделалось разумеется, что основная трудность дубляжа заключается в невозможности поменять диалог опосля записи. У Хейманна и Бен-Ами был опыт разработки программного обеспечения в Армии обороны Израиля и Тель-Авивском институте. Они начали находить технологическое решение обнаруженной трудности и в 2017 году основали CannyAI.
Компания употребляет технологию VDR для ублажения возрастающей потребности в персонализированном локализованном контенте — к примеру, для перевода маркетинговых роликов на разные языки и диалекты. VDR просто перепутать с технологией дипфейк, которая дозволяет накладывать имеющиеся изображения на готовые видео при помощи ИИ. Представители CannyAI утверждают, что это не одно и то же: в рамках технологии дипфейк лицо 1-го человека в видео можно подменять на другое, тогда как в VDR происходит подмена звука «при одновременной синхронизации артикуляции и мимики с начальным видео».
Чтоб показать практическое применение технологии VDR, CannyAI записали видео с глобальными фаворитами, исполняющими песню Imagine Джона Леннона.
Известный ролик CannyAI 2019 года с Марком Цукербергом также был сотворен при помощи данной технологии. В нем основоположник Facebook как будто бы хвастает тем, что «имеет доступ к украденными данным млрд людей». Видеофрагмент был взят из выступления Цукерберга о вмешательстве Рф в выборы в США (Соединённые Штаты Америки — государство в Северной Америке) при помощи Facebook, записанного в 2017 году.
Дипфейк обширно употребляется в поддельных новостях новостях (в особенности в разгар государственных политических кампаний), что вызывает беспокойство у компании. Эти и остальные злоупотребления, в том числе для сотворения порнографического контента, сформировывают негативное отношение к технологии.
«В крайнее время дипфейк почаще всего упоминается в связи с липовыми новостями. Потому мы решили сделать нечто объединяющее, чтоб показать положительные способности данной технологии», — произнес Бен-Ами, комментируя запись видео Imagine.
«Естественно, мы учитываем этические суждения», — добавляет Хейманн, описывая внутренние процедуры CannyAI. Компания пристально изучает и утверждает все финишные и начальные видео, чтоб гарантировать соблюдение прав и отсутствие злого умысла. Полный процесс включает загрузку финишного и начального видео, обзор их соответствия, применение алгоритмов ИИ, работу над качеством изображения и добавление водяных символов перед выпуском окончательного варианта ролика.
Поначалу CannyAI занималась дубляжом телешоу, повторно употребляла имеющиеся видео и переводила обучающие ролики на различные языки. На данный момент компания разрабатывает решение, которое может на сто процентов убрать потребность клиентов в заказе видео.
Создание роликов стоит недешево: в стоимость входят аренда студии, заработная плата съемочной группы и монтажера, также расходы на зрительные эффекты. CannyAI планирует сделать библиотеку высококачественных видеоматериалов, чтоб юзер мог «выбирать ролик с говорящим человеком, как на Shutterstock, и поменять текст в кадре», разъясняет Хейманн. Это дозволит маленьким компаниям выпускать высококачественные видео о собственных продуктах, которые они пока не могут для себя дозволить из-за их накладности. Для этого CannyAI отыскивает пригодную студию, актеров, профессионалов по анимации и сценаристов.
Источником вдохновения для основоположников CannyAI послужил проект Face2Face, который реконструирует мимику. Дочерний проект компании под заглавием Synthesia в истинное время занимается дубляжом.
CannyAI различается от соперников тем, что фокусируется на разработке высококачественных видео с четкой передачей мимики и артикуляции, в то время как остальные стартапы делают видео наиболее низкого свойства, имитируя лишь главные выражения лица. Компания пробует разные технические приемы. Видео уровня CannyAI очень мучительно создавать при помощи классической компьютерной графики, потому этот механизм употребляется очень изредка — обычно, для улучшения движений губ при произнесении одного-двух слов.
Невзирая на маленький срок существования, компания уже успела посотрудничать с MIT, Warner Music Group, Keshet и даже поучаствовала в разработке малометражного кинофильма, который был представлен на Международном фестивале документальных кинофильмов в Амстердаме (IDFA). Стартап нередко упоминается в ведущих израильских СМИ (Средства массовой информации, масс-медиа — периодические печатные издания, радио-, теле- и видеопрограммы), таковых как Channel12 и Mako.
У Хейманна и Бен-Ами есть два консультанта, один из которых получил докторскую степень по статистике в Йельском институте, а иной практикуется на кино и занимается постпродакшеном аудио.
В 2018 году CannyAI приняла роль в первом цикле акселератора, запущенного службой сохранности Израиля (ISA либо Shin Bet на иврите) и TAU Ventures, вкладывательным подразделением Тель-Авивского института.
Источник.
Источник: