Алматы. 6 марта. 7kun.kz - Корпорация разработала алгоритм, позволяющий в реальном времени заменять фон, передает телеграм канал Код Дурова.

Разработчики создали специальный нейросетевой алгоритм, заменяющий любой фон даже на мобильных устройствах в реальном времени. За модель они взяли модель сверточной нейросети, которая была разработана для сегментации изображений. К трём основным цветовым каналам (зеленый, синий, красный) программисты добавили новый, сегментированный кадр:

Для того,чтобы научить нейросеть различать объект и фон, разработчики загрузили десятки тысяч изображений людей с помеченными по цвету объектами на человеке:

Получившийся результат превзошёл все ожидания. Нейросеть может обрабатывать видео с огромной скоростью: для iPhone 7 этот показатель составляет более 100 кадров в секунду, а для Google Pixel 2 - более 40. Коэффициент различия фона и человека составляет 94.8 процента. Разработчики уже сообщили, что у части пользователей новая функция уже доступна. Они встроили сервис замены фона в мобильном приложении YouTube.

В настоящее время зеленый фон используется часто в кино. С помощью технологии хромакей на зеленом (или даже синем) фоне снимают актёров, а затем в редакторе накладывается другое изображение. Новая технология скорее всего заменит маленькие проекты, которым не выгодно использовать хромакей. При этом существующие технологии автоматического вырезания не подходят из-за их низкого качества.