Приложение video-object-removal удалит «лишние» движущиеся объекты на видео

Современные графические редакторы позволяют довольно легко и быстро удалить объект с фото. Однако в случае с видео это куда сложнее, ведь нужно обработать десятки и сотни кадров. И здесь на помощь приходит нейросеть.

На GitHub опубликовали исходный код утилиты video-object-removal , позволяющей легко удалять объекты с видео. Нужно только выделить нежелательный элемент курсором, после чего алгоритм сам определит объект и уберёт его, «закрасив» нужное место фоном.

Разумеется, пока что система работает не идеально. На исправленных видео видно, что на изображении иногда появляется «фантом» удалённого объекта. Однако это лишь начало. Сообщается, что текущая версия приложения может осуществлять трекинг с частотой до 55 кадров в секунду.

При этом результат сильно зависит от качества фона. Если он более или менее однородный, то получается лучше. А вот в случае сложного или меняющегося фона может возникнуть эффект «фантома».