ПРАКТИЧЕСКИЕ ОБУЧЕНИЯ

Как использовать VEST: бесплатный онлайн-инструмент для сегментации видеоклипов

Улучшите свои исследования машинного обучения, используя этот инструмент сегментации видеособытий для качественного кодирования видеоклипов.

Анализ видеозаписей поведения людей и животных стал мощным инструментом для исследователей из разных дисциплин.

В последние годы достижения компьютерного зрения и машинного обучения значительно облегчили автоматизированный анализ видео (например, обнаружение объектов, выражение лица, позы). Тем не менее, участие человека по-прежнему необходимо для идентификации и маркировки новых категорий событий, взаимодействий или явлений для анализа и обучения новых моделей.

Как исследователь социальной психологии я много времени проводил за анализом видеозаписей социальных взаимодействий. Однако меня никогда не устраивали видеоинструменты, доступные для маркировки и сегментации событий (например, ELAN). Многие инструменты были проприетарными, требовали сложной установки и были сложными в использовании (список инструментов).

После многих лет поисков я, наконец, создал свой собственный инструмент сегментации видеособытий (VEST), бесплатный, с открытым исходным кодом, настраиваемый и простой в использовании. Вот учебник о том, как использовать VEST для собственных исследований.

Как использовать ВЕСТ

1. Найдите инструмент

VEST доступен онлайн через ваш веб-браузер (например, Chrome, Safari, Edge). Все, что вам нужно сделать, это перейти на https://jinhyuncheong.com/vest/vest.html, и инструмент мгновенно окажется у вас в руках (скриншот ниже).

2. Загрузите свое видео

После загрузки веб-сайта используйте кнопку Choose file, чтобы загрузить видео. VEST использует Web Audio API и аудио peaks.js BBC за кулисами для визуализации звуковых сигналов из вашего видео. Эта визуализация помогает более точно определить начало и конец событий.

3. Настройте ярлыки сегментов

Как только ваше видео загружено, вы можете добавить метки для интересующих вас событий, используя файл Add segment buttons. Эта кнопка попросит вас написать, как будет называться ваше мероприятие. Например, это может быть Speaker 1, если вы просто сегментируете, когда говорят разные говорящие (см. нижний левый рисунок). После того, как вы нажмете «Отправить», вы увидите, что на панели управления в правой части экрана появится кнопка с меткой вашего события (нижний правый рисунок).

Теперь вы можете воспроизводить видео и нажимать кнопку «Динамик 1», когда вам нужно пометить этот сегмент. Вы можете точно настроить время начала и окончания после добавления сегмента.

4. Сохраните свои аннотации

После того, как вы закончите кодирование видео, вы можете загрузить результаты в стандартный файл json с помощью кнопки Download results на панели управления.

Вы можете загрузить файл данных на любой язык анализа (например, R, Python). Вот пример Python:

Часто задаваемые вопросы

  1. Сигналы слишком малы. Используйте Amplitude scale, чтобы увеличить размер сигнала. Вы также можете использовать кнопку Zoom in или Zoom out для настройки временной ширины отображаемой формы волны.
  2. Мое аудио не загружается. Извлечение звука из видео для его визуализации может занять несколько секунд. Естественно, более длинные видео требуют больше времени для извлечения звука. Если вы все еще не видите его, пожалуйста, откройте вопрос.
  3. У меня длинное видео, что мне делать? VEST не имеет внутреннего сервера. Это означает, что любой прогресс будет потерян, если вы закроете браузер. Поэтому я настоятельно рекомендую вам часто сохранять файлы, когда вы работаете над длинным видео.
  4. Как мне настроить инструмент? VEST имеет открытый исходный код, поэтому вы можете получить доступ к исходному коду на https://github.com/jcheong0428/vest. Вы можете клонировать репозиторий и запускать веб-страницу локально с любыми изменениями, которые пожелаете.
  5. Я хочу оставить отзыв об этом инструменте. Я хотел бы получить ваши отзывы о том, как инструмент может быть улучшен. Обратите внимание, что инструмент должен быть довольно простым, поэтому он гибкий и простой в использовании. Тем не менее, любые предложения или сообщения об ошибках приветствуются через репозиторий проекта или Твиттер.

Надеюсь, вы найдете VEST полезным в своем следующем проекте по анализу видео. С нетерпением жду новых классных анализов и моделей машинного обучения, которые будут созданы в будущем!

Напомним, используйте инструмент сегментации видеособытий здесь: https://jinhyuncheong.com/vest/vest.html.

И репозиторий здесь:



GitHub — jcheong0428/vest: Инструмент сегментации видеособытий
Инструмент сегментации видеособытий (VEST) — это программное обеспечение с открытым исходным кодом для аннотирования временных событий в видеоклипах. Вы…github.com