Разработка студентов четвертого курса факультета автоматики и вычислительной техники Максима Семенова и Сергея Скорых позволяет преобразовывать видеопоток в структурированное текстовое описание, которое включает не только перечень объектов, но и анализ дорожной обстановки в динамике. Это особенно ценно для последующей обработки больших массивов текстовых данных, полученных с множества видеосцен, без необходимости просматривать часы видео.
По словам научного руководителя проекта, ассистента кафедры автоматизированных систем управления НГТУ НЭТИ Егора Антонянца, система в реальном времени анализирует видеопоток и формирует связный текстовый отчет.
«В основе лежит сверточная нейросетевая модель, которая обнаруживает объекты дорожной инфраструктуры в кадре: разметку, знаки, светофоры, пешеходные переходы, транспортные средства. Затем алгоритм анализирует их расположение и движение, после чего генерирует полное текстовое описание видеосцены. В конце программа делает итоговый вывод: «трафик низкий», «средняя загруженность» или «высокая интенсивность движения», — рассказал Егор Антонянц.
В отличие от простых систем детекции, которые лишь выводят названия объектов, новый алгоритм формирует именно связное текстовое описание всей сцены с итоговой оценкой дорожной ситуации. Технически работа строится в несколько этапов: сначала нейросеть выделяет объекты на каждом кадре, затем программа отслеживает их динамику и плотность потока, после чего с помощью языковых моделей преобразует данные в читаемый текст, завершающийся выводом о загруженности трафика.
Как рассказали разработчики проекта, аналоги таких решений существуют, но они или требуют больших вычислительных мощностей, или не адаптированы под российские дорожные условия, или дают только сырой список объектов без анализа общей ситуации.
«Наша разработка позволяет не просто увидеть, какие объекты попали в кадр, а получить полноценное текстовое описание видеосцены с итоговым вердиктом по трафику. Например, «в течение 30 секунд по дороге двигалось 12 легковых автомобилей и 2 грузовых. Пешеходный переход не использовался. Светофор работал в штатном режиме. Вывод — загруженность трафика средняя». Такой формат удобен для автоматического анализа больших объемов данных. Текст легко индексировать, искать по ключевым словам и обрабатывать алгоритмами», — отметили разработчики.
Студенты также добавили, что инструмент может быть полезен для дорожных служб, аналитических центров, страховых компаний. В перспективе систему можно адаптировать для мониторинга загруженности дорог в реальном времени и интеграции с существующими системами видеонаблюдения.
