Для первого этапа проекта студенты получили видео с камер из центра обработки данных Екатеринбурга с подпиской о неразглашении. Совместив нейронные сети и алгоритм машинного зрения, они обучают камеры в режиме реального времени понимать, что происходит на видео. Сейчас сеть может определить количество автомобилей в кадре и их тип — автобус, легковой, грузовой, велосипед и так далее. Также алгоритм может понять тип дороги и скорость машины.
После того как камера поняла, что есть в кадре, она включает алгоритм постобработки и проверяет, не нарушаются ли там ПДД. Находится ли автомобиль на нужной части дороги, на тот ли свет едет, не превышает ли скорость — это лишь базовые вещи, которые может засечь нейросеть.
— Все, что может распознать человек, может увидеть и нейросеть. Нужно только научить ее смотреть на нужные вещи и подмечать их.
Камеры учат видеть не только автомобильные, но и человеческие конфликты. Группа студентов учила нейросеть опознавать девиантное поведение, но получить данные на него оказалось сложно — нигде нет большого архива драк, грабежей, поджогов и угонов, записанных на камеры наблюдения. Поэтому им пришлось создать искусственную базу данных с помощью движка Uniti. Студенты сделали тестовую игру типа GTA, в которой имитируют беспредел — от аварий и слива бензина до массовых драк и потасовок в городской среде. На основе этих ситуаций камера учится вычислять аналогичные случаи в реальной жизни без вреда для чьего-то здоровья.
Единственное, чего пока не может понять машина, — обнимаются люди или пытаются задушить друг друга, дерутся или просто дружески похлопывают. Тут уже в ход вступает оператор, который следит за камерой.
Самостоятельно алгоритмы не могут вызывать патруль или выписывать штрафы — система присылает уведомление оператору, который сидит у камер, чтобы он обратил внимание на определенный экран. Конечное решение пока принимает только человек, и все истории про автоматические штрафы — миф.
Возможности зависят от качества камеры. Если фронталка iPhone может отличить ваше лицо от других, то не факт, что на это способны городские камеры. Но в некоторых районах города есть и такие. Например, пилотный проект НПО автоматики в Академическом помогает распознавать лица и детектировать автомобильные номера. Чужие люди во дворах сразу вызывают подозрение у оператора.
Доработанный проект студентов предложат городской администрации для повсеместной интеграции. Камеры в городе смогут:
Также алгоритмы уже используются на предприятиях и производствах. Камеры проверяют рабочих на наличие касок на стройке и масок в период пандемии. Если бы коронавирус появился лет через 15, то контролировать режим самоизоляции было бы гораздо проще.