ВведениеКомплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека при решении задач компьютерного зрения, обработки естественного языка, распознавания и синтеза речи, поддержки принятия решений и других практически значимых задач обработки данных – это технологии искусственного интеллекта [1]. Компьютерное зрение – область научных и прикладных исследований, направленных на извлечение и последующее использование данных, обнаруженных на изображениях. Первоначальной задачей компьютерного зрения было восстановление пространственной структуры объекта (3D) по плоским изображениям (2D). Затем, данная задача была расширена в сторону анализа состояния объекта по изображениям. Новые подходы в области задач детекции, классификации, сегментации объектов позволяют создавать системы распознавания в режиме реального времени. Существует несколько алгоритмов и методологий для обнаружения и сегментации объектов на строительных площадках с использованием компьютерного зрения и методов глубокого обучения. Один из подходов заключается в использовании больших наборов данных изображений, специально собранных при фиксации процессов на строительной площадке [2]. Другой подход заключается в использовании сверточных нейронных сетей для обнаружения распространенных типов элементов, находящихся на строительной площадке, таких как здания, оборудование, рабочие бригад [3].Важно определить основные факторы, влияющие на процесс принятия решений, и параметры формирования входных и выходных данных для моделирования каждого этапа жизненного цикла объекта, а также технико-экономические показатели формируемой информационной модели по этапам [4]. Некоторые проблемы при обнаружении объектов на строительных площадках включают изменчивость формы и размера объектов, визуальную блокировку, приводящую к ложным срабатываниям, и сложность интеграции информации от различных объектов разного размера и масштаба [5]. Кроме того, сложная конфигурация строительных площадок и необходимость в надежных моделях сегментации экземпляров для эффективного обнаружения объектов в различных условиях создают значительные сложности [6]. Эти проблемы подчеркивают необходимость передовых сенсорных технологий и инновационных стратегий для автоматизации обнаружения дефектов и улучшения мониторинга безопасности на строительных площадках.В то время как для сбора мультимодальных данных используются новые методы зондирования, цифровая фотография (с использованием камер или мобильных устройств, таких как смартфоны и планшетные компьютеры) на сегодняшний день является одним из наиболее распространенных способов документирования полевых работ. Учитывая богатство контента и визуальное разнообразие, запечатленное на фотографиях или видео, визуальные данные можно использовать для создания отчетов о ходе выполнения и запроса информации, проведения контроля качества, мониторинга производительности работ бригад, управления развертыванием ресурсов, обеспечения безопасности. Традиционно, ручное сканирование и сортировка специалистами-людьми были наиболее распространенным методом организации и хранения большого объема строительных изображений. Однако с появлением смартфонов, беспилотных летательных аппаратов и других персональных устройств с подключением к сети количество цифровых изображений и видео увеличилось в геометрической прогрессии, что делает традиционные ручные решения чрезвычайно ресурсоемкими и неэффективными. Инструменты с поддержкой искусственного интеллекта потенциально могут решить эту проблему с повышенной точностью и своевременностью [4].Объекты и методы исследованияУправление строительством с использованием компьютерного зрения строительной площадки включает в себя различные приложения и методы для повышения эффективности, безопасности и контроля качества. Некоторые из этих приложений включают в себя:Мониторинг безопасности работников. Компьютерное зрение может обеспечить точный и последовательный мониторинг работников, чтобы убедиться, что они соблюдают правила техники безопасности.Обнаружение и отслеживание строительной техники. Отслеживая наличие и перемещение оборудования, машинное обучение можно использовать для оптимизации использования оборудования и снижения затрат.Автоматизированный контроль качества строительных материалов. Компьютерное зрение может использоваться для обнаружения и идентификации несоответствий в материалах, обеспечивая точность расчета потребности в материалах, расхода и запаса.Мониторинг прогресса. Технология компьютерного зрения позволяет отслеживать ход строительных проектов, помогая начальникам участка выявлять потенциальные проблемы на ранней стадии и оптимизировать процесс строительства.Информационное моделирование строительных площадок. Камеры высокой четкости, прикрепленные к беспилотным летательным аппаратам, могут создавать цифровые модели с обновлениями в режиме реального времени, обеспечивая руководителям строительных проектов объемный сбор данных проекта без риска физического осмотра.Обнаружение дефектов. Выявлять отклонения от рабочей документации, технологической карты или плана выполнения работ, управлять изменениями на основе разработанных сценариев информационного моделирования [7].Эти приложения демонстрируют потенциал компьютерного зрения для революционизирования строительной отрасли за счет автоматизации задач, снижения затрат и повышения точности. В компьютерном зрении обнаружение объектов определяется как локализация объекта на изображении и отнесение области к одной из заранее определенных категорий. Способность обнаруживать объекты в режиме реального времени помогает отслеживать небезопасное поведение работников, такого как работа бригады в непосредственной близости от опасного объекта (например, высоковольтной линии) или движущегося объекта (например, грузовика, экскаватора), что имеет важное значение для предотвращения потенциальных несчастных случаев [8]. Кроме того, чтобы отслеживать перемещения объектов в видеопотоке в реальном времени, необходимо иметь чрезвычайно быстрый алгоритм, который может многократно обрабатывать каждый видеокадр и обнаруживать все интересующие объекты в текущем кадре до поступления следующего кадра. Обогащение изображений тегами метаданных, сгенерированными искусственным интеллектом, обозначающими содержимое (например, типы объектов и их взаимодействия) и внешний вид (например, цвет, контекст) отснятой сцены могут значительно расширить возможности поиска контента и последующего применения цифровых изображений.Задача нахождения объектов на изображении — задача машинного обучения, в рамках которой выполняется определение наличия или отсутствия объекта определённого домена на изображении, нахождение границ этого объекта в системе координат пикселей исходного изображения. В зависимости от алгоритма обучения, объект может характеризоваться координатами ограничивающей рамки, ключевыми точками, контуром объекта.Проблемы отрасли на этап строительства:самая высокая смертность и травмоопасность на производстве (нарушение правил охраны труда), более половины несчастных случаев (55%) произошли из-за плохой организации труда. Так, 34% происшествий связаны с падением с высоты, 23% — с воздействием деталей механизмов и движущихся предметов. К 13% несчастных случаев привели обрушение, обвал предметов или материалов.увеличение сроков от плановых от 30% (не выполнение операций по технологической карте),превышение бюджетов (внесистемный контроль расхода материала),низкий уровень контроля за строительными материалами (слабый контроль работы склада);ручной контроль выполнения работ специалистами подрядчика, заказчика, авторского надзора, государственного стройнадзора (автоматизированная оценка выполнения работ на конкретный момент времени) и т.д. [9].Задача — разработать алгоритм решения задачи детекции и сегментации ситуаций на строительной площадке на основе различных исходных данных, таких как: фото рабочих, СИЗ, складов, материалов, рабочей силы, участка фронта работ, защитных ограждений. Что может быть в результате?  Поиск аномалий — отклонений от планируемых действий или нарушения правил.Порядок решения задачи:Собрать и предварительно обработать данные.Разделить данные на обучающий набор и тестовый набор.Выбрать метод обучения, обучите модель на обучающей выборке.Использовать обученную модель в тестовом наборе.Оценить производительность модели.Рис. 1. Методология управления данными с изображений с помощью компьютерного зренияРезультаты исследованийСбор и обработка данных.Вне зависимости от объекта исполнители столкнутся с проблемой специфичности данных. На данный момент в открытом доступе сложно найти нужное количество фото для обучения. Требуется значительное количество времени для сбора данных на строительных площадках.Разметка данных.Задача подразумевает детекцию различных классов объектов. Например, модель будет определять на снимках различные объекты. Можно это сделать в Label Studio. Принцип разметки прост: выбираем нужный класс и помещаем объект в рамку. Так до тех пор, пока не будут все важные для задачи классы на каждом изображении.При разметке данных для модели обнаружения объектов нужно:следить за тем, чтобы было примерно равное количество примеров по каждому классуследить за тем, чтобы ограничивающая рамка была не слишком далеко от объектов, но и не пролегала через них, нужно размечать прямо по контуру объектаотметить не менее 50 изображений объекта класса, чтобы обучить модельограничить количество объектов, которые хотим обнаружить, чтобы повысить точность модели для обнаружения этих объектов.Рис. 2. Детекция объектов на строительной площадке [10]Выбор метода обучения, обучение модели на обучающей выборке. Задача нахождения объектов на изображении может быть поставлена различным образом и включает в себя класс других задач, помогающих определить, какие объекты находятся на изображении и где они расположены в сетке пикселей исходного изображения. Задача семантической сегментации - задача, в которой на вход модели подаётся изображение, а на выходе для каждого пикселя является метка принадлежности этого пикселя к определённой категории. Например, если в исходном изображении человек находится на участке фронта работ, то для каждого пикселя необходимо вывести, является ли этот пиксель частью человеческого тела, профиля временного дорожного покрытия, временного освещения, неба, или какого-то другого типа. Существенный недостаток применения одной лишь семантической сегментации относительно задач, связанных с распознаванием объектов — маркировка пикселей по принадлежности только к типу объекта, что не создаёт различия между объектами как таковыми. Например, если назвать "объектом" связную область пикселей, характеризующих одинаковый тип, то два объекта, перегораживающих друг друга на исходном изображении, будут определены как один объект, что в корне неверно. Задача семантической сегментации изображения с дифференцированием объектов называется задачей сегментации экземпляров. Модели, решающие задачу сегментации экземпляров, применяются, в том числе, для подсчёта людей в массовых скоплениях, для автомобилей с автоматическим управлением [11].Задача классификации с локализацией — задача, в которой в дополнение к предсказанию метки категории класса определяется рамка, ограничивающая местоположение экземпляра одиночного объекта на картинке. Как правило, рамка имеет прямоугольную форму, её стороны ориентированы параллельно осям исходного изображения, а площадь является минимальной при условии полного нахождения экземпляра объекта внутри этой рамки. Такую прямоугольную рамку называют термином "ограничивающая рамка". Ограничивающую рамку можно задать как при помощи центра, ширины и высоты, так и при помощи четырёх сторон. Модель в данном случается одновременно обучается как верной классификации, так и максимально точному определению границ рамки. Задача детекции объектов — задача, в рамках которой необходимо выделить несколько объектов на изображении посредством нахождения координат их ограничивающих рамок и классификации этих ограничивающих рамок из множества заранее известных классов. В отличие от классификации с локализацией, число объектов, которые находятся на изображении, заведомо неизвестно.МетрикиВ задачах классификации с локализацией и детекции объектов для определения достоверности местоположения ограничивающей рамки в качестве метрики чаще всего используется отношение площадей ограничивающих рамок (IoU). В задачах детекции объектов в качестве метрики зачастую используется средняя точность (англ. mean average precision), усреднённая по всем категориям величина средней точности (англ. average precision, AP).Рис. 3. Примеры влияния взаимного положения ограничивающих рамок на метрику IoUВыбор методовДвухэтапные методы (англ. two-stage methods) как методы, основанные на регионах (англ. region-based methods) представляют собой два последовательных процесса. Первый процесс – это селективный поиск по выделенным регионам, в которых с высокой вероятностью содержатся искомые объекты. Второй процесс – это проверка выбранных регионов классификатором для определения принадлежности исходным классам и регрессором, уточняющим местоположение ограничивающих рамок. Такой алгоритм (R-CNN, Region-based Convolutional Network) основан на сверточных нейронных сетях. Данный алгоритм обеспечивает поиск объектов независимо от размера объекта, расстояния до камеры, угла зрения.Другой алгоритм - YOLO (You Look Only Once) предполагает детекцию объектов в режиме реального времени. Здесь исходное изображение сначала разбивается на сетку из N×N ячеек. Если центр объекта попадает внутрь координат ячейки, то эта ячейка считается ответственной за определение параметров местонахождения объекта. Каждая ячейка описывает несколько вариантов местоположения ограничивающих рамок для одного и того же объекта по координатами центра ограничивающей рамки, его шириной и высотой, а также степени уверенности в том, что ограничивающая рамка содержит в себе объект. Также необходимо для каждой пары класса объектов и ячейки определить вероятность того, что ячейка содержит в себе объект этого класса.Далее необходимо использовать обученную модель в тестовом наборе и оценить производительность модели. Рис. 4. Результат работы Yolov5s основан на обучении, epoch = 50КлассификацияPRmAP0.5общий0.8840.8990.888человеческое тело0.8460.8930.877голова0.8890.8830.871шлем0.9170.9210.917 Метод компьютерного зрения, основанный на архитектуре нейронной сети YOLO показывает точность на 3х разных метриках на 4 классах выше 85 %.ВыводыВыявление аномалий – инструмент контроля на строительной площадке. На основе систем компьютерного зрения можно внедрять интегрированные системы управления безопасностью для предотвращения несчастных случаев на строительных площадках путем создания моделей распознавания изображений с использованием синтетических данных, основанных на трансферном обучении. Показанная модель распознавания объектов для обнаружения рабочих и объектов может помочь заблаговременно распознавать опасные ситуации, такие как падение работника, работающего на высоте. Модель, которая обнаруживает падения рабочих (падение с конструкции или вниз), может быть использована для реагирования на несчастный случай на рабочем месте в кратчайшие возможные сроки после его возникновения. Модель распознавания объектов, позволяющая определить, правильно ли рабочие-строители носят средства индивидуальной защиты, определяет, соблюдают ли работники правила ношения защитных касок. В качестве направления будущих исследований планируется оптимизации каждой модели, максимизации производительности на основе реальной строительной площадки, увеличение количества исходных данных и классов объектов для распознавания.