Как это устроено?
Система видео-распознавания СуперМаг Vision состоит из серверной части, которая полностью расположена на стороне нашей компании, и конечных устройств, на которых реализован интерфейс для выдачи результатов распознавания СуперМаг Vision. В качестве конечного устройства могут выступать: весы самообслуживания, киоск самообслуживания или касса с прикассовыми весами. Если конечное устройство имеет встроенную камеру или же снабжено IP-камерой, то обмен данных идет непосредственно между конечным устройством и серверной частью и архитектура системы ограничивается этими двумя элементами. Если же встроенной камеры на конечном устройстве нет, но оно имеет USB-камеру, то в архитектурной схеме задействуется еще один элемент: клиентское устройство. Оно устанавливается непосредственно в торговой точке и служит для обработки и передачи информации с USB-камер, которые подключаются к нему. Клиентское устройство представляет из себя плату Raspberry Pi с установленным ПО СуперМаг Vision, осуществляющим работу с USB-камерами. Серверная часть, в свою очередь, может быть представлена либо исключительно облачным сервером, либо облачным сервером в дополнении с локальным сервером. Облачный сервер – это сервер с API, доступным по подписке. Он включает в себя сервис сбора дата-сета, сервис распознавания, сервис пик-листов, а также внутренние сервисы: сервис обучения нейросетей, сервис преобразования клиентских артикулов в уникальные и др. В качестве локального сервера выступает EDGE-устройство на базе Jetson Nano. Локальный сервер обеспечивает работу сервисов сбора дата-сета, распознавания, пик-листов и управления IP-камерами непосредственно на EDGE-устройстве в торговой точке. Локальный сервер включает в себя предобученную нейросеть и позволяет беспрерывно осуществлять распознавание при падении скорости интернет-канала и даже при временном отключении интернета. Таким образом, оба типа сервера (облачный и локальный) имеют свои преимущества и недостатки: работа облачного сервера напрямую зависит от стабильности интернет-соединения, в то время как локальный сервер гораздо менее от него зависим. Тем не менее, пользоваться исключительно локальным сервером невозможно: рано или поздно неизбежно возникнет необходимость производить обучение и тестирование нейросети, а также прочих процессов, возможных только в облачном сервере. Обойтись пользованием только облачным сервером можно, однако не всегда надежно: облачный сервис не в состоянии осуществлять распознавание в условиях отсутствия интернет-соединения. По этой причине, для сбалансированной и стабильной работы системы, мы рекомендуем использовать облачный сервер в дополнении с локальным.
Сам процесс распознавания товаров происходит на сервере СуперМаг Vision (облачном или локальном), куда передается информация с клиентских или напрямую с конечных устройств.
Конечные устройства, реализуемые нашей компанией, представлены следующими вариантами:
- весы DataPrint (при поставке, в прошивку уже включены все настройки для тестового доступа к сервисам СуперМаг Vision, но режим распознавания по умолчанию выключен);
- киоск самообслуживания DataPrint с ПО УКМ 5 или ПО УКМ 4;
- касса УКМ 4 или касса УКМ 5 с прикассовыми весами (каждые прикассовые весы в магазине требуется снабдить камерой, а в магазине необходимо установить рекомендуемое количество клиентских устройств СуперМаг Vision для управления камерами).
При желании, систему видео-распознавания можно использовать и с конечными устройствами иных производителей и типов, однако в данном случае, необходимо обратиться к команде сопровождения СуперМаг Vision для дополнительных консультаций.
Краткое описание основных сервисов СуперМаг Vision
Сервис распознавания – возвращает список возможных товаров по данному фото. Каждый товар в списке снабжён процентной вероятностью его нахождения на фото. Сервис предполагает интеграцию по API.
Сервис сбора дата-сета – предназначен для сбора дата-сета. Работает как в режиме распознавания, фиксируя конечный выбор пользователя, так и в режиме обычного взвешивания, когда выбор товара происходит через каталог или любым другим классическим сценарием. Сервис предполагает интеграцию по API.
Сервис пик-листов – возвращает универсальный пик-лист товара по данному локальному SKU или штрих-коду товара у пользователя. Сервис предполагает интеграцию по API.
Сервис управления камерами – управляет внешними IP- или USB-камерами в случае, если конечные устройства не оснащены встроенными камерами и требуется установка внешних камер. По запросу от конечного устройства, сервис управления камерами инициирует съём изображения с камеры и отправляет запрос на распознавание серверу СуперМаг Vision. Сервис управления камерами также может работать в режиме сбора дата-сета. Предполагает интеграцию по API.
Сервис сбора и препроцессинга дата-сета – реализован на облачном сервере и отвечает за сбор и препроцессинг дата-сета; не предполагает интеграцию по API.
Сервис обучения и тестирования нейросетей – реализует пайплайн обучения и тестирования нейросетей на базе собранных дата-сетов; не предполагает интеграцию по API.
Сервис распространения нейросетей – распространяет предобученные нейросети по локальным серверам, установленным в торговых точках у клиентов; не предполагает интеграцию по API.
Как это работает?
Для удобства понимания устройства и принципа действия системы СуперМаг Vision, предлагаем следующую схему:
На схеме пунктирными стрелками показано опциональное использование локального сервера, а также процесс обмена данных при условии наличия на конечном устройстве встроенной камеры или подключенной к нему IP-камеры.
В зависимости от того, снабжено ли конечное устройство встроенной камерой и используется ли локальный сервер в дополнение к облачному, возможны 4 архитектурных решения СуперМаг Vision:
Облачный сервер + конечное устройство без камеры
В случае отказа от использования локального сервера, все вычисления системы происходят исключительно на облачных мощностях. В магазинах осуществляется лишь управление камерами. При отсутствии на конечном устройстве встроенной камеры, она подключается к клиентскому устройству, и оно осуществляет обработку полученного с нее изображения. На серверную часть информация, полученная с клиентского устройства, попадает через защищенный канал и проходит через диспетчер с очередями запросов, а также через балансировщик нагрузки. Когда очередь запроса на обработку информации подходит, он отправляется в нейронную сеть, посредством которой и происходит обработка сигнала, полученного с камер, а также непосредственно само распознавание товара. Технологии глубокого машинного обучения позволяют "обучать" нейронную сеть распознаванию новых товаров, в том числе немаркированных штучных, и обеспечивать таким образом расширение производственных возможностей системы. Результат распознавания, полученный от нейронной сети, отправляется обратно на конечное устройство:
Облачный сервер + конечное устройство с камерой
Как и в предыдущем варианте, все вычислительные процессы, а также процессы распознавания, обучения и тестирования происходят исключительно в облачном пространстве. В магазинах осуществляется лишь управление камерами. В данном варианте предполагается, что камера встроена в конечное устройство, на котором реализована обработка изображения с камер. В таком случае, необходимость в использовании клиентского устройства отпадает, так как интеграция с облачным сервером в обоих направлениях осуществляется исключительно через веб-сервисы. На текущий момент, в линейке оборудования, реализуемого нашей компанией, встроенной камерой и возможностью обрабатывать изображения с нее оборудованы все весы Data Print. Более того, в прошивку каждой реализуемой нами модели уже включены все настройки для тестового доступа к сервисам СуперМаг Vision: пользователю остается только включить режим распознавания, чтобы увидеть своими глазами, как работает данный функционал. При желании работать с системой автоматического видео-распознавания на других конечных устройствах со встроенными камерами и возможностью обрабатывать полученные с них изображения, просим обращаться к команде сопровождения СуперМаг Vision:
Облачный сервер + локальный (EDGE) сервер + конечное устройство без камеры
В отличие от чисто облачного сценария, в торговой точке устанавливается локальный сервер на базе Nvidia Jetson Nano, на котором разворачиваются локальные сервисы распознавания, сбора дата-сета и пик-листов. При использовании локального сервера в дополнение к облачному, сбор дата-сета и обучение нейросетей происходит на облачных мощностях, в то время как работа с IP-камерами, сервис распознавания и сервис пик-листов работают на мощностях локального сервера. При отсутствии встроенной камеры на конечном устройстве, можно подключить USB-камеру к клиентскому устройству, и оно будет обрабатывать и передавать информацию с камеры на сервер по схеме, описанной в первом варианте. При возможности, можно подключить к конечному устройству IP-камеру: это избавит от необходимости использовать клиентское устройство для обработки и передачи информации; данные с IP-камеры напрямую отправляются в локальный сервер. Локальный сервер периодически (согласно настройкам обоих серверов) обменивается данными с облачным по мере наличия интернет-соединения:
Облачный сервер + локальный (EDGE) сервер + конечное устройство с камерой
Камеры встроены в Конечное устройство, на котором реализована обработка изображения с камер. Интеграция с локально развёрнутыми сервисами Супермаг Vision исключительно по API.