Как это устроено?
Система видео-распознавания СуперМаг Vision состоит из серверной части, которая полностью расположена на стороне нашей компании, и конечных устройств, на которых реализован интерфейс для выдачи результатов распознавания СуперМаг Vision. В качестве конечного устройства могут выступать: весы самообслуживания, киоск самообслуживания или касса с прикассовыми весами. Если конечное устройство имеет встроенную камеру или же снабжено IP-камерой, то обмен данных идет непосредственно между конечным устройством и серверной частью и архитектура системы ограничивается этими двумя элементами. Если же встроенной или IP-камеры на конечном устройстве нет, то в архитектурной схеме задействуется еще один элемент – клиентское устройство. Клиентское устройство устанавливается непосредственно в торговой точке и служит для обработки и передачи информации с USB-камер, которые подключаются к нему. Клиентское устройство представляет из себя одноплатный микро-компьютер с установленным ПО СуперМаг Vision, осуществляющим работу с USB-камерами. Серверная часть, в свою очередь, может быть представлена либо исключительно облачным сервером, либо облачным сервером в дополнении с локальным сервером. Облачный сервер – это сервер с API, доступным по подписке. API предоставляется пользователю по запросу. Он включает в себя сервис сбора датасета, сервис распознавания, сервис пик-листов, а также внутренние сервисы: сервис обучения нейросетей, сервис преобразования клиентских артикулов в уникальные и др. В качестве локального сервера выступает компактный мощный EDGE-компьютер, предназначенный для работы с другими устройствами и приложениями на базе искусственного интеллекта. Локальный сервер обеспечивает работу сервисов сбора датасета, распознавания, пик-листов и управления IP-камерами непосредственно на EDGE-устройстве в торговой точке. Локальный сервер включает в себя предобученную нейросеть и поэтому позволяет беспрерывно осуществлять распознавание при падении скорости интернет-канала и даже при временном отключении интернета. Таким образом, оба типа сервера (облачный и локальный) имеют свои преимущества и недостатки: работа облачного сервера напрямую зависит от стабильности интернет-соединения, в то время как локальный сервер гораздо менее от него зависим. Тем не менее, пользоваться исключительно локальным сервером невозможно: рано или поздно неизбежно возникнет необходимость производить обучение и тестирование нейросети, а также ряд прочих процессов, возможных только в облачном сервере. Обойтись пользованием только облачным сервером можно, однако не всегда надежно: облачный сервер не в состоянии осуществлять распознавание в условиях отсутствия интернет-соединения. В силу этих причин, для сбалансированной и стабильной работы системы, мы рекомендуем использовать облачный сервер в дополнении с локальным.
Сам процесс распознавания товаров происходит на сервере СуперМаг Vision (облачном или локальном), куда передается информация с клиентских устройств или напрямую с конечных устройств.
Конечные устройства, реализуемые нашей компанией, представлены следующими вариантами:
- весы DataPrint (при поставке, в прошивку уже включены все настройки для тестового доступа к сервисам СуперМаг Vision, но режим распознавания по умолчанию выключен);
- киоск самообслуживания DataPrint с ПО УКМ 5 или ПО УКМ 4 (каждый кисок в магазине требуется снабдить камерой, а в магазине необходимо установить рекомендуемое количество клиентских устройств для управления камерами);
- касса УКМ 4 или касса УКМ 5 с прикассовыми весами (каждые прикассовые весы в магазине требуется снабдить камерой, а в магазине необходимо установить рекомендуемое количество клиентских устройств СуперМаг Vision для управления камерами).
При желании, систему видео-распознавания можно использовать и с конечными устройствами иных производителей и типов, однако в данном случае, необходимо обратиться к команде сопровождения СуперМаг Vision для дополнительных консультаций.
Краткое описание основных сервисов СуперМаг Vision
Сервис распознавания – возвращает список возможных товаров по данному фото. Каждый товар в списке снабжён процентной вероятностью его нахождения на фото. Сервис предполагает интеграцию по API.
Сервис сбора датасета – предназначен для сбора датасета. Работает как в режиме распознавания, фиксируя конечный выбор пользователя, так и в режиме обычного взвешивания, когда выбор товара происходит через каталог или любым другим классическим сценарием. Сервис предполагает интеграцию по API.
Сервис пик-листов – возвращает универсальный пик-лист товара по данному локальному SKU или штрих-коду товара у пользователя. Сервис предполагает интеграцию по API.
Сервис управления камерами – управляет внешними IP- или USB-камерами в случае, если конечные устройства не оснащены встроенными камерами и требуется установка внешних камер. По запросу от конечного устройства, сервис управления камерами инициирует съём изображения с камеры и отправляет запрос на распознавание серверу СуперМаг Vision. Сервис управления камерами также может работать в режиме сбора датасета. Предполагает интеграцию по API.
Сервис сбора и препроцессинга датасета – реализован на облачном сервере и отвечает за сбор и препроцессинг информации (датасета); не предполагает интеграцию по API.
Сервис обучения и тестирования нейросетей – реализует пайплайн обучения и тестирования нейросетей на базе собранных датасетов; не предполагает интеграцию по API.
Сервис распространения нейросетей – распространяет предобученные нейросети по локальным серверам, установленным в торговых точках у клиентов; не предполагает интеграцию по API.
Как это работает?
Для удобства понимания устройства и принципа действия системы СуперМаг Vision, предлагаем следующую схему:
На схеме пунктирными стрелками показано опциональное использование локального сервера, а также процесс обмена данных при условии наличия на конечном устройстве встроенной камеры или подключенной к нему IP-камеры.
В зависимости от того, снабжено ли конечное устройство встроенной или IP-камерой и используется ли локальный сервер в дополнение к облачному, возможны 4 архитектурных решения СуперМаг Vision:
Облачный сервер + конечное устройство без камеры
В случае отказа от использования локального сервера, все вычисления системы происходят исключительно на облачных мощностях. В магазинах осуществляется лишь управление камерами. При отсутствии на конечном устройстве встроенной камеры, USB-камера подключается к клиентскому устройству, и оно осуществляет обработку полученного с нее изображения. На серверную часть информация, полученная с клиентского устройства, попадает через защищенный канал и затем отправляется в нейронную сеть, посредством которой происходит обработка сигнала, полученного с камеры, а также непосредственно само распознавание товара. Технологии глубокого машинного обучения позволяют "обучать" нейронную сеть распознаванию новых товаров, в том числе немаркированных штучных, и обеспечивать таким образом расширение производственных возможностей системы. Результат распознавания, полученный от нейронной сети, отправляется обратно на конечное устройство:
Облачный сервер + конечное устройство с камерой
Как и в предыдущем варианте, все вычислительные процессы, а также процессы распознавания, обучения и тестирования происходят исключительно в облачном пространстве. В магазинах осуществляется лишь управление камерами. В данном варианте предполагается, что камера встроена в конечное устройство, на котором реализована обработка изображения с камер. В таком случае, необходимость в использовании клиентского устройства отпадает, так как интеграция с облачным сервером в обоих направлениях осуществляется напрямую через веб-сервисы:
Облачный сервер + локальный (EDGE) сервер + конечное устройство без камеры
В отличие от чисто облачного сценария, в торговой точке устанавливается локальный сервер устройства EDGE, на котором разворачиваются локальные сервисы распознавания, сбора датасета и пик-листов. При использовании локального сервера в дополнение к облачному, сбор датасета и обучение нейросетей происходит на облачных мощностях, в то время как работа с IP-камерами, сервис распознавания и сервис пик-листов осуществляются на мощностях локального сервера. При отсутствии встроенной камеры на конечном устройстве, можно подключить USB-камеру к клиентскому устройству, и оно будет обрабатывать и передавать информацию с камеры на сервер по схеме, описанной в первом варианте. При возможности, можно подключить к конечному устройству IP-камеру: это избавит от необходимости использовать клиентское устройство для обработки и передачи информации; данные с IP-камеры напрямую отправляются в локальный сервер. Локальный сервер периодически обменивается данными с облачным по мере наличия интернет-соединения и согласно настройкам обоих серверов:
Облачный сервер + локальный (EDGE) сервер + конечное устройство с камерой
В данном случае, облачный сервер дополняется локальным на базе EDGE-устройства. Распределение функционала сервисов между облачным и локальным серверами происходит так же, как описано в третьем варианте. Предполагается, что камера встроена в конечное устройство, на котором реализована обработка изображения с камер. Интеграция с локально развёрнутыми сервисами происходит исключительно по API:
На текущий момент, в линейке оборудования, реализуемого нашей компанией, встроенной камерой и возможностью обрабатывать изображения с нее оборудованы все весы Data Print. Более того, в прошивку каждой реализуемой нами модели уже включены все настройки для тестового доступа к сервисам СуперМаг Vision: пользователю остается только включить режим распознавания, чтобы увидеть своими глазами, как работает данный функционал. При желании работать с системой видео-распознавания на других конечных устройствах со встроенными камерами (а также возможностью обрабатывать полученные с них изображения), просим обращаться к команде сопровождения СуперМаг Vision.