СуперМаг Vision – автоматическое видео-распознавание товара

Описание

Касса УКМ 5 позволяет добавлять в чек весовой товар, не вводя его код, что осуществляется путем взаимодействия кассы с внешней системой видео-распознавания товара (СуперМаг Vision):

Далее возможны следующие ситуации на кассе:

      1. Товар однозначно распознан и автоматически добавлен в чек:

      2. Распознавание товара прошло не с абсолютной точностью, есть несколько товаров, отвечающих критериям совпадения. В таком случае, кассиру выводится список для выбора товара из нескольких вариантов:

Если нужный товар есть в списке, кассир выбирает его нажатием на нужную картинку, и он добавляется в чек. После выбора названия товара, касса напомнит о необходимости снять товар с весов:

Если результаты автоматического распознавания слишком далеки от оригинала, можно попробовать переснять товар на весах, воспользовавшись кнопкой/клавишей Переснять:

      3. Распознавание товара прошло не с абсолютной точностью, есть несколько товаров, отвечающих критериям совпадения. Кассиру выводится список для выбора товара из нескольких вариантов, но нужного товара нет в списке. В данном случае, кассир может попробовать сделать еще один снимок товара для распознавания. Для этого ему необходимо воспользоваться кнопкой/клавишей Переснять. Если же все попытки распознать товар оказались неудачными, кассир нажимает кнопку/клавишу Отмена, возвращается в интерфейс кассы и вводит код товара вручную, после чего товар добавляется в чек.

Настройки

1. Настройки СуперМаг Vision выполняются на каждой кассе, с которой планируется использовать систему видео-распознавания, и расположены непосредственно на ней. Узнать адрес доступа к нужной кассе можно у команды техподдержки УКМ 5. 

В настройках кассы, нужно расположить дефолтный конфигурационный файл для камеры config.yaml по адресу: /var/opt/camera_agent/config.yaml. Содержание файла приведено ниже:

%YAML 1.2
---
schema_version: 2
devices:
  gst_device_usb:
    connection: v4l2src device=/dev/v4l/by-id/gst-usb-camera
    socket: /tmp/gst_dev_usb
    cap: image/jpeg,width=1920,height=1080,framerate=30/1
default_camera: <<cameraID>>
sources:
  <<cameraID>>:
    camera:
      classname: GStreamerSRBCamera
      stream: shmsrc socket-path={devices.gst_device_usb.socket} num-buffers=1 ! {devices.gst_device_usb.cap} ! appsink
      device: gst_device_usb
    transform:
      - Crop:
          box: [670, 280, 1270, 800]

В файле для камеры config.yaml необходимо поменять параметр <<cameraID>> на номер лицензии камеры в двух отмеченных ниже местах:

Настройки надо сохранить.

2. Выполнив настройки на кассах, на кассовом сервере по адресу: Магазин – Типы касс нужно выбрать тип кассы и нажать кнопку Настройки:

В появившемся иерархическом древе в файле sale.conf (applications/sale/sale.conf) необходимо раскомментировать следующую строку и сохранить изменения:

{ include file("conf/applications/sale/goods_recognition.conf") }

В файле goods_recognition.conf (applications/sale/goods_recognition.conf) необходимо убедиться, что раскомментирована следующая строка:

include file("conf/misc/vision.conf")

Настройки необходимо сохранить.

3. Затем, на кассовом сервере по адресу: Магазин – Кассы нужно открыть интересующую кассу, нажав на ее название:

В открывшемся окне необходимо выбрать вкладку Оборудование:

В конфигурационном файле vision.conf (misc/vision.conf) необходимо выставить актуальные параметры для пользования системой:

partnerId – номер партнера/контрагента (значение сообщает менеджер)

camSerialNumber – номер лицензии на пользование камерой (значение сообщает менеджер).

Настройки нужно сохранить.

После переконфигурирования требуется полная перезагрузка кассы.

4. Работа с СуперМаг Vision подразумевает наличие весов, для которых также нужно выполнить все необходимые настройки на кассовом сервере по адресу: Магазин – Кассы, где нужно выбрать соответствующую кассу, затем – вкладку Оборудование и найти группу файлов hardware/scale:

Настройки весов нужно сохранить.

Обучение СуперМаг Vision распознаванию штучных товаров

Наряду с весовыми, система СуперМаг Vision способна автоматически распознавать и немаркированные штучные товары. Для этого ей нужна база изображений таких товаров. Чтобы ее создать, товары, распознаванию которых нужно обучить систему СуперМаг Vision, загружаются в УКМ 5 из внешней системы с особым признаком (Send_to_recognition =true), при обработке которого касса получает сигнал о необходимости собрать данные о товаре, то есть сфотографировать его и передать информацию о его коде и изображении в систему видео-распознавания. 

Когда кассир сканирует или вводит вручную код товара, содержащего атрибут Send_to_recognition = true, касса выводит на экран сообщение "Положите товар на весы!" и, как только товар оказывается на весах, фотографирует его и отправляет данные о нем в систему СуперМаг Vision, после чего товар автоматически добавляется в чек. Если сканируется или вводится товар с параметром Send_to_recognition = false, то дальнейшая работа с товаром идет в штатном режиме, без процесса обучения системы СуперМаг Vision. Кассир также может прервать процесс обучения системы СуперМаг Vision вручную, нажав клавишу/кнопку Отмена при запросе кассы положить товар на весы. В таком случае, товар просто добавится в чек, но он не будет сфотографирован и данные о нем не будут переданы в систему СуперМаг Vision.

Для корректной работы распознавания штучных товаров, тем не менее, необходимо обеспечить наличие весов или их эмулятора.

Для имитации весов достаточно произвести настройки на кассовом сервере по адресу: Магазин – Кассы, где нужно выбрать соответствующую кассу, нажав на ее название:

В открывшемся окне необходимо выбрать вкладку Оборудование:

В конфигурационном файле scale_fake.conf (hardware/scale/scale_fake.conf) необходимо указать следующие параметры:

# Системный файл. 
### Изменения не вносить! ###
#
{
"scale.fake": {
params : {
scaleName = FakeScale
scaleNum = 0
timeout = 10
stable = true
}

Выполненные настройки необходимо сохранить.

Примечание. Исключено использование эмулятора весов при подключенных фактических весах. При работе с фактическими весами, штучный товар необходимо размещать под камерой на весовой платформе. При использовании эмулятора весов, товар можно размещать на любой ровной и стабильной поверхности, попадающей в фокус камеры.

Процесс распознавания штучных товаров ничем не отличается от весовых, за исключением того, что в результате распознавания в чек попадает товар в количестве 1:

Контроль соответствия выбора весового товара распознанному на киоске

Внимание!

Данный функционал реализован только для киоска УКМ 5.

Во избежание ситуаций, когда покупатель на киоске намеренно выбирает из списка результатов распознавания (или из пик-листа в каталоге) товар, не соответствующий фактически приобретаемому, можно воспользоваться специальной функцией сравнения выбора покупателя с наиболее вероятными результатами автоматического распознавания.

Например, покупатель взвешивает на киоске виноград, и увидев результаты автоматического распознавания, решил, что было бы здорово приобрести виноград по цене лука. Он намеренно выбирает неверный результат распознавания:

В ответ на выбор покупателя, система проверит, входит ли выбранный покупателем товар в число наиболее вероятных результатов распознавания, установленное в настройках, и если это не так – предложит пригласить на помощь ассистента:

У покупателя есть возможность нажать кнопку Вернуться к вводу товаров и продолжить оформление чека, не вызывая ассистента, – но тогда и товар не будет добавлен в чек:

Нажав кнопку Продолжить, товар можно будет попробовать взвесить еще раз – на этот раз выбрав более адекватный результат.

Если же покупатель уверен в своем выборе и нажмет кнопку Вызвать ассистента, то киоск отстранит его от любых дальнейших действий, пригласив на помощь ассистента с помощью светосигнальной колонны, на фонаре которой загорится красный свет. Покупатель же получит сообщение о вызове ассистента:

Подошедший ассистент должен нажать кнопку Продолжить, после чего – зарегистрироваться в системе, используя свой код кассира (пользователя с достаточными для совершения данного действия правами) и пароль:

Зарегистрировав ассистента, система запросит от него подтверждение правильности выбора покупателя:

Нажав кнопку Продолжить, ассистент санкционирует добавление выбранного покупателем товара в чек:

Если ассистент признает выбор покупателя неверным, он должен нажать кнопку Отмена, что предотвратит попадание выбранного покупателем товара в чек:

После нажатия кнопки Продолжить, товар можно будет попытаться взвесить и выбрать еще раз.

Настройка

Параметр проверки точности выбора товара в Vision содержится в файле sale.conf (applications/sale/sale.conf), расположенном на кассовом сервере по адресу: Магазин – Типы касс, где нужно выбрать тип кассы и нажать кнопку Настройки:

Параметр проверки точности выбора товара в Vision в файле sale.conf (applications/sale/sale.conf), имеет название recognitionAccuracy и может принимать значения от 0 до 5:

recognitionAccuracy = 0    # проверка точности выбора товара в Vision отключена;

recognitionAccuracy = 1    # выбранный покупателем товар будет сопоставляться только с первым наиболее вероятным результатом распознавания, предоставленным системой СуперМаг Vision;

recognitionAccuracy = 4    # выбранный покупателем товар будет сопоставляться только с первыми четырьмя наиболее вероятными результатами распознавания, предоставленными системой СуперМаг Vision;

и т.д.:

Параметр необходимо раскомментировать и задать ему нужное значение, после чего – сохранить настройки.

Важные примечания:

• по умолчанию, проверка точности выбора товара в Vision отключена;
• подтвердить правильность выбора товара может только ассистент киоска (сотрудник с соответствующими правами);
• добавление описанного параметра в конфигурацию уже установленных киосков производится исключительно силами техподдержки УКМ 5.