Для облегчения мониторинга системы СуперМаг Vision, мы создали три вида отчетов. Получать любой из них можно еженедельно (один раз в неделю), от менеджера команды Vision, по запросу.
Отчет о качестве распознавания
Данный отчет содержит уже обработанные и проанализированные данные об эпизодах распознавания на различных терминалах конечного устройства, на основании которых система высчитывает процент эффективности своей работы.
Отчет содержит следующие сведения:
ШК выбранной ТП – штрихкод товарной позиции, которую пользователь выбрал для добавления в чек.
Наименование выбранной ТП – название товарной позиции, которую пользователь выбрал для добавления в чек.
pos1 – количество эпизодов взвешивания на первом терминале конечного устройства.
pos2 – количество эпизодов взвешивания на втором терминале конечного устройства.
pos3 – количество эпизодов взвешивания на третьем терминале конечного устройства.
pos4 – количество эпизодов взвешивания на четвертом терминале конечного устройства.
pos5 – количество эпизодов взвешивания на пятом терминале конечного устройства.
top5 – количество попаданий выбранной пользователем товарной позиции в ТОП-5 рекомендаций системы, предложенных по итогам распознавания товара.
Кол-во взвешиваний – суммарное количество эпизодов распознавания на всех терминалах конечного устройства. Случаи, когда товарная позиция была выбрана из пик-листа до обращения к СуперМаг Vision, исключаются из данной выборки.
ТОП-5, % – процент попаданий выбранной пользователем товарной позиции в ТОП-5 рекомендаций системы, предложенных по итогам распознавания товара.
Номер класса – внутренний идентификатор класса.
Покрытие sku (recall>=0.85) – количество SKU, распознанных с точностью 85% и выше, относительно общего количества SKU.
Точность ТОП-1 (по сопоставленным товарам), % – процент появления выбранной пользователем товарной позиции в качестве первой (наиболее вероятной) рекомендации системы по итогам распознавания (только для SKU, попавших в определенный класс). Показатель рассчитывается следующим образом: подсчитывается значение M – суммарное количество взвешиваний товаров (за вычетов тех, которые не попали ни в один класс). Затем берется N – суммарное количество попаданий этих товаров в ТОП1 (т.е. количество случаев, когда каждый такой товар появляется первым в выдаче результатов распознавания как самый вероятный). Точность ТОП-1 = М/N.
Точность ТОП-5 (по сопоставленным товарам), % – процент появления выбранной пользователем товарной позиции в числе ТОП-5 рекомендаций системы по итогам распознавания (только для SKU, попавших в определенный класс). Показатель рассчитывается следующим образом: подсчитывается значение M – суммарное количество взвешиваний товаров (за вычетов тех, которые не попали ни в один класс). Затем берется N – суммарное количество попаданий этих товаров в ТОП5 (т.е. количество случаев, когда каждый такой товар появляется в выдаче пяти результатов распознавания). Точность ТОП-5 = М/N.
Точность ТОП-1 (по всем товарам), % – процент появления выбранной пользователем товарной позиции в качестве первой (наиболее вероятной) рекомендации системы по итогам распознавания (для всех SKU). Показатель рассчитывается следующим образом: подсчитывается значение M – суммарное количество взвешиваний всех товаров. Затем берется N – суммарное количество попаданий этих товаров в ТОП1 (т.е. количество случаев, когда каждый такой товар появляется первым в выдаче результатов распознавания как самый вероятный). Точность ТОП-1 = М/N.
Точность ТОП-5 (по всем товарам), % – процент появления выбранной пользователем товарной позиции в числе ТОП-5 рекомендаций системы по итогам распознавания (для всех SKU). Показатель рассчитывается следующим образом: подсчитывается значение M – суммарное количество взвешиваний всех товаров. Затем берется N – суммарное количество попаданий этих товаров в ТОП5 (т.е. количество случаев, когда каждый такой товар появляется в выдаче пяти результатов распознавания). Точность ТОП-5 = М/N.
Пользуясь данными этого отчета, можно легко обнаружить товары, процент распознавания которых низок, выявить причины и предпринять соответствующие меры: обучить нейросеть распознаванию определенного товара, либо привязать штрихкод товарной позиции к соответствующему классу нейросети.
Подробный отчет по запросам
Этот отчет является наиболее обширным и информативным. Он содержит подробные данные о каждом эпизоде взвешивания, приведенные без всякой статистической или аналитической обработки.
Из отчета можно почерпнуть следующие сведения:
Дата/Время (старта) взвешивания – дата и время начала взвешивания, зафиксированные конечным устройством.
Код ТО – номер магазина, по которому собирается отчет.
Наименование ТО – название магазина, по которому собирается отчет.
Номер устройства – название конечного устройства клиента.
Время отклика системы, мс – временной интервал (в миллисекундах), который система СуперМаг Vision затратила на распознавание, исключая время на получение запроса о распознавании и отправку ответа.
ID взвешивания – специфический номер, присваиваемый каждому эпизоду распознавания.
ШК выбранной ТП – штрихкод товарной позиции, которую пользователь выбрал для добавления в чек.
Наименование выбранной ТП – название товарной позиции, которую пользователь выбрал для добавления в чек.
ТОП-5, % – процент попаданий выбранной пользователем товарной позиции в ТОП-5 рекомендаций системы, предложенных по итогам распознавания товара.
Вес выбранной ТП, кг – вес (в килограммах) взвешиваемого товара.
Действие покупателя при выборе ТП – способ, которым был выбран товар:
- выбрано из рекомендации – выбор товара из топ-5 рекомендаций системы СуперМаг Vision, предложенных по факту распознавания;
- выбрано вручную – выбор из пик-листа (каталога товаров) после обращения к СуперМаг Vision (например, когда нужной позиции не оказалось в топ-5 рекомендаций системы);
- выбрано до взвешивания – выбор из пик-листа (каталога товаров) до обращения к СуперМаг Vision.
Позиция выбранной ТП в ТОП-5 – на каком месте из пяти отобразился нужный товар (актуально при выборе товара из топ-5 рекомендаций системы).
Предложенная позиция ТОП-1 (ШК) – штрихкод распознанного товара, предложенного системой как наиболее вероятный.
Предложенная позиция ТОП-1 (наименование) – название распознанного товара, предложенного системой как наиболее вероятный.
Предложенная позиция ТОП-2 (ШК) – штрихкод распознанного товара, предложенного системой как второй по вероятности.
Предложенная позиция ТОП-2 (наименование) – название распознанного товара, предложенного системой как второй по вероятности.
Предложенная позиция ТОП-3 (ШК) – штрихкод распознанного товара, предложенного системой как третий по вероятности.
Предложенная позиция ТОП-3 (наименование) – название распознанного товара, предложенного системой как третий по вероятности.
Предложенная позиция ТОП-4 (ШК) – штрихкод распознанного товара, предложенного системой как четвертый по вероятности.
Предложенная позиция ТОП-4 (наименование) – название распознанного товара, предложенного системой как четвертый по вероятности.
Предложенная позиция ТОП-5 (ШК) – штрихкод распознанного товара, предложенного системой как пятый по вероятности.
Предложенная позиция ТОП-5 (наименование) – название распознанного товара, предложенного системой как пятый по вероятности.
URL – адрес хранения картинки, по которой производилось распознавание.
Мусорный отчет
Задача данного вида отчета – исключить эпизоды взвешивания посторонних предметов из статистики по качеству распознавания.
В отчете указаны:
Дата/Время (старта) взвешивания – дата и время начала взвешивания, зафиксированные конечным устройством.
Код ТО – номер магазина, по которому собирается отчет.
Наименование ТО – название магазина, по которому собирается отчет.
Номер устройства – название конечного устройства клиента.
Время отклика системы, мс – временной интервал (в миллисекундах), который система СуперМаг Vision затратила на распознавание, исключая время на получение запроса о распознавании и отправку ответа.
ID взвешивания – специфический номер, присваиваемый каждому эпизоду распознавания.
ШК выбранной ТП – штрихкод товарной позиции, которую пользователь выбрал для добавления в чек.
Наименование выбранной ТП – название товарной позиции, которую пользователь выбрал для добавления в чек.
Вес выбранной ТП, кг – вес (в килограммах) взвешиваемого товара.
Действие покупателя при выборе ТП – способ, которым был выбран товар:
- выбрано из рекомендации – выбор товара из топ-5 рекомендаций системы СуперМаг Vision, предложенных по факту распознавания;
- выбрано вручную – выбор из пик-листа (каталога товаров) после обращения к СуперМаг Vision (например, когда нужной позиции не оказалось в топ-5 рекомендаций системы);
- выбрано до взвешивания – выбор из пик-листа (каталога товаров) до обращения к СуперМаг Vision.
Позиция выбранной ТП в ТОП-5 – на каком месте из пяти отобразился нужный товар (актуально при выборе товара из топ-5 рекомендаций системы).
Предложенная позиция ТОП-1 (ШК) – штрихкод распознанного товара, предложенного системой как наиболее вероятный.
Предложенная позиция ТОП-1 (наименование) – название распознанного товара, предложенного системой как наиболее вероятный.
Предложенная позиция ТОП-2 (ШК) – штрихкод распознанного товара, предложенного системой как второй по вероятности.
Предложенная позиция ТОП-2 (наименование) – название распознанного товара, предложенного системой как второй по вероятности.
Предложенная позиция ТОП-3 (ШК) – штрихкод распознанного товара, предложенного системой как третий по вероятности.
Предложенная позиция ТОП-3 (наименование) – название распознанного товара, предложенного системой как третий по вероятности.
Предложенная позиция ТОП-4 (ШК) – штрихкод распознанного товара, предложенного системой как четвертый по вероятности.
Предложенная позиция ТОП-4 (наименование) – название распознанного товара, предложенного системой как четвертый по вероятности.
Предложенная позиция ТОП-5 (ШК) – штрихкод распознанного товара, предложенного системой как пятый по вероятности.
Предложенная позиция ТОП-5 (наименование) – название распознанного товара, предложенного системой как пятый по вероятности.
URL – адрес хранения картинки, по которой производилось распознавание.