【2022研电赛】安谋科技企业命题三等奖：基于自主跟随的无人结账一体化购物车
本文为2022年第十七届中国研究生电子设计竞赛安谋科技企业命题三等奖作品分享，参加极术社区的【有奖活动】分享2022研电赛作品扩大影响力，更有丰富电子礼品等你来领！
基于自主跟随的无人结账一体化购物车
参赛单位：上海理工大学
指导老师：姚磊
参赛队员：童锐 刘海洋 李天皓
作品简介
购物超市作为零售市场一种主要的发展形式，在一定程度上衡量着一个国家居民经济消费的标准，随着超市规模的逐步扩大，由商业化程度不断繁荣所引发的问题层出不穷，与此同时商业化促使该行业的技术进步，并将这些问题迎刃而解。
在全球超市购物中，在超市排长队等待结算的人群车水马龙，为降低超市运营效率与减少顾客购物时间，随着去工人化，无人化的兴起“自结账一体化购物车”这一概念随之应运而生。
当顾客在物品放入购物车时，这种购物车可以对商品进行识别记录并统计，购物过程中自主跟随购买者巡线前进，并在购物结束后自动开往超市入口。目前，亚马逊已有自结账购物车正在投入试用，并取得一定成果。无人收银技术与自主跟随技术的发展趋势方兴未艾，都将成为未来的主流研究方向。
随着物联网应用的兴起，无人化、去人工化潮流的到来，本系统将图像识别与雷达自跟随技术融为一体。依托于公共云平台，小程序设置会员登陆界面用以识别用户，购物车对商品进行图像检测识别，整合计算后通过Tkinter编辑的EAIDK-610用户界面显示总价，顾客将结账后账单信息上传至云端，结账完成后智能购物车开往超市入口等待下一位用户。
整个系统由EAIDK-610作为上位机，通过摄像头对图像实时获取与处理以实现商品等识别，基于LD-14激光雷达模块实现购物车的自跟随模式，区别于传统红外传感可实现360°多角度巡线跟随，智能车的动作反应则是通过串口通信对下位机 stm32进行控制。对商品的识别采用深度学习算法，通过自主拍摄数据集，构建Yolo神经网络来提取图像特征，部署在EAIDK-610上帮助完成商品识别。
算法介绍
近年来，以 Yolov4 作为代表在满足实时性的同时保证精度的神经网络算法不断地被提出，助推近几年人工智能的飞速发展并应用于实际生活和工业生产当中。
在深度学习算法中，该系统采用深度卷积神经网络思想，构建 Yolov4 网络来提取图像特征，是图像目标识别所要解决的主要问题。分析现有的 Yolov4 网络，实质上是特征层的提取以及决策推理，为了尽可能精确地提取特征，就需将这些网络层结构进行组合。
与其他最先进的目标检测器的比较的结果如图所示， Yolov4 在与 EfficientDet 性能相当的情况下，推理速度比其快两倍。相比 Yolov3 的AP和FPS分别提高了10%和12%。
技术流程图
作品创新
- 相较于传统的二维码识别，本设计直接采用图片识别，在不影响准确率的同时极大地方便了用户的体验感，通过 EAIDK-610 对摄像头获取的图像进行实时的识别，实现对于商品种类的判断并处理，完成对于购物车在实际中遇到商品种类的处理情况；实验水果、抽纸及矿泉水的识别，小车做出相应信息的读取与计算。通过云平台控制的小程序实现了人机交互（具备对商品高超的辨识能力和计算能力），提高购物者的使用度和便捷性。
- 依托于购物车设计的识别系统支付一体化，相较于固定设计的智能识别结账点具有更便捷的属性，同时当用户购买商品过多时可选择配送服务，购物车将开启自巡线功能到达打包点，再由外卖员配送回家。
- 相较于传统的红外跟随，LD-14 雷达跟随能实现多角度的跟随，且跟随的灵敏度更好，更适用于复杂多变的商场环境。
- 微信小程序和云端对用户的订单进行存储，在查看历史记录的同时可以实现对用户个性化优惠的推荐。
- Yolo 模型训练具有很强的移植性，自制数据集，增强了商品识别的准确性。
- 使用完购物车后，车辆将开启循迹模型返回超市入口，无需人工运输。
硬件设计
EAIDK ( Embedded AI Development Kit)，是基于 Arm SoC 作为硬件平台，Tengine(Arm 中国周易平台)为核心的人工智能基础软件平台 AID，集成典型应用算法，所形成“软硬一体化”的 AI 开发套件。
EAIDK-610 开发板采用的是 RK3399 为主芯片，RK3399 作为瑞芯微目前最强芯片之一，扩展性高，采用服务器级别的硬件设置，CPU 采用四核 Cortex-A53+双核 Cortex-A72，GPU 则采用了四核图像处理器 Mail-T860，整体性能优良。主频 1. 8GHz，运行内存采用双通道 LPDDR3 (64-bit) 4GB，支持 HDMI 显示屏接口，也可使用 EDP/MIPI 电容触摸屏。
EAIDK-610 作为主体上位机，承担着对 Yolov4 训练模型的部署，调用摄像头实时的对商品进行识别检测，同时由于其丰富的外设接口，通过 WiFi 模块与云端进行通信实现结账数据的上传，对购物车解锁信号的控制。作为边缘智能的主要载体，EAIDK-610 同时构构建了智能平台和使用者的交互，智能购物车的驱动模块受控于 EAIDK-610 的指令，配合 stm32 实现智能购物车工作模式的切换。
本作品的硬件中还包括电源、摄像头、显示屏、鼠标、键盘、蜂鸣器报警模块和指示灯模块.首先启动设备，接通电源，打开显示屏，进入操作界面。进入模式选择部分，通过鼠标和键盘输入指令，进入不同的图像获取模式。
硬件展示图
小程序功能设计
无人化购物超市，用户需求，购买凭证的查询需要依托于线上，因此我们设计小程序登陆会员系统，通过云端对用户购买记录进行记录，可实现超市仓储的优化，和用户的个性化优惠推送。小程序端可对商品的配送地址进行登记，购物完成后可选择由商家统一配送到家。
当下使用的购物车依托于“硬币”机械解锁，通过会员登陆系统可以使用会员登陆后由小程序和云端的协调进行解锁。
总结
本设计旨在设计一套完整的无人化超市购物结账系统，依托于购物车建立智能系统自跟随和商品识别相融合，增强用户的自主体验感受，同时配合微信小程序设计会员登陆系统，用以优化无人化超市的仓储，同时为用户可以提供个性化的优惠推送。
通过 Yolov4 神经网络训练，对商品进行识别，部署在 EAIDK-610 上，通过无线网络连接实现物联网的应用。以公共云端作为存储的中转站。采用雷达实现多角度的跟随，配合红外传感器实现自动归位。
展望
- 收集更多种类的商品图像数据，扩展本系统的识别范围，增加商品识别的准确率。
- 进一步改进算法，降低模型的大小，使得系统图像识别速度更快，效果更好。
作品视频
基于自主跟随的无人结账一体化购物车
https://www.bilibili.com/video/BV11t4y1M7ntwww.bilibili.com/video/BV11t4y1M7nt
温馨提示：本作品非开源，商务联系EDUweixin@armchina.com
欢迎参与【有奖活动】分享2022研电赛作品扩大影响力，更有丰富电子礼品等你来领！，获取礼品及传播。