SmartCart: adicionando inteligência a carrinhos de compra usando a ESP32-S3-EYE

Desafio de Projetos Embarcados 2023: Visão computacional na borda com ESP32-S3 EYE

Participantes

Carlos Eduardo Bezerra Mendes Silva
João Pedro Mafaldo de Paula
Thiago José Alves de Souza

Descrição do projeto

Automatização do processo de compras em supermercados utilizando programação na borda na ESP32S3, para isso, foi desenvolvido um protótipo de localização dinâmica aproximada em meio ao ambiente do supermercado com QR Codes, além disso, o processo de adição de itens ao carrinho de compras foi feito por escaneamento do código de barras, apresentando o produto a câmera da ESP32-S3. Ademais, a placa é capaz de apresentar instruções no display LCD relacionadas a posição dos itens de compra desejados em resposta a uma determinada entrada de aúdio do usuário, informando o produto que deseja achar no supermercado.

Hardware

Placa de desenvolvimento ESP32-S3-EYE

Software/Firmware

O software que está sendo desenvolvido para o projeto está utilizando como base os exemplos de reconhecimento de código de barras e QR-code (code recognition) presentes no repositório do esp-who, bem como o exemplo de reconhecimento de voz (en_speech_commands_recognition) presente no repositório do esp-skainet

Referências

https://github.com/espressif/esp-skainet

https://github.com/espressif/esp-who

Histórico do desenvolvimento

A primeira etapa do desenvolvimento por parte da nossa equipe após a pesquisa por ferramentas que conseguiríamos utilizar consistiu em tentar compreender e realizar a configuração do ambiente da esp-idf para que firmwares pudessem ser passados para a placa da ESP. Com isso feito, partimos para a alteração dos códigos já fornecidos pelo fabricante para melhor se adequar às necessidades do projeto (como o desenho de formas geométricas
no display, melhor estruturação em software para exibição de cores RGB, integração entre a câmera e o display, etc.).

Em seguida, foi feita a implementação da feature de posicionamento do marcador da posição da pessoa (estilo GPS) no mapa baseado na leitura de QR-codes posicionados no teto do laboratório, os quais foram impressos no tamanho que, verificado experimentalmente, foi o que a placa melhor conseguiu realizar a captura do código para a distância em questão.

Comentários:
Home » Projetos » SmartCart: adicionando inteligência a carrinhos de compra usando a ESP32-S3-EYE

EM DESTAQUE

WEBINARS

VEJA TAMBÉM

JUNTE-SE HOJE À COMUNIDADE EMBARCADOS

Talvez você goste: