PetWatch – Monitoring System – V2

Um sistema de monitoramento animal

Autores

Juan Manoel – Eng de Machine Learning

Nivea Neres – Eng de Computação

Descrição

O Petwatch é um projeto de monitoramento de alimentação para animais de estimação que utiliza uma câmera de microcontrolador ESP32-S3-EYE para detectar a presença do animal e registrar o tempo de cada refeição. A solução é de fácil instalação e possui um sistema de alerta para informar ao proprietário quando a comida acaba ou se o animal não está se alimentando adequadamente. Além disso, a aplicação permite que o usuário visualize as informações de monitoramento através de uma interface web e receba notificações em tempo real sobre a alimentação do animal. Com um preço acessível e recursos completos, o Petwatch é uma solução eficaz para monitorar a alimentação de animais de estimação.

Hardware

Feature	ESP32-S3-EYE
Chip embedded	ESP32-S3
PSRAM	8 MB Octal PSRAM
Flash	8 MB flash
LCD display	Yes
Accelerometer	Yes
Alternative power supply	External battery (optional)
USB-to-UART bridge	No need. Functionality is provided by ESP32-S3 USB Serial/JTAG interface.
Antenna connector	No need. Antenna is provided by the ESP32-S3-WROOM-1 module.

Algoritmo de Cat Face Detection

Para esse sistema, utilizamos um modelo pré-treinado disponível na documentação do ESP-WHO, que é incrivelmente fácil de implementar e executar. Dessa forma, podemos realizar a detecção de rostos de gatos de maneira rápida e eficiente, permitindo que os usuários tenham uma experiência simplificada ao utilizar o sistema.

Modelo -> https://github.com/espressif/esp-who/tree/master/examples/cat_face_detection/lcd

Demostração

Na demonstração, o ESP32-S3-EYES utiliza sua câmera para capturar dados da cena. Em seguida, o sistema utiliza um modelo especializado em detecção de rostos de gatos, que processa esses dados e retorna os retângulos delimitadores ao redor dos rostos detectados. Por meio do display de LCD, as informações são apresentadas de forma prática e eficiente, permitindo que os usuários visualizem as faces dos gatos identificadas com facilidade.

No código apresentado, vemos o registro da câmera com formato de imagem RGB565 e tamanho de quadro 240×240. Além disso, é criada uma fila para troca de quadros entre a câmera e o modelo de detecção de face, bem como outra fila para o display de LCD. O sistema registra o módulo de detecção de rostos de gatos e o módulo do display LCD para processar os quadros e exibir as informações de detecção de forma adequada.

Sistema de Alertas – v1

Para o sistema de alertas, implementamos uma API do Discord disponível para gateway, que prontamente recebe os eventos e dispara os alertas. Essa integração eficiente permite uma resposta rápida e eficaz diante de qualquer ocorrência relevante, garantindo a segurança e o controle necessários em nossas operações.

Nesse tópico vale destacar que esse sistema de alertas atualmente funciona apenas com a primeira versão do sistema, para mais sobre consulte este link

Proximos Passos

1. Integrar o cat-face-detect com o gateway IoT para ampliar a funcionalidade do sistema de detecção de rostos de gatos e permitir uma comunicação mais eficiente com outros dispositivos IoT.
2. Integrar o sistema IoT com o sistema de alertas v2 no Discord para fornecer notificações em tempo real sobre detecções de rostos de gatos, possibilitando uma resposta rápida a eventos importantes.
3. Integrar eventos gerados pelo sistema IoT ao Metabase para criar KPIs (Key Performance Indicators) relevantes, proporcionando uma análise mais detalhada e insights valiosos sobre o comportamento e a saúde dos gatos monitorados.

Software/Firmware

https://gitlab.com/juanmanoel/pet-watcher.git

Referências

https://www.3tres3.com.br/artigos/smart-farming-a-tecnologia-que-nos-chega_242/

https://vence.io/

https://learn.adafruit.com/naughty-cat-detector-using-microsoft-lobe/python-code

https://blog.adafruit.com/2020/07/10/deep-learning-cat-prey-detector-raspberry_pi-piday-raspberrypi/

Histórico do desenvolvimento

10 de Abril de 2023:

• Iniciei o projeto de desenvolvimento do sistema de detecção de animais e contagem de alimentação.
• Realizei a leitura da documentação relacionada às tecnologias e ferramentas necessárias para o projeto.

15 de Abril de 2023:

• Comecei a trabalhar na integração do CircuitPython no ESP32 S3, que será responsável pela coleta de dados e detecção de animais.
• Explorando as funcionalidades do ESP32 S3, estabeleci as conexões necessárias para a detecção e a comunicação com outros dispositivos.

22 de Abril de 2023:

• Avancei na criação dos WebHooks no Discord, que permitirão o envio de notificações e relatórios sobre a contagem de alimentação dos animais.
• Configurei os WebHooks para se integrarem perfeitamente ao sistema, garantindo uma comunicação eficiente e precisa.

29  de Abril de 2023:

• Iniciei a criação do server no Jetson Nano, o componente responsável pelo processamento dos dados coletados e pela contabilização da alimentação dos animais.
• Utilizando as capacidades de processamento do Jetson Nano, implementei algoritmos de visão computacional para a detecção e rastreamento dos animais.

02  de Maio de 2023:

• Concluí a configuração do Jetson Nano, garantindo que todos os componentes estejam funcionando corretamente e em harmonia com o restante do sistema.

15  de Maio de 2023:

• Comecei a testar modelos yolov5 no jetson e estudar sobre a possibilidade de usar visão no esp32 s3 eye, aparentemente os modelos são apenas em C, estou estudando a portabilidade de usar circuit python como é usando no Sipeed Maix Bit