Configurando o Raspberry Pi 5 com AI HAT+ 2: Hardware, CLI e Benchmarks

A Inteligência Artificial deixou de ser uma exclusividade dos servidores de nuvem de alta capacidade. Com o avanço do processamento de borda (Edge Computing), desenvolvedores e entusiastas buscam cada vez mais executar modelos complexos diretamente em dispositivos compactos, visando menor latência, maior privacidade e independência da internet. No ecossistema maker, a principal fronteira dessa revolução acaba de ser consolidada com o lançamento do Raspberry Pi AI HAT+ 2.

Equipada com o poderoso acelerador de redes neurais Hailo-10H e contando com 8GB de memória LPDDR4X dedicada, esta placa de expansão eleva o Raspberry Pi 5 ao status de uma verdadeira central de IA. Capaz de entregar impressionantes 40 TOPS (Trilhões de Operações por Segundo) de processamento em INT4, o AI HAT+ 2 não serve apenas para tarefas tradicionais de visão computacional (como detecção de objetos ou estimativa de pose); ele abre as portas para a execução local de Modelos de Linguagem de Grande Porte (LLMs) e modelos de visão-linguagem (VLMs), mantendo a CPU do Raspberry Pi livre para gerenciar o restante do sistema.

Seja para criar um assistente de voz offline ultra-rápido, um sistema autônomo de robótica ou monitoramento inteligente por câmeras, o início dessa jornada exige compreender desde a montagem física correta até a preparação do ambiente de software.

Materiais Utilizados

• Raspberry Pi 5
• Fonte de Alimentação USB-C Oficial (5V 5A) para Raspberry Pi 5
• Raspberry Pi HAT+ 2
  • Dissipador de calor dedicado para o AI HAT+ 2
  • Quatro espaçadores roscados
  • Quatro parafusos curtos (para montagem do AI HAT+ nos espaçadores)
  • Um conector GPIO empilhável
  • Um cabo de fita PCIe (cabo flat)
  • Parafusos M2.5
• Active Cooler (Recomendado)
• Dissipador de Calor AI HAT+ 2 (Recomendado)
• Máquina Linux com Ubuntu 24.04.4 LTS
• Cabo USB para UART
• Chave de Fenda Phillips PH0
• Parafusos M2.5 

Preparando o Terreno: Hardware e o Primeiro Boot

Tirar o hardware da caixa é apenas metade da diversão. Para colocar o sistema de pé de forma totalmente autônoma (headless), o processo começa no Raspberry Pi Imager, onde foi gravado o sistema operacional no cartão SD, garantindo que as opções de SSH, usuário personalizado e uma senha robusta fossem configuradas logo de partida.

Para realizar a instalação inicial do sistema de forma remota (headless), utiliza-se o utilitário Raspberry Pi Imager no computador host para gravar o sistema operacional no cartão microSD.

1. Insira o cartão microSD na máquina host e abra o Raspberry Pi Imager. 
2. Selecione o dispositivo (Raspberry Pi 5) e o sistema operacional recomendado (Raspberry Pi OS 64-bit).
3. Nas opções de personalização do sistema (OS Customization), ative o serviço SSH, defina o nome de usuário, crie uma senha segura e insira os dados de conexão Wi-Fi (caso não utilize cabo de rede).
4. Confirme as configurações e conclua a gravação do sistema no cartão microSD.

Recomenda-se acompanhar o primeiro boot pela interface serial, conectando um cabo UART-USB do Raspberry Pi diretamente ao computador para garantir que tudo está sob controle eletricamente. O terminal com o comando minicom -b 115200 -D /dev/ttyUSB0 permite observar o carregamento do kernel Linux em tempo real. Neste momento, o IP da placa na rede local pode ser descoberto pelo comando hostname -I.

Acesso Remoto via SSH e Resolução de Problemas

Após finalizar a gravação, insira o cartão no Raspberry Pi 5, conecte a alimentação e aguarde a inicialização. O endereço IP da placa na rede local pode ser localizado acessando o roteador ou utilizando comandos de varredura como nmap. Para realizar o primeiro acesso, abra o terminal da máquina host e execute:

 Atenção: Resolução do erro de chaves SSH residuais 

Durante o acesso remoto via SSH, a conexão pode ser recusada com a mensagem Permission denied (publickey, password). Isso ocorre frequentemente quando o computador host possui chaves SSH antigas salvas para aquele mesmo endereço IP no arquivo known_hosts.

Para resolver o problema, remova a chave antiga do histórico da máquina host executando o comando abaixo e tente a conexão SSH novamente: 

ssh-keygen -R ip_do_raspberry

ssh-keygen -R ip_do_raspberry

Configuração do Ollama

Com a rodovia de dados pavimentada, o próximo passo é injetar inteligência no dispositivo. Para gerenciar modelos de linguagem, o Ollama é uma opção, que pode ser instalado diretamente pelo terminal com o script oficial em um único comando: 

curl -fsSL https://ollama.com/install.sh | sh

curl -fsSL https://ollama.com/install.sh | sh

O Ollama simplifica o gerenciamento de pesos e execuções de LLMs, permitindo subir modelos locais de forma leve e prática por meio de chamadas simples no terminal.

Para preparar o ambiente para futuras automações, o gerenciador de bibliotecas do Python 3 e o criador de ambientes virtuais podem ser instalados com o comando sudo apt install python3-pip python3-venv -y. Criar um ambiente virtual isolado na pasta do projeto é uma prática essencial: garante que os scripts de IA e suas dependências rodem em um ecossistema seguro, evitando conflitos ou poluição das bibliotecas nativas do sistema.

Com o ambiente configurado, basta chamar o programa ollama usando o comando ollama. Assim, você pode usar seus tokens para interagir com diversos modelos oferecidos pela ferramenta!

Por que usar o Ollama?

Para entender o impacto do Ollama no desenvolvimento moderno, é preciso saber que ele funciona como um gerenciador e motor de inferência otimizado. Em vez de a pessoa desenvolvedora configurar drivers complexos, ambientes CUDA ou gerenciar tensores manualmente, o Ollama reúne essa complexidade em uma camada invisível. Ele atua como uma ponte entre os arquivos brutos do modelo de IA e seu código, sustentando-se em três pilares fundamentais da engenharia de software.

O primeiro pilar, essencial para dispositivos de borda, é a Quantização. Modelos originais usam alta precisão e exigem muita VRAM. Ollama usa modelos quantizados (4 bits), reduzindo o tamanho dos arquivos. Isso corta memória em até 80%, com pouca perda de precisão, permitindo rodar no Raspberry Pi 5.

O segundo segredo é o Motor de Execução de Baixo Nível, baseado no open-source llama.cpp. Escrito em C/C++, ele aproveita ao máximo processadores ARM do Raspberry Pi, usando instruções vetoriais nativas e memória mapeada direto pelo sistema. Isso faz o modelo carregar rápido e calcular redes neurais sem desperdiçar CPU.

Por fim, o Ollama usa uma Arquitetura Inspirada em Containers e APIs. Com um Modelfile, a pessoa desenvolvedora define modelo, temperatura, contexto e System Prompt, que guia a IA. Rodando em segundo plano como serviço, o Ollama expõe uma API REST local na porta 11434, permitindo que scripts Python ou automações comuniquem-se via HTTP JSON, transformando o Raspberry Pi em servidor privado de inferência.

Como instalar o AI HAT+ 2 na Raspberry Pi 5?

Com a configuração inicial do Raspberry Pi 5 concluída, o próximo passo é instalar o Raspberry Pi AI HAT+ 2. Essa etapa envolve montagem física e ajustes de software para garantir que o acelerador seja reconhecido pelo sistema.

O Raspberry Pi AI HAT+ 2, equipado com acelerador Hailo-10H e 8 GB de memória dedicada, permite executar cargas de IA diretamente no Raspberry Pi 5. Os passos abaixo devem ser seguidos com atenção, especialmente nas conexões PCIe e GPIO.

Passo 1: Instalar o Active Cooler (Recomendado)

Primeiro, certifique-se de que seu Raspberry Pi 5 esteja desconectado da energia. Em seguida:

1. Prepare a caixa térmica: Remova o papel protetor das almofadas térmicas na parte inferior da caixa térmica. Isso exporá uma superfície adesiva em cada uma das almofadas térmicas.
2. Posicione o cooler: Alinhe os dois pinos de pressão brancos com os dois orifícios dedicados para dissipação de calor no seu Raspberry Pi 5. Nessa posição, as almofadas térmicas ficam alinhadas com o rádio sem fio, o sistema em chip (SoC) e o circuito integrado de gerenciamento de energia (PMIC).
3. Fixe o cooler: Pressione o cooler suavemente sobre o seu Raspberry Pi 5. Em seguida, pressione uniformemente os dois pinos brancos nos dois orifícios do dissipador de calor do seu Raspberry Pi 5 até ouvir um clique.
4. Conecte a ventoinha: Conecte o conector JST da ventoinha à entrada de ventoinha do seu Raspberry Pi 5.

Passo 2: Monte o dissipador de calor AI HAT+ 2 (recomendado)

O AI HAT+ 2 vem com um dissipador de calor adicional. Embora o dissipador de calor fornecido com o AI HAT+ 2 seja opcional, recomendamos a sua instalação, especialmente se estiver executando benchmarks ou cargas de trabalho de IA intensivas. Isso evita que o AI HAT+ 2 fique mais lento devido ao superaquecimento.

Para fixar o dissipador de calor do AI HAT+ 2 ao seu AI HAT+ 2 (antes de montá-lo no seu Raspberry Pi 5):

1. Prepare o dissipador de calor: Remova o papel protetor das almofadas térmicas na parte inferior do dissipador. Isso exporá uma superfície adesiva em cada uma das almofadas térmicas.
2. Posicione o dissipador de calor: Alinhe os dois pinos de pressão pretos do dissipador com os dois orifícios dedicados para dissipação de calor nos cantos diagonalmente opostos do seu AI HAT+ 2. Nessa posição, as almofadas térmicas se alinham com o regulador de energia, a NPU Hailo e o chip SDRAM.
3. Fixe o dissipador de calor: Pressione uniformemente os dois pinos de pressão pretos nos orifícios do dissipador de calor no AI HAT+ 2 até ouvir um clique.

Recomendamos que você não remova o dissipador de calor após a instalação no Raspberry Pi AI HAT+ 2. Isso porque a remoção do dissipador pode causar a degradação dos pinos de pressão e das almofadas térmicas, o que pode danificar o produto.

Passo 3: Montagem da AI HAT+ 2

Antes de manusear os componentes, desligue o Raspberry Pi 5 e desconecte da tomada. O AI HAT+ 2 se conecta a um Raspberry Pi 5 usando sua porta PCIe, que é uma interface de alta velocidade para conectar componentes de hardware.

1. Instale os espaçadores: Usando uma chave de fenda Phillips, fixe os quatro espaçadores nos orifícios amarelos do seu Raspberry Pi 5 usando os quatro parafusos mais compridos.
2. Conecte o conector GPIO: Alinhe o conector GPIO com os pinos GPIO do seu Raspberry Pi 5. Pressione firmemente até que o conector esteja totalmente encaixado. A orientação do conector não importa, desde que todos os pinos GPIO estejam alinhados e inseridos corretamente.
3. Desconecte o cabo flat PCIe do seu AI HAT:  Deslize as travas de retenção para fora, em ambos os lados do conector PCIe no AI HAT, e então puxe o cabo com cuidado.
4. Insira o cabo flat PCIe no seu Raspberry Pi: Insira a outra extremidade do cabo flat no conector PCIe do seu Raspberry Pi 5. Para isso, primeiro deslize a trava de retenção do conector PCIe do seu Raspberry Pi 5 para cima, a partir de ambos os lados. Em seguida, insira o cabo flat no conector PCIe. Certifique-se de que os pontos de contato metálicos estejam voltados para dentro (em direção às portas USB).
5. Fixe o cabo flat PCIe ao seu Raspberry Pi: Enquanto segura o cabo flat no lugar, empurre a trava de retenção de volta para o conector por ambos os lados, garantindo que o cabo esteja inserido uniformemente.
6. Monte o AI HAT: Com os componentes principais do seu AI HAT voltados para cima, alinhe os orifícios de montagem do AI HAT com os espaçadores do seu Raspberry Pi 5. Use os quatro parafusos restantes (mais curtos) para fixar o AI HAT no lugar.
7. Insira o cabo flat PCIe no seu AI HAT: Insira a extremidade desconectada do cabo flat no conector PCIe do seu AI HAT. Para isso, primeiro deslize a trava de retenção do conector PCIe do seu AI HAT para fora, a partir de ambos os lados. Em seguida, insira o cabo flat no conector PCIe.
8. Fixe o cabo flat PCIe ao seu AI HAT: Enquanto segura o cabo flat no lugar, empurre a trava de retenção de volta para o conector por ambos os lados, garantindo que o cabo esteja inserido uniformemente.

Passo 4: Atualização do sistema

Após a montagem, conecte teclado, mouse e monitor, insira o cartão microSD com o Raspberry Pi OS 64 bits e ligue o sistema. No Terminal, atualize pacotes e firmware:

sudo apt update 
sudo apt full-upgrade -y 
sudo rpi-eeprom-update -a 
sudo reboot

sudo apt update 
sudo apt full-upgrade -y 
sudo rpi-eeprom-update -a 
sudo reboot

Passo 5: Configuração da interface PCIe

Após a atualização, habilite a interface PCIe para garantir comunicação adequada com o AI HAT+ 2 e uso da velocidade máxima.

1 – Abra o arquivo de configuração:

sudo nano /boot/firmware/config.txt

sudo nano /boot/firmware/config.txt

Adicione ou confirme as linhas abaixo no final do arquivo:

dtparam=pciex1 
dtparam=pciex1_gen=3

dtparam=pciex1 
dtparam=pciex1_gen=3

2 – Salve com Ctrl + O, confirme com Enter e saia com Ctrl + X.

3 – Reinicie para aplicar a configuração:

sudo reboot

sudo reboot

Passo 6: Instalação dos drivers e dependências

Com a interface PCIe configurada, instale os pacotes para que o sistema reconheça a NPU e os drivers oficiais da Hailo:

sudo apt install dkms -y 
sudo apt install hailo-h10-all -y

sudo apt install dkms -y 
sudo apt install hailo-h10-all -y

Ao final, reinicie o Raspberry Pi para carregar os novos drivers.

EXTRA: Como ligar e desligar o AI HAT+ 2 sem desmontar

Uma vantagem do ecossistema Raspberry Pi 5 é que nem toda alteração física exige desmontagem. Se precisar usar a placa para outras tarefas, reduzir uso de recursos ou comparar testes com e sem aceleração, você pode controlar o AI HAT+ 2 pelo sistema operacional. Na prática, o Raspberry Pi OS deixa de inicializar o barramento PCIe; com isso, o sistema passa a ignorar o HAT no boot.

Atenção: este procedimento faz uma desativação lógica. Ele não corta totalmente a energia do HAT, porque a placa continua encaixada no Raspberry Pi 5 e ainda pode receber alimentação mínima pelos pinos. Além disso, o HAT continua ocupando fisicamente a barra GPIO; se outro projeto precisar desses pinos, será necessário remover o HAT ou usar uma solução como GPIO Extender/stacking headers.

Desativar (desligar) o HAT

1 – Abra o arquivo principal de configuração do boot:

sudo nano /boot/firmware/config.txt

sudo nano /boot/firmware/config.txt

2 – Localize as linhas que habilitam o PCIe. Em uma configuração típica, elas aparecem assim:

dtparam=pciex1 
dtparam=pciex1_gen=3 
# Exemplo opcional: mantenha comentada qualquer linha específica do Hailo, se existir no seu arquivo 
# dtoverlay=hailo

dtparam=pciex1 
dtparam=pciex1_gen=3 
# Exemplo opcional: mantenha comentada qualquer linha específica do Hailo, se existir no seu arquivo 
# dtoverlay=hailo

3 – Adicione # no início das linhas para desativá-las no próximo boot:

#dtparam=pciex1 
#dtparam=pciex1_gen=3 
# dtoverlay=hailo

#dtparam=pciex1 
#dtparam=pciex1_gen=3 
# dtoverlay=hailo

4 – Salve com Ctrl + O, confirme com Enter e saia com Ctrl + X.
5 – Reinicie o Raspberry Pi.

Para reativar (ligar) o HAT, basta desfazer o que foi feito no passo anterior, sempre reiniciando o Raspberry Pi para efetivar as mudanças.

Verificar depois do reboot

Depois de reiniciar, confirme se o PCIe ficou ativo ou inativo. Se o comando lspci estiver disponível, ele é o caminho mais direto:

lspci

lspci

Com o HAT reativado, o dispositivo PCIe/Hailo deve aparecer na lista. Com o HAT desativado, ele não deve ser listado. Se o lspci não estiver instalado ou não retornar informação suficiente, use os logs do kernel:

dmesg | grep -i pcie

dmesg | grep -i pcie

Em resumo, o fluxo fica assim:

1. Editar /boot/firmware/config.txt.
2. Comentar as linhas do PCIe para desligar o HAT por software, ou descomentar para ligar novamente.
3. Reiniciar o Raspberry Pi.
4. Verificar o resultado com lspci ou dmesg | grep -i pcie.

Por que fazer isso?

Essa desativação lógica é útil quando você quer usar o Raspberry Pi 5 sem acionar o acelerador de IA, economizar recursos ou comparar benchmarks com e sem o AI HAT+ 2. Como o barramento PCIe não será inicializado, o HAT deixa de ser usado pelo sistema operacional naquela inicialização.

Isso também ajuda no gerenciamento térmico. Como o processador de IA não é inicializado nem processa redes neurais, ele tende a permanecer frio, deixando o cooler do Raspberry Pi 5 com mais folga para manter a CPU em temperaturas adequadas.

Quando quiser rodar modelos de IA novamente com aceleração, basta reativar as linhas do PCIe no config.txt, reiniciar e confirmar que o HAT voltou a aparecer no sistema.

Analisando o funcionamento do Ollama com e sem o AI HAT+ 2

Nesta seção, será analisado o desempenho do Ollama com o AI HAT+ 2 comparado ao funcionamento sem ele. O objetivo é entender as diferenças e melhorias que o AI HAT+ 2 traz.

Para testar o Raspberry Pi 5, foram escolhidos quatro modelos que representam o ecossistema atual de IA de borda, equilibrando tamanho, velocidade e capacidade. O primeiro é o Llama 3.2, aposta da Meta para dispositivos móveis. Disponível em versões leves de 1B e 3B parâmetros, destaca-se pela versatilidade e ótima compreensão de contexto em vários idiomas, entregando respostas naturais antes vistas só em modelos maiores.

Ao lado, tem o Phi 3.5, da Microsoft. Apesar do tamanho reduzido, foi treinado com dados focados em lógica, matemática e código. Sua vantagem é o raciocínio estruturado superior, ideal para projetos que precisam interpretar dados complexos, resolver equações ou gerar código sem falhas.

Para trazer o Google, o Gemma 2 (2B parâmetros). Destaca-se pela arquitetura moderna de atenção, que oferece alto desempenho por parâmetro. Sobressai em precisão factual e seguir instruções rigorosas, perfeito para agentes de IA que operam dentro de regras claras.

Por fim, o TinyLlama, com 1.1B parâmetros treinados em três trilhões de tokens. Embora menos analítico, sua força é a velocidade e baixo consumo de memória. Funciona como um “ponto de entrada”, ideal para respostas rápidas em tarefas simples ou automação residencial onde cada milissegundo importa.

Benchmarks e comparativos

A tabela abaixo organiza um comparativo de desempenho em tokens por segundo entre a execução somente na CPU do Raspberry Pi 5 e a execução com aceleração via AI HAT+ 2 / NPU.

Notas sobre a estimativa:

• RAM Usada: Considera o modelo quantizado em Q4_K_M (4-bit) mais o overhead de contexto (KV Cache).
• Pico de CPU: Representa a carga no processador principal quando o NPU está assumindo a inferência pesada. Em uso exclusivo de CPU, todos os modelos bateriam 100% de uso em todos os núcleos.
• Tempo total: Calculado com base na geração de 100 tokens na NPU (desconsiderando o prompt evaluation inicial, que também é drasticamente acelerado).

Métricas de desempenho

Para avaliar o desempenho da LLM, algumas métricas de desempenho do modelo, como a contagem de tokens por segundo e métricas quantitativas de hardware, como pico de memória RAM, pico de CPU e média de CPU do processo do Ollama, podem ser utilizadas para preencher a tabela de benchmarks e comparar CPU vs NPU com mais consistência.

Essa estrutura permite que você compreenda e execute cada etapa de forma isolada, seja manualmente ou para integrar em outra ferramenta de automação.

1. Identificação do Processo do Ollama: Para monitorar o hardware, primeiro é necessário encontrar o ID do processo (PID) do Ollama em execução. 

pgrep -f "ollama" | head -n 1

pgrep -f "ollama" | head -n 1

O que faz: Busca por processos cujo nome ou comando contenha “ollama” e retorna apenas o primeiro PID encontrado.

2. Coleta de Uso de CPU e RAM (Instantânea): Com o PID em mãos, você coleta o uso de processamento e memória no momento exato da execução. 

ps -p <OLLAMA_PID> -o %cpu=,rss=

ps -p <OLLAMA_PID> -o %cpu=,rss=

O que faz: O comando ps inspeciona o PID especificado. A flag -o %cpu=,rss= formata a saída para mostrar apenas a porcentagem de CPU e a memória física (Resident Set Size – RSS) em kilobytes, sem o cabeçalho. Para converter a memória (RSS) de Kilobytes para Megabytes diretamente no terminal, o script utilizava o awk: 

ps -p <OLLAMA_PID> -o %cpu=,rss= | awk '{ printf "%.2f,%.2f\n", $1, $2/1024 }'

ps -p <OLLAMA_PID> -o %cpu=,rss= | awk '{ printf "%.2f,%.2f\n", $1, $2/1024 }'

3. Chamada de Inferência (Geração de Texto): O comando responsável por enviar o prompt ao modelo e receber a resposta junto com as métricas de geração. 

curl -s http://localhost:11434/api/generate \
      -H "Content-Type: application/json" 
     -d '{"model": "phi3.5", "prompt": "Explique em português o que é processamento de borda", "stream": false}'

curl -s http://localhost:11434/api/generate \
      -H "Content-Type: application/json" 
     -d '{"model": "phi3.5", "prompt": "Explique em português o que é processamento de borda", "stream": false}'

O que faz: Faz uma requisição HTTP POST à API local do Ollama. O parâmetro “stream”: false é crucial para que a API retorne um JSON único no final, contendo todo o texto gerado e as estatísticas de tempo e tokens.

4. Extração de Métricas da API: Após salvar a resposta do curl (que é um JSON) em uma variável ou arquivo, a ferramenta jq é usada para extrair valores atômicos específicos. 

Tempo Total (em nanossegundos):

echo "$RESPONSE" | jq -r '.total_duration'

echo "$RESPONSE" | jq -r '.total_duration'

Tempo de Avaliação/Geração (em nanossegundos):

echo "$RESPONSE" | jq -r '.eval_duration'

echo "$RESPONSE" | jq -r '.eval_duration'

Quantidade de Tokens Gerados:

echo "$RESPONSE" | jq -r '.eval_count'

echo "$RESPONSE" | jq -r '.eval_count'

5. Cálculos Matemáticos e Agregações: Como o Ollama retorna os tempos em nanossegundos, é necessário convertê-los e realizar os cálculos finais de performance.

Cálculo de Tokens por Segundo: Divide a quantidade de tokens gerados (eval_count) pelo tempo de avaliação convertido para segundos. 

awk "BEGIN { printf "%.2f", / ( / 1000000000) }"

awk "BEGIN { printf "%.2f", / ( / 1000000000) }"

Cálculo de Pico de CPU ou RAM: Se você coletou várias amostras do uso de CPU/RAM em um arquivo durante a execução, este comando lê as linhas e retorna o valor máximo encontrado.

awk -F, 'max < $1 { max = $1 } END { print max }' arquivo_amostras.txt

awk -F, 'max < $1 { max = $1 } END { print max }' arquivo_amostras.txt

Cálculo de Média de CPU: Soma todos os valores coletados e divide pela quantidade de amostras. 

awk -F, '{ sum += $1; count++ } END { print sum/count }' arquivo_amostras.txt

awk -F, '{ sum += $1; count++ } END { print sum/count }' arquivo_amostras.txt

Nota: Para replicar o funcionamento do script sem usar um loop, você precisaria iniciar a coleta de CPU/RAM em segundo plano (background), rodar o curl da inferência e, em seguida, interromper a coleta de hardware quando a resposta da API for recebida.

Antes de executar, instale o jq, que será usado para ler os campos JSON retornados pela API local do Ollama:

sudo apt update sudo apt install jq -y

sudo apt update sudo apt install jq -y

Salve o script como benchmark-ollama.sh, dê permissão de execução e rode o teste:

chmod +x benchmark-ollama.sh ./benchmark-ollama.sh

chmod +x benchmark-ollama.sh ./benchmark-ollama.sh

Dica: rode o script uma vez com o AI HAT+ 2 desativado e outra vez com a aceleração habilitada. Depois, copie os valores de tokens_per_second, ram_peak_mb, cpu_peak_percent, cpu_avg_percent e total_duration_s do arquivo CSV para a tabela de benchmarks. Para um comparativo mais justo, mantenha o mesmo prompt, a mesma temperatura, o mesmo modelo quantizado e execute os testes com a Raspberry Pi em temperatura semelhante.

Com vs. Sem Acelerador: Impacto real no hardware

Analisar essas LLMs alternando entre a CPU e a aceleração do Raspberry Pi AI HAT+ 2 revela o abismo entre computação tradicional e processamento otimizado. Sem o HAT+, usando só a CPU Cortex-A76 do Raspberry Pi 5, o sistema opera no limite. Os quatro núcleos vão a 100%, a temperatura sobe e a geração de texto sofre gargalo. Modelos como Phi 3.5 ou Llama 3.2 de 3B rodam, mas a experiência é lenta, com o hardware lutando para entregar cada palavra e consumindo muita energia.

A mágica ocorre ao ativar o Raspberry Pi AI HAT+ 2. Transferindo a carga das matrizes neurais para o acelerador dedicado, a CPU do Raspberry Pi 5 é aliviada, caindo a uso mínimo e ficando livre para o sistema, sensores e rede. O processamento paralelo do hardware de IA aumenta muito a velocidade de geração de tokens, permitindo respostas em tempo real, contínuas e sem pausas. Além da velocidade, a eficiência térmica e energética é o maior benefício, mostrando que para uma IA robusta e comercializável na palma da mão, o acelerador é essencial, não um luxo.

Referências bibliográficas

• The 2026 Local AI Stack: Ollama, Open WebUI, and a Raspberry Pi 5
• Consegui rodar a Gemma localmente num Raspberry Pi 5 com Ollama
• Raspberry Pi Connect
• AI HATs
• Raspberry Pi 5 Pinout
• Introducing the Raspberry Pi AI HAT+ 2: Generative AI on Raspberry Pi 5
• Raspberry Pi AI HAT+ 2: What it is, what it can run, and who it’s for