A maioria dos modelos de previsão é composta por modelos estatísticos ou de deep learning treinados apenas com a série temporal de interesse. Essa abordagem funciona quando se espera que os dados futuros sejam semelhantes aos dados históricos. No entanto, esses modelos apresentam limitações quando o sinal depende de fatores externos ou quando o histórico contém anomalias que precisam ser explicadas para compreender seu impacto, como promoções no varejo, condições climáticas, interrupções operacionais ou mudanças em políticas. As vendas no varejo aumentam durante campanhas promocionais, a demanda por energia varia de acordo com a temperatura e os feriados, e métricas operacionais respondem a intervenções planejadas. Um modelo que aprende apenas com os dados numéricos não consegue capturar esses fatores do mundo real. Grandes Modelos de Linguagem (LLMs) treinados para raciocínio avançado podem transformar esse fluxo de trabalho. Ao combinar dados numéricos com um resumo conciso do domínio de aplicação, esses modelos conseguem incorporar contexto do mundo real, gerar previsões e explicar o “porquê” por trás delas. Este artigo aborda quando os métodos tradicionais de séries temporais apresentam dificuldades, como funcionam os modelos de previsão com LLMs orientados por contexto, quais informações adicionais devem ser fornecidas como contexto e quais são seus principais benefícios e limitações na prática.
Quando os Dados Não São Suficientes
Modelos de previsão de séries temporais apresentam bom desempenho quando há dados suficientes e quando o passado contém a maior parte das informações necessárias para representar o futuro. Entretanto, como esses modelos aprendem padrões exclusivamente a partir dos dados numéricos — capturando implicitamente elementos como sazonalidade e tendência — eles encontram dificuldades quando fatores importantes estão fora da série temporal.
Isso pode ocorrer por diversos motivos, como um histórico de dados muito curto, eventos futuros que se espera influenciem as previsões ou até mesmo acontecimentos passados que provocaram anomalias nos dados e que não devem necessariamente ser tratados como outliers. Nessas situações, embora o modelo tente inferir as “regras” necessárias para prever a série temporal a partir dos dados disponíveis, ele simplesmente não será capaz de fazê-lo.
Com uma quantidade insuficiente de dados, esses modelos não conseguem determinar se determinados pontos da série devem receber maior peso. Por exemplo, se os dados do meio e do final do ano forem particularmente importantes, mas houver apenas um ano de dados mensais disponível, será impossível aprender esse comportamento. Da mesma forma, se houver conhecimento prévio de que uma nova campanha de marketing ou uma ação promocional aumenta as vendas em determinada porcentagem, ou se ocorrer uma falha que reduza as previsões futuras, modelos treinados exclusivamente com séries temporais não conseguirão considerar esses fatores.
Outra grande limitação dos modelos clássicos de previsão é sua natureza de “caixa-preta”, ou seja, não é possível compreender claramente como eles tomam decisões a partir dos dados fornecidos, nem entender facilmente o raciocínio por trás de determinadas previsões. Quando os usuários desejam saber por que um modelo produziu uma determinada previsão e não conseguem obter essa explicação, a confiança nos resultados costuma ser comprometida.
O Contexto É Fundamental na Previsão com LLMs
Para incorporar esses diferentes tipos de conhecimento de domínio ao processo de previsão, desenvolvedores podem adaptar LLMs para gerar previsões utilizando tanto dados históricos quanto informações contextuais. O método consiste em selecionar um LLM adequado, definir um template básico de prompt e inserir os dados históricos juntamente com o contexto específico necessário para produzir boas previsões para aquele caso.
Seguindo um processo semelhante ao adotado por um especialista no domínio (Subject Matter Expert — SME), a previsão envolve diversas etapas lógicas, como analisar os dados, compreender como eles podem evoluir com base no conhecimento do domínio e combinar essas informações para gerar uma previsão para um ponto futuro da série.
Assim, os modelos que melhor conseguem reproduzir esse comportamento tendem a ser modelos de raciocínio, como Gemini Pro 2.5, GPT o4-mini e GPT-o3, que normalmente executam algum tipo de cadeia de raciocínio para estruturar e percorrer as etapas do processo. Alternativamente, LLMs mais avançados, como Llama-3.1-405B-Inst, também podem apresentar bom desempenho em diferentes cenários contextuais.
As informações contextuais combinadas aos dados numéricos podem incluir elementos “atemporais”, como restrições sobre valores ou sazonalidades com períodos mais longos do que a duração dos dados disponíveis. Também devem ser incluídos fatos históricos que não podem ser inferidos diretamente da série temporal. Por exemplo, uma manutenção em sensores que provocou uma queda nas medições ou uma paralisação de atividades que reduziu temporariamente o volume devem ser identificadas como eventos espúrios, para que o modelo não extrapole essa anomalia, a menos que um evento semelhante seja esperado no futuro.
Além disso, devem ser fornecidas informações causais, como intervenções conhecidas, seus períodos de ocorrência e sua magnitude esperada, ou ainda efeitos observados anteriormente. A afirmação “A campanha A começa em outubro e normalmente aumenta os pedidos entre 8% e 12% durante duas semanas” é um exemplo de informação prática que pode orientar a previsão além da simples identificação de padrões.
A seguir, apresenta-se uma estrutura simples de prompt contextual:
- Descreva a série temporal e o horizonte da previsão.
- Liste os dados históricos como datas e valores, incluindo quaisquer outros dados numéricos relevantes, quando necessário (Figura 1).
- Adicione todo o contexto necessário para compreender as regras da previsão, incluindo informações que afetam o resultado, mas que não estão visíveis nos dados.
- Descreva como a saída deve ser formatada e informe se os resultados serão consumidos por algum processo posterior (Figura 2).\
Com essa estrutura baseada em contexto, a tarefa do modelo é conciliar o histórico numérico com as informações fornecidas, produzindo uma previsão e apresentando o raciocínio que a justifica.
A Realidade da Previsão com LLMs Orientados por Contexto
Modelos de previsão com LLMs orientados por contexto se destacam quando as regras podem ser descritas explicitamente e o domínio possui fatores externos conhecidos, como o varejo com calendários promocionais, o setor de energia com previsões meteorológicas e feriados, ou operações industriais com interrupções programadas.
Esses modelos são especialmente atrativos quando a interpretabilidade é um requisito, já que modelos voltados ao raciocínio podem fornecer uma justificativa em linguagem natural para suas previsões.
Por outro lado, eles também podem falhar de forma mais significativa do que outros modelos, produzindo previsões até 500% acima ou abaixo do valor real, conforme observado por pesquisadores.[1]
Além disso, custo e latência também devem ser considerados. Modelos maiores geralmente apresentam melhor capacidade de raciocínio, mas também consomem um número maior de tokens. Portanto, é importante escolher o menor modelo capaz de atender aos requisitos de precisão e interpretabilidade.
Outra estratégia consiste em combinar métodos tradicionais de previsão com modelos baseados em LLM, reduzindo o impacto de possíveis erros por meio de uma técnica amplamente conhecida como ensembling.
Conclusão
Modelos tradicionais de séries temporais são eficientes para aprender padrões presentes nos dados, mas apresentam desempenho inferior quando fatores externos conhecidos são responsáveis por determinar o comportamento futuro. A previsão assistida por LLMs orientados por contexto reduz essa limitação ao incorporar regras, restrições e intervenções datadas que complementam o histórico numérico, permitindo gerar tanto uma previsão quanto uma justificativa consistente para ela.
Essa abordagem é mais eficaz quando podem ser fornecidas informações causais claras, acompanhadas de um contexto conciso e relevante, especialmente quando a interpretabilidade faz parte dos requisitos da aplicação. Embora a precisão desses modelos possa superar significativamente a de modelos treinados apenas com dados numéricos, eles também podem apresentar erros mais expressivos. Por isso, recomenda-se combinar um modelo numérico robusto com um modelo de raciocínio bem contextualizado para obter previsões mais inteligentes e nas quais seja mais fácil confiar.
Fonte
[1] https://arxiv.org/pdf/2410.18959
Artigo escrito por Becks Simpson e publicado no blog da Mouser Electronics: Context-Driven Models for Smarter Forecasts
Traduzido pela Equipe Embarcados.
