O Desafio
Uma importante organização do setor de agronegócio enfrentava um desafio crítico em sua operação diária: processar grandes volumes de dados para gerar indicadores de negócio e risco essenciais à tomada de decisão do time executivo. Esses indicadores são fundamentais para o planejamento estratégico e para decisões operacionais que impactam diretamente os resultados da empresa. As informações necessárias estavam distribuídas em diversos sistemas corporativos, incluindo ERP SAP, sistemas de MRP, plataformas de logística, cotações de mercado e outros sistemas críticos, com dados armazenados principalmente em um banco de dados Oracle.
O cenário apresentava complexidades significativas. A organização precisava processar aproximadamente 300 tabelas do Oracle e 100 tabelas do SAP diariamente, com picos de mais de 20.000 mensagens por segundo. A solução existente, baseada no Oracle Golden Gate, estava gerando custos operacionais elevados que comprometiam a viabilidade econômica da operação. Além disso, o volume e a complexidade dos dados exigiam que o processamento fosse concluído no menor tempo possível, garantindo que as equipes tivessem acesso aos indicadores em tempo hábil para suas análises e decisões estratégicas.
Um fator adicional de complexidade estava no fato de que a nova solução precisaria substituir completamente o processo baseado no Golden Gate, mas mantendo total compatibilidade com os processos subsequentes já estabelecidos. Isso significava que todas as transformações, conversões de tipos de dados e ajustes de conteúdo deveriam ser realizadas de forma transparente, entregando os dados exatamente no formato esperado pelos sistemas e processos existentes, sem exigir qualquer alteração nas camadas de consumo. Essa combinação de alto custo, grande volume de dados e necessidade de compatibilidade total criava um desafio técnico e financeiro que demandava uma solução moderna, eficiente e economicamente viável.
A Solução
A Techrom foi contratada para desenvolver uma arquitetura moderna de processamento de dados que substituísse o Oracle Golden Gate, reduzindo custos enquanto mantinha a precisão e a pontualidade na entrega dos indicadores estratégicos. Para enfrentar esse desafio, a Techrom mobilizou sua expertise em engenharia de dados e tecnologias de streaming, construindo uma solução robusta baseada em captura de dados em tempo real e pipeline de processamento escalável. A estratégia escolhida permitiu não apenas atender aos requisitos técnicos rigorosos, mas também criar uma arquitetura preparada para o crescimento futuro da operação.
A equipe de engenharia de dados iniciou o trabalho implementando processos de captura de dados utilizando CDC, que é uma técnica que identifica e captura apenas as mudanças que ocorrem no banco de dados Oracle em tempo real, evitando a necessidade de processar todos os dados repetidamente. Simultaneamente, foram desenvolvidas integrações com o SAP utilizando suas funcionalidades nativas de exportação de dados. Essas capturas alimentam tópicos no Apache Kafka, uma plataforma de streaming de dados amplamente utilizada para processar grandes volumes de informações em tempo real com alta confiabilidade. Essa arquitetura baseada em streaming permite que os dados fluam continuamente dos sistemas de origem até as camadas de processamento, garantindo baixa latência e alta disponibilidade.
Os dados capturados nos tópicos Kafka são então consumidos através do Spark Streaming, uma tecnologia especializada em processamento de grandes volumes de dados em tempo real. Nessa etapa, os dados passam por todas as transformações e conversões necessárias para manter compatibilidade com os processos existentes, incluindo ajustes de tipos de dados, formatações e regras de negócio. Após o processamento, os dados são armazenados em formato AVRO em um object storage, que é uma forma eficiente de armazenar grandes volumes de dados estruturados. A partir daí, os dados seguem pelo pipeline de dados já estabelecido no Databricks, uma plataforma moderna de análise de dados que permite processar e analisar informações em escala. Essa arquitetura integrada garante que todo o fluxo de dados aconteça de forma eficiente, mantendo a precisão das informações e eliminando a necessidade de alterações nos processos downstream que já estavam funcionando.
Os Resultados
A implementação da nova arquitetura de dados trouxe benefícios significativos para aorganização, tanto do ponto de vista técnico quanto financeiro. O resultado mais imediato e impactante foi a grande otimização de custos obtida com a substituição do Oracle Golden Gate pela arquitetura moderna baseada em tecnologias de código aberto e plataformas escaláveis. Essa redução de custos operacionais liberou recursos que puderam ser direcionados para outras iniciativas estratégicas da empresa, melhorando a eficiência geral da operação de tecnologia e dados.
Do ponto de vista operacional, a organização passou a ter as informações necessárias disponíveis no tempo correto e com a precisão exigida para suportar as decisões do time executivo. Os indicadores de negócio e risco, essenciais para o planejamento estratégico e para decisões operacionais diárias, agora são processados de forma confiável e pontual, permitindo que os gestores tomem decisões com maior agilidade e fundamentadas em dados atualizados. A nova solução trouxe também maior previsibilidade e controle sobre o processamento de dados, reduzindo incertezas operacionais e aumentando a confiança nas informações geradas.
Além dos benefícios diretos de custo e pontualidade, a complexidade do projeto foi vencida com sucesso: processar grandes volumes de dados em tempo real, lidando com picos de mais de 20.000 mensagens por segundo, enquanto se mantinha compatibilidade total com os processos existentes, demonstrou a capacidade da solução de atender requisitos técnicos rigorosos. A arquitetura baseada em streaming implementada pela Techrom não apenas resolve os desafios atuais, mas também permite que a solução escale conforme o crescimento futuro do negócio, acomodando novos sistemas, maior volume de dados e novas necessidades analíticas sem exigir redesenho completo da infraestrutura.
Conclusão
Este caso demonstra como a modernização de arquiteturas de dados pode gerar valor tangível para organizações que dependem de informações estratégicas para suas operações. Muitas empresas ainda utilizam soluções tradicionais que, embora funcionais, apresentam custos operacionais elevados e limitações de escalabilidade. A experiência dessa organização do agronegócio evidencia que é possível substituir tecnologias legadas por arquiteturas modernas, reduzindo custos significativamente enquanto se mantém ou até se melhora a qualidade e a pontualidade das informações geradas.
O trabalho da Techrom foi decisivo para alcançar esse equilíbrio entre eficiência técnica e viabilidade econômica. Através da combinação de competências em engenharia de dados e tecnologias de streaming como CDC, Apache Kafka, Spark Streaming e pipeline de dados escalável, a equipe conseguiu processar grandes volumes de dados em tempo real com confiabilidade e precisão. Esse tipo de abordagem técnica, que integra captura de dados em tempo real com processamento distribuído e armazenamento eficiente, é fundamental para transformar dados de múltiplas fontes em indicadores estratégicos confiáveis e disponíveis no momento certo para a tomada de decisão.
Para organizações que enfrentam desafios similares de alto custo operacional em suas infraestruturas de dados ou que precisam processar grandes volumes de informações com pontualidade e precisão, a lição é clara: investir em arquiteturas modernas de streaming e pipeline de dados pode trazer retorno significativo tanto em redução de custos quanto em qualidade operacional. A Techrom oferece essa capacidade de combinar tecnologias de big data, engenharia de dados e processamento em tempo real para criar soluções que atendem aos requisitos técnicos mais exigentes enquanto otimizam investimentos. No caso dessa organização do agronegócio, a modernização da arquitetura não apenas reduziu custos operacionais substancialmente, mas também estabeleceu uma base sólida e escalável para suportar o crescimento futuro e novas iniciativas de dados e analytics, demonstrando que é possível inovar tecnicamente enquanto se gera valor econômico mensurável.