O processamento de dados em lote serviu bem as empresas por décadas, e para muitos casos de uso permanece totalmente apropriado. Mas um conjunto crescente de casos de uso genuinamente requer que se aja sobre os dados em segundos após sua geração.
Streaming é um compromisso arquitetônico, não um botão de recurso
Passar de lote para streaming não é simplesmente executar o mesmo pipeline com mais frequência; requer repensar modelos de dados para processamento contínuo em vez de periódico, lidar com elegância com eventos fora de ordem e atrasados.
Nem todo caso de uso precisa de streaming, e uma migração disciplinada começa identificando as decisões específicas genuinamente bloqueadas pela latência do lote.
A JIG ajuda organizações a projetar arquiteturas de dados em streaming para os casos de uso que realmente precisam delas.