El procesamiento de datos por lotes ha servido bien a las empresas durante décadas, y para muchos casos de uso sigue siendo completamente apropiado. Pero un conjunto creciente de casos de uso realmente requiere que se actúe sobre los datos en segundos desde su generación.
El streaming es un compromiso arquitectónico, no un interruptor de función
Pasar de lotes a streaming no es simplemente ejecutar el mismo pipeline con más frecuencia; requiere repensar los modelos de datos para un procesamiento continuo en lugar de periódico, manejar con elegancia eventos desordenados y de llegada tardía.
No todos los casos de uso necesitan streaming, y una migración disciplinada comienza identificando las decisiones específicas genuinamente bloqueadas por la latencia por lotes.
JIG ayuda a las organizaciones a diseñar arquitecturas de datos en streaming para los casos de uso que realmente las necesitan.