Le traitement de données par lots a bien servi les entreprises pendant des décennies, et pour de nombreux cas d’usage, il reste tout à fait approprié. Mais un ensemble croissant de cas d’usage exige réellement d’agir sur les données en quelques secondes après leur génération.
Le streaming est un engagement architectural, pas un simple interrupteur de fonctionnalité
Passer du lot au streaming n’est pas simplement exécuter le même pipeline plus fréquemment ; cela exige de repenser les modèles de données pour un traitement continu plutôt que périodique, de gérer avec élégance les événements désordonnés et tardifs.
Tous les cas d’usage n’ont pas besoin de streaming, et une migration disciplinée commence par identifier les décisions spécifiques réellement bloquées par la latence des lots.
JIG aide les organisations à concevoir des architectures de données en streaming pour les cas d’usage qui en ont réellement besoin.