Пакетная обработка данных десятилетиями хорошо служила предприятиям, и для многих сценариев использования она остаётся вполне уместной. Но растущий набор сценариев использования действительно требует действий по данным в течение секунд после их генерации.
Потоковая обработка — это архитектурное обязательство, а не переключатель функции
Переход от пакетной обработки к потоковой — это не просто запуск того же конвейера чаще; это требует переосмысления моделей данных для непрерывной, а не периодической обработки, изящной обработки неупорядоченных и запоздавших событий.
Не каждому сценарию использования нужна потоковая обработка, и дисциплинированная миграция начинается с определения конкретных решений, действительно заблокированных задержкой пакетной обработки.
JIG помогает организациям проектировать архитектуры потоковой передачи данных для сценариев использования, которые действительно в них нуждаются.