批处理数据模式数十年来一直很好地服务于企业,对于许多用例——例如月度财务结账、历史趋势报告——它至今仍然完全适用。但越来越多的用例真正要求数据在生成后的几秒钟内就被采取行动:欺诈检测必须在一笔交易结算之前就将其标记出来,库存系统必须在销售发生的瞬间就予以反映,而运营告警一旦延迟一个小时才送达,便会失去大部分价值。
流式处理是一项架构承诺,而非一个功能开关
从批处理转向流式处理,绝不仅仅是让同一条流水线运行得更频繁那么简单;它需要重新构思数据模型以适应持续性而非周期性的处理方式,妥善处理乱序和迟到的事件,并构建能够在数分钟内(而非等到下一次批处理对账时才发现)侦测到流中断的监控机制。低估这一转变的组织,往往最终得到的是一条脆弱的流式管道——其行为如同每隔几分钟运行一次的批处理任务,却并未真正获得低延迟带来的收益。
并非每个用例都需要流式处理,一次审慎有序的迁移,应当从识别那些真正被批处理延迟所阻碍的具体决策入手,先围绕这些决策构建流式能力,而不是一次性改造整个数据资产体系。
贾万信息技术集团(JIG)帮助组织为真正需要流式数据架构的用例进行设计,而不会对平台的其余部分进行过度工程化处理。