以Kafka为枢纽搭建的数据采集框架,如何保障数据的顺序性?

Kafka由于其分布式架构特点无法保障Topic下数据的顺序性(仅在Partition层面保证),在本方案中是如何解决该问题的?

参与6

2同行回答

sean.wysean.wy技术总监平安科技
如果要保证有序,那可能需要应用来进行处理了显示全部

如果要保证有序,那可能需要应用来进行处理了

收起
保险 · 2017-06-22
浏览2450
rein07rein07系统架构师某证券
我们现在的场景暂时还没有要求全局有序,大部分场景均要求按数据的key有序即可,如果真的要求全局有序,那暂时估计只能通过设置一个parition来实现了。显示全部

我们现在的场景暂时还没有要求全局有序,大部分场景均要求按数据的key有序即可,如果真的要求全局有序,那暂时估计只能通过设置一个parition来实现了。

收起
证券 · 2017-06-22
浏览2441

提问者

sandcun
信息分析/架构师某股份制商业银行
擅长领域: 大数据数据库服务器

问题来自

  • 相关问题

    相关资料

    相关文章

    问题状态

  • 发布时间:2017-06-21
  • 关注会员:4 人
  • 问题浏览:5291
  • 最近回答:2017-06-22
  • X社区推广