注册登录
提 问
English中文版
系统集成大数据平台spark数据切分

spark stream数据切分原则？

spark stream输入的数据切块的原则是什么？切多大合适？为什么？

关注2
评论
参与3

1同行回答
|
按赞同排序
按时间排序

奔跑的蜗牛奔跑的蜗牛高级软件开发工程师武汉家事易农业科技有限公司
Spark 文件 切分 规则同时 spark 也要判断 数据 大小是否大于切片大小的11倍如果大于才按切片大小进行切分显示全部

Spark 文件 切分 规则同时 spark 也要判断 数据 大小是否大于切片大小的11倍如果大于才按切片大小进行切分

收起
软件开发 · 2022-11-12
浏览495
评论

提问者

极客led
极客led联盟成员
系统架构师神码
擅长领域： 云计算，容器，容器云
关注1
回答0
评论100

相关问题

  • 传统金融数据如何转大数据平台？
  • 互联网医院的建设中，如何规划大数据平台的架构？
  • 由于医院数据存在大量患者相关的数据，如何进行整个大数据平台的网络安全体系设计和数据安全设计？
  • 大数据中数据采集有哪几种方式？
  • 如何同步各个业务系统的数据？

    • 相关资料

  • 大数据湖体系规划与建设方案
  • Ansible运维管理平台部署、维护与调优
  • 大数据平台数据治理与建设方案
  • 杨浦区大数据资源平台(一期)项目可研方案
  • 云计算资源池建设方案

    • 相关文章

  • 大数据平台技术选型及架构设计
  • 中小银行大数据平台建设实践分享
  • 北京某股份制商业银行总行招聘 大数据平台运维岗 地域：北京
  • 大数据平台中的元数据库-MYSQL异常故障解决
  • 黑龙江省征信有限责任公司招聘公告

    • 问题状态

  • 发布时间：2021-12-24
  • 关注会员：2 人
  • 问题浏览：965
  • 最近回答：2022-11-12

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广