注册登录
提 问
English中文版
互联网服务系统运维Hadoop

HADOOP比JOB更消耗资源，怎样的建构使物理资源得到充分的发挥?

用户的话单大小为100KB左右每天大约有上亿条待处理,使用HADOOP处理明显要比1G左右的JOB更消耗资源,怎样的建构使物理资源得到充分的发挥,又有效的做到数据的稽核比对?

关注4
评论
参与10

3同行回答
|
按赞同排序
按时间排序

尘世随缘尘世随缘技术总监上海某互联网金融公司
你这个是明显的小问题导致的大作业，hadoop默认是使用一个块（128M）为一个作业。你可以这样计算1G大文件hadoop会拆分为8个JOB，如果你是1G的小文件每个文件100K的话，你可以计算下需要多个Job，这么多的Job从申请资源到执行都需很长的过程，所以这个就比较慢了。解决这种小文件的方式...显示全部
你这个是明显的小问题导致的大作业，hadoop默认是使用一个块（128M）为一个作业。你可以这样计算1G大文件hadoop会拆分为8个JOB，如果你是1G的小文件每个文件100K的话，你可以计算下需要多个Job，这么多的Job从申请资源到执行都需很长的过程，所以这个就比较慢了。

解决这种小文件的方式比较多

1、通过Linux的SHELL脚本把小文件合并为大文件

2、使用sequenceFile格式，来合并小文件

3、使用CombineFileInputFormat来处理小文件，多个文件当做一个Job来处理。

收起
互联网服务 · 2015-11-06
浏览2115
查看赞同的人
评论
loveryueloveryue软件开发工程师IBM
Job的优化一直是分布式计算的核心，最关键是要知道哪些job执行时间长，影响整个计算模型的结果，然后 通过调整split大小，改变中间文件类型等手段加速。显示全部

Job的优化一直是分布式计算的核心，最关键是要知道哪些job执行时间长，影响整个计算模型的结果，然后 通过调整split大小，改变中间文件类型等手段加速。

收起
互联网服务 · 2015-11-06
浏览2098
评论
zv8912000zv8912000系统架构师电信行业
个人HADOOP作为开源项目持续的发展中国，目前来说基本完成了hive到spark升级，job任务还是选择spark还是选择其他组件，会随着时间发展不断变化。 spark大致为hive15倍以上，有SQL还是NOSQL，不一定发展成什么样。...显示全部

个人HADOOP作为开源项目持续的发展中国，目前来说基本完成了hive到spark升级，job任务还是选择spark还是选择其他组件，会随着时间发展不断变化。 spark大致为hive15倍以上，有SQL还是NOSQL，不一定发展成什么样。

收起
电信运营商 · 2015-11-06
浏览1968
评论

提问者

jy00810061
jy00810061001
系统运维工程师chinaunicom
擅长领域： 服务器，系统管理
关注2
回答28
评论235

问题来自

  • 活动 - 电信行业事件处理池架构选型探讨

    • 相关问题

  • 系统迁移，国产化转信创如何实施？
  • 适配迁移信创操作系统后各类软件的兼容性问题如何解决？
  • 凭实力讲，运维工程师能不能做到预言家，未卜先知发现问题？
  • 请教个职业发展问题，银行外包运维有前途吗？
  • 传统IDC运维如何过渡到自动化运维？

    • 相关资料

  • CentOS Troubleshooting案例讲解及Linux运维自动化实践
  • IT基础架构：系统运维实践-001-225
  • 系统运维全面解析 技术、管理与实践-第一部分
  • 《深度剖析Hadoop HDFS》-第一部分
  • 基于ZooKeeper搭建Hadoop高可用集群

    • 相关文章

  • 运维实践：基于频繁项集的告警关联分析系统的研究与实现
  • 招聘 | 华夏银行信息科技部招人，涉开发、运维、安全、数据等（地点：北京）
  • 浙商银行总行金融科技2023年度社会招聘启事（地点：杭州）
  • 浙商银行总行2023年度科技运行管理专场社会招聘
  • 中小企业运维管理体系平台建设

    • 问题状态

  • 发布时间：2015-11-06
  • 关注会员：4 人
  • 问题浏览：6550
  • 最近回答：2015-11-06

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广