1tb-5tb级数据量,大家采用的什么优化策略?

数据量越来越大,现在都是以TB为单位来计算了。发了两个主题,一个是“1tb-5tb级数据量,大家采用的什么优化策略?”,另一个是“10tb级数据量,大家采用的什么优化策略?”,欢迎大家一同参与讨论互动,抱团取暖一下下!

如果您有过类似经验,也欢迎分享,总结、遇到的问题都行。


看到很多朋友都给出了自己的经验分享,谢谢!本人绝对是新手一枚,喜欢刨根问底。大家所说的哪些策略,都具体是怎么做,有参考的步骤和具体的操作文档吗?
参与15

8同行回答

traffic886traffic886数据仓库工程师上海普瑞
回复 2# traffic886 其实这个要看业务,比如我们系统的一个表,数据量很大,有个交易日字段,在前段报表都是以月报的形式显示的,不会跨月的。所以可以建很多个小表,比如a_201401、a_201402、a_201403。前端显示报表去动态取表名。比如我查201401的月报数据就从a_201401表取数据,查2...显示全部
回复 2# traffic886
其实这个要看业务,比如我们系统的一个表,数据量很大,有个交易日字段,在前段报表都是以月报的形式显示的,不会跨月的。所以可以建很多个小表,比如a_201401、a_201402、a_201403。前端显示报表去动态取表名。比如我查201401的月报数据就从a_201401表取数据,查201402的月报数据就从a_201402取数据。这样就把一张很大的表分割成很多的小表。总体思想:在满足业务的同时,尽量把大表分割成小表。收起
软件开发 · 2014-05-09
浏览1602
lixin199036061lixin199036061网站架构师苏州新宇软件
苏宁的会员中心,几十亿条数据。分成了10个物理主库,每个物理主库再配置HADR10个读库。程序操作时先计算一个hash值,按照这个值进行分库操作。这样增删改查都可以知道到哪个库里去执行了.缺点是不能像一个表一样进行join操作了...显示全部
苏宁的会员中心,几十亿条数据。
分成了10个物理主库,每个物理主库再配置HADR10个读库。
程序操作时先计算一个hash值,按照这个值进行分库操作。
这样增删改查都可以知道到哪个库里去执行了.
缺点是不能像一个表一样进行join操作了收起
互联网服务 · 2014-05-30
浏览1586
jaychouashjaychouash软件开发工程师ash
同意5楼的做法显示全部
同意5楼的做法收起
软件开发 · 2014-05-09
浏览1532
bankhpbankhp数据库管理员安徽省农村信用联社信息技术中心
同意5楼的意见,大表分割成小一点的表,小一点的再做表分区。显示全部
同意5楼的意见,大表分割成小一点的表,小一点的再做表分区。收起
银行 · 2014-05-13
浏览1506
db2bbmdb2bbm研发工程师上海诺琪
我们的做法也跟5楼一样。显示全部
我们的做法也跟5楼一样。收起
软件开发 · 2014-05-09
浏览1491
yangshichangyangshichang项目经理康佳
我们也是通过分区表来实现的。显示全部
我们也是通过分区表来实现的。收起
机械装备 · 2014-05-09
浏览1520
amatoamato软件开发工程师恒隆兴
建分区,定时表分析显示全部
建分区,定时表分析收起
互联网服务 · 2014-05-09
浏览1505
traffic886traffic886数据仓库工程师上海普瑞
我们都是用分区表。显示全部
我们都是用分区表。收起
软件开发 · 2014-05-09
浏览1546

提问者

pcd413
项目经理科技

相关问题

问题状态

  • 发布时间:2014-05-06
  • 关注会员:3 人
  • 问题浏览:12534
  • 最近回答:2014-05-30
  • X社区推广