关于Cognos能支持的商用spark版本,当然也可以考虑其他产品,欢迎大家推荐?

目前我司数据量并不大,但有些特殊的需求 多维度(将近200个常用维度),事实表N年历史数据数据量过亿,常用的数据模型三年数据量50个G左右。其实数据量算小了,虽说传统的数仓技术也可以覆盖。
但是目前受限于使用手段,比如这200个维度自由组合,快速响应(这个很重要,粒度很细)。目前数仓用的oracle数据量一大就慢甚至无返回。
我们也测试了Cognos11的dynamic cube,对数据质量要求高,使用上也不是多方便。然后我们测试了cdh的impala受限于技术水平性能维度一多反应很慢,然后测试了开源版本spark sql作为查询引擎性能很好,速度也很好,稳定性有欠缺。所以咨询下有没有商业版解决方案or产品,以及是否支持Cognos?
如果有其他数仓产品,也可以推荐,谢谢~~

3回答

左右左右  咨询专家 , ex-IBM
石佛wuwenpin大白熊F等赞同了此回答
关注一下 同时补充一些背景,这块我参与的比较深所以有一些观点刚好也借此机会跟同行们讨论一下。 首先是BI层由于存在自主分析的需求,所以聚合结果或者临时表这种方式业务上不可行,客户常见的分析维度经过多轮筛选依旧在70+个,且个人认为随着产品更加扁平维度会以标签的形式...显示全部

关注一下

同时补充一些背景,这块我参与的比较深所以有一些观点刚好也借此机会跟同行们讨论一下。

首先是BI层
由于存在自主分析的需求,所以聚合结果或者临时表这种方式业务上不可行,客户常见的分析维度经过多轮筛选依旧在70+个,且个人认为随着产品更加扁平维度会以标签的形式扩充,那时候维度可能不再是70一年膨胀到2000个也不是没有可能。所以传统数仓+BI的方式实现起来碰见了一个很大的瓶颈,因为预处理变成一个几乎不可能完成的任务。

单纯BI的架构基本上发挥了Cognos(CA11)的全部主力功能,集群环境+海量内存+DQM查询方式+动态立方体+针对性的调优已经全部上线,但是有碍于庞大的指标体系,还有自助分析的需求,只要查询发送到数据库层那么速度就下来了。所以个人感觉如果想在BI层做进一步的优化那么空间相对是比较小的。

其次是数据库层
考虑到OLAP的需求,Oracle作为数仓基本上瓶颈出现在千万行级别事实表上的汇总和分组操作,继而转向大数据解决思路,由于存在表关联Join操作排除了一些不支持join类型的方案,后来历经hive——>impala——>spark这样的路线,全部上真实数据之后在现有硬件环境下(3台高配hadoop集群)spark表现最好。但是看到在hadoop上性能的提升后个人觉得数据库层的突破是正路子。
其他尝试过的手段包括:

  • Oracle内存表——>真实数据量下表现不突出
  • 麒麟——>商业版本仅支持63个维度
收起
 2019-04-10
浏览869
aixchina 邀答
txl19880701txl19880701  咨询专家 , 内蒙古蒙草草原生态研究院有限公司
大白熊F赞同了此回答
成都四方伟业软件股份有限公司致力于为大型高端大数据应用提供核心技术架构和软件平台产品,帮助大数据应用者和开发者提供综合大数据应用核心架构的快速构建,力图将最为复杂和深层的技术封装在底层,让大数据应用价值快速在行业用户端落地,打通大数据应用的最后一公里。公司在...显示全部

成都四方伟业软件股份有限公司
致力于为大型高端大数据应用提供核心技术架构和软件平台产品,帮助大数据应用者和开发者提供综合大数据应用核心架构的快速构建,力图将最为复杂和深层的技术封装在底层,让大数据应用价值快速在行业用户端落地,打通大数据应用的最后一公里。公司在大数据平台研发方面持续加大投入,构建完整的大数据解决方案生态,涵盖了大数据采集平台、大数据存储计算平台、大数据治理平台、大数据智能分析平台、大数据可视化平台。能够一站式为用户提供完整的软件架构与环境,涵盖传统结构化数据、半结构和非结构化数据,汇集来自分支机构的数据存储、互联网数据乃至物联网和流式数据的多数据源,真正实现全要素、全类型、全生命周期的大数据技术与服务核心竞争力。

你的需求我已经 联系 产品部 评估需求,如果可行,可以安排金融事业部销售及售前进行沟通。晚点给你回复

收起
 2019-04-10
王威01王威01  软件架构设计师 , 星环信息科技(上海)有限公司
这个情况经我们技术人员评估,用星环科技的ArgoDB产品可以解决。如果有兴趣,可以安排技术人员为您详细沟通介绍一下。显示全部

这个情况经我们技术人员评估,用星环科技的ArgoDB产品可以解决。如果有兴趣,可以安排技术人员为您详细沟通介绍一下。

收起
 2019-04-11
浏览540

提问者

amu0722CEO, 打毛党

问题状态

  • 发布时间:2019-04-10
  • 关注会员:4 人
  • 问题浏览:1167
  • 最近回答:2019-04-11
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30