8个小时做迁移肯定是不够的，所以这样的情况下只能做割接不能做迁移，性能也没有做测试，架构也没有做测试，像这种情况下架构肯定是要调整的，所以只能调整架构以后，业务测试通过以后，8个小时来做割接。算算你将近500tb的数据，8个小时，你通过网络来进行迁移，传输数据的时间都不够。...

数据分析类工具包括SMARTBI、TABLEAU、观远、PYTHON、R、sophon、SPSS、SAS、stata等。SMARTBI、TABLEAU、观远这些工具都是很不错的报表工具，可以进行数据的图表展示，对数据描述性分析，对于数据背后变化的原因，什么要素很重要，未来会发生什么，就不是这些工具的关注。为了做诊...

底层基础架构设计不仅要考虑技术因素（性能、一致性要求、SQL兼容性要求），也要考虑包括架构产品的生态成熟度、应用架构适配度、团队适应度等非技术因素。Hadoop+MapReduce是典型的分布式文件系统+分布式计算的技术框架，其组件HDFS就是典型的分布式存储架构，分布式存储架构更为...

根据需求，主要是处理30亿条交易数据，并利用机器学习为交易地址打上标签，使用Hadoop和Spark是一个合适的大数据平台方案。数据量：Hadoop适合存储海量的数据，并提供了多种技术组件用于查询和分析，由于本需求是30亿条数据进行存储和处理，所以选择Hadoop是合适的。Spark是基于内存的...

对于大数据Spark在治金制造业的应用，建议可以阅读以下书籍和文献:1.《Spark大数据处理技术实战》: 该书透彻介绍了Spark的基础知识、数据处理流程和常见应用场景，并结合实际案例详解了Spark在工业领域 (包括制造业)中的应用。2.《大数据处理技术及其在治金制造业中的应用》...

executor是真正执行task地方，而task执行离不开具体的数据，这些task运行的结果可以是shuffle中间结果，也可以持久化到外部存储系统。一般都是将结果、状态等汇集到driver。但是，目前executor之间不能互相通信，只能借助第三方来实现数据的共享或者通信。...

离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...

hadoop 在处理大规模数据时是很高效的，处理小文件时，可以将小文件打包为大文件，例如使用 SequcenFile 文件格式，这样多个小文件就可以通过 SequcenFile 文件格式变为一个大文件，之前的每个小文件都会映射为 SequcenFile 文件的一条记录。...

个人建议如下，能力经验有限，还请各位专家多多指正，在此谢过！    1、由于银行影像内容管理平台的主要数据类型是 半结构化的影像数据 并且 随着银行互联网业务的迅猛发展需要影像平台的资源能够弹性地横向扩展及很高的图像读取性能。因此 传统的Oracle/DB2架构这种集...