1) 通过系统日志采集大数据 用于系统日志采集的工具，目前使用最广泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同...

大数据平台的总体架构设计从下向上依次为： 数据源：支持多种数据源，可以实现接入多个业务系统数据进行接入整合； 接入层：业务数据库定时同步和基于canel的实时同步结合，日志数据实时接入，互联网海量数据实时爬取清洗； 存储层：HDFS分布式文件系统实现海量数据存储，Hbase提供实时数据...

大数据量迁移，数据库层面应该是同构同版本吧，如果是的话，一般都是要提前迁移准，停机窗口增量的模式迁移，否则那么大的数据量8小时很难完成。另外可以借鉴一些数据库厂商的工具进行迁移。至于x86和arm的性能差异，这个和CPU型号，数据库以及SQL等都有关系，具体还是要做对比测试和性...

传统金融行业大多为建设数据仓库， 数仓是存储和管理一个或多个主题数据的集合，为业务提供服务的方式主要是分析报表，为了支持管理决策分析。数据仓库具有历史性，其中存储的数据大多是结构化数据，这些数据并非企业全量数据，而是根据需求针对性抽取的，数据仓库对于业务的价值是各...