大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
大数据平台·2023-01-16
大数据平台是为了计算现今社会所产生的越来越大的数据量，以存储、计算、展现作为目的的平台。它是一个集数据接入、数据处理、数据存储、查询检索、分析挖掘等、应用接口等为一体的平台。大数据平台可以提高数据管理效率，并且快速获得有价值信息，可以轻松地共享资源。这样就...(more)
1) 通过系统日志采集大数据 用于系统日志采集的工具，目前使用最广泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同...
大数据平台的总体架构设计从下向上依次为： 数据源：支持多种数据源，可以实现接入多个业务系统数据进行接入整合； 接入层：业务数据库定时同步和基于canel的实时同步结合，日志数据实时接入，互联网海量数据实时爬取清洗； 存储层：HDFS分布式文件系统实现海量数据存储，Hbase提供实时数据...
目前用过的有中兴的golden db和pcap的tidb，腾讯和阿里也都有自己的数据库产品
数据仓库·2023-01-03
中小银行数据仓库建设实践近年来，随着银行业务日益发展、监管要求不断深化，秦皇岛银行逐步将数据分析、数据应用、数据挖掘作为金融业务发展和管理决策的重要支撑手段，将数据作为行内的核心资产，不断拓展数据应用场景，提升数据资产管理能力。烟囱式系统建设模式会给数据建设带...(more)
8个小时做迁移肯定是不够的，所以这样的情况下只能做割接不能做迁移，性能也没有做测试，架构也没有做测试，像这种情况下架构肯定是要调整的，所以只能调整架构以后，业务测试通过以后，8个小时来做割接。算算你将近500tb的数据，8个小时，你通过网络来进行迁移，传输数据的时间都不够。...
人工智能·2022-12-09
前言随着深度学习的快速发展，图像分类、目标检测、语义分割以及实例分割都取得了突破性的进展，这些方法成为自然场景文本检测的基础。基于深度学习的自然场景文本检测方法在检测精度和泛化性能上远优于传统方法，逐渐成为了主流。下图列举了文本检测方法近几年来的发展历程。...(more)
浏览3019
第一我觉得需要调研需求，即你的数据规模、数据属性以及大数据需求；第二根据调研选择产品或平台，例如cloudera的CDP、星环的TDH或是阿里云、网易云的云产品等，公有云产品部署实施快，CDP本地部署需要规划资源、采购设备以及部署调试等。但是根据经验，我觉得上线大数据平台的重点...
