可以参考JR/T 0204—2020《分布式数据库技术金融应用规范 安全技术要求》https://www.cfstc.org/bzgk/detail/?id=0&bzId=1894更广泛的“数据”“安全”金融行业标准，可以访问https://www.cfstc.org/bzgk/?id=3

隐私计算数据沙箱

数据的分类分级是数据安全工作的基础，可以借鉴《华为数据之道》中的思路，先明确数据所有者，由所有者明确数据资产目录，分类分级，数据标准，数据质量，并管理数据。

客户画像和精准营销：通过收集客户的行为数据、交易数据、社交数据等信息，分析客户的需求和偏好，制定针对性更强的产品和服务，并实现精准的营销和推广。风险控制和反欺诈：利用大数据技术对客户的风险评估、信用评分、欺诈检测等方面进行分析，提高银行的风险控制能力和安全性。产...(more)

目前主流的大数据平台，都是用kerberos认证进行服务之间的安全认证，但是在国密密评中，将kerberos认证认为是未合规的密码技术。并且定级为属于必须要整改的高风险项，这块行业里面有没有相关的改造经验？...(more)

实时流计算是指处理的数据源是一些不断产生新数据的连续流，并通过实时分析技术，将这些实时数据变为业务价值。流计算往往应用于大数据领域的数据分析，日志处理等场景。验证实时流计算结果准确性是非常重要且有挑战的。下面是一些验证实时流计算结果准确性的方法：1.使用样本对...(more)

访问量不大的话，可以将redismysql等生产环境容器化。k8s的话，我们是用nas

最基础的两道威胁是磁盘静默错误 和CPU静默错误，从这两项出发，传统数据库已经无法解决，无论是Mysql 、postgreSQL的魔改，还是某RocksDB、clickHouse集成的原生分布式都是解决不了。 前沿数控 这家企业的数据在国内某云厂商上全部丢失，就是最好的例证；能防御的貌似只有OB吧，...(more)

根据本人的实践情况，针对其中的几个现象，提出如下建议：现象一的情况：考虑使用  GET / _nodes/hot_threads 查看当前集群的热点线程，确认当前是写占用了大量CPU资源。其余几个现象与现象一存在共同点，读写性能问题，建议增加协调节点角色，帮助集群提前进行数据流量处理，单凭数据节...(more)

如果双录是新建，可以优先采用对象存储作为主存储，设置二级存储来归档冷数据。如果双录采用原传统架构的NAS或者块存储之类，需要二次优化，推荐参考本期海量数据优化章节的文章。

我觉得未来的信息化发展中。数据治理将会是一个巨大的问题。而其中特别以非结构化数据为主。不同于传统的结构化数据。正如题主所说。非结构化数据数据量大且杂乱，类型繁多增长数度快。未来的发展中我认为很有必要把非结构化数据作为一个独立的部分进行治理。在实际环境里...(more)

cognos 界面调取数据，并为选择有关除法运算的度量，只有减法，然后界面维度度量均已拉出，大部分为空，就选择了“抑制行与列” 操作，然后就提示错误信息：   XQE-GEN-0005 发现内部错误。: 除以零。有没有老师知道是什么情况...(more)

1) 通过系统日志采集大数据 用于系统日志采集的工具，目前使用最广泛的有：Hadoop 的Chukwa、ApacheFlumeAFacebook的Scribe和LinkedIn的Kafka等。这里主要学习Flume。 Flume是一个高可靠的分布式采集、聚合和传输系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据，同...(more)

大数据平台的总体架构设计从下向上依次为： 数据源：支持多种数据源，可以实现接入多个业务系统数据进行接入整合； 接入层：业务数据库定时同步和基于canel的实时同步结合，日志数据实时接入，互联网海量数据实时爬取清洗； 存储层：HDFS分布式文件系统实现海量数据存储，Hbase提供实时数据...(more)

1) 星环科技大数据基础平台（TDH） 从2013年开始发布2.0版本至今，星环每年都会发布一个大版本，经过多次迭代和技术升级，到2021年TDH 8.0发布，TDH已成为一个企业级大数据基础平台，基于其领先的多模型技术架构，8种异构存储引擎支持10种数据模型，被广泛应用在离线数据批处理、高并发的...(more)

现如今大数据平台之所以如此受欢迎，主要原因就是可以提高数据管理效率，并且快速获得有价值信息，这样就能节省大量时间和精力，对关键内容进行抓取和数据整合。 1) 轻松进行数据共享 企业在各项数据管理工作中，如果单独进行管理难免就会导致工作量很大，甚至会出现各种疏漏，毕竟受...(more)

1) 使用云平台，优点是建设周期短、运维成本低；缺点是费用贵、数据安全性； 2) 使用商业化的大数据平台，优点是搭建部署方便、稳定性好；缺点是成本高、不够灵活； 3) 使用开源软件自己搭建平台，优点是可以根据需要定制部署，缺点是周期长、成本高、BUG多。 对于金融行业，数据安全至关...(more)

1) 从大数据处理的过程来划分：包括数据存储、数据挖掘分析、以及为完成高效分析挖掘而设计的计算平台，它们完成数据采集、ETL、存储、结构化处理、挖掘、 分析、预测、应用等功能。 2) 从大数据处理的数据类型来划分：可以分为针对关系型数据、非关系型数据（图数据、文本数据...(more)

目前用过的有中兴的golden db和pcap的tidb，腾讯和阿里也都有自己的数据库产品

数据加总能力一般是指数据加和汇总的能力，按照《银行业金融机构数据治理指引》要求， 主要是要求银行机构进一步明确数据在全面风险管理中的价值。要求银行业金融机构应当建立数据统一集中管理的制度，确保整体数据完整性，确保各类数据之间的统合性、关联性和一致性，满足在正常...(more)