大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
企业大模型数据治理是确保企业数据质量、安全性、可靠性和一致性的关键。在选择企业大模型数据治理的方法和工具时，我们更倾向于以下几个方面，并会说明相应的理由：数据质量管理和校验 ：我们强调数据质量管理和校验的重要性。通过数据清洗、格式转换和校验程序，可以确保数据的...
相同之处：1. 数据存储需求量大：无论是传统业务场景还是大模型场景，都需要大规模存储数据，以满足业务需求。2. 数据安全性要求高：对于任何业务场景，数据的安全性和隐私保护都是重要的考虑因素。大模型也不例外，需要确保数据的安全性。3. 数据质...
在长尾场景下，数据清洗是至关重要的。以下是清洗长尾数据的方法、措施和注意点：异常值处理：长尾数据中常见异常值，可利用统计学方法处理异常值，确保数据准确性。缺失值处理：长尾数据可能存在较多缺失值，需采用适当方法填充或处理，如均值填充、插值法等，以保证数据完整性。特征选择...
大语言模型·2024-01-04
本人在国内一家股份制行从事信贷风险管理研究和实践，当时的一些思考和经验已经写入（https://mp.weixin.qq.com/s/EEck7VgVjVMj083Z0zdfCA)这篇文章。欢迎交流。 结合您的具体问题，我简单谈下个人看法。在银行的智能风控方面，大语言模型（LLMs）的应用...
灾备·2023-11-15
为了更好的做好容灾保障，使业务能够应对机房级别的故障，滴滴的存储服务都在多机房进行部署。本文简要分析了Redis实现异地多活的几种思路，以及滴滴Redis异地多活架构演进过程中遇到的主要问题和解决方法，抛砖引玉，给小伙伴们一些参考。Redis异地多活的主要思路业界实现Redis异...(more)
Redis·2023-11-10
某个周末的晚上突然收到一波耗时上升报警，仔细一看报警消息，原来是出现了慢查请求导致集群耗时大幅上升，此时业务同学也收到上游服务受影响报警。在处理问题过程中，运维同学发现Redis集群中只有部分实例出现cpu利用率上升，慢查日志也集中在这几个实例，而上游业务此时没有上线或...(more)
浏览780
结合我们行的情况，要想对数据进行分类分级，先要进行数据资产的梳理，一般厂商数据分类分级平台都有一个简单的资产梳理功能，是基于数据库层面而非业务层面的资产梳理。根据资产梳理的情况，根据 中国人民银行发布《金融数据安全 数据安全分级 指南 》(JR/T 0197—2020) 进行数据...
在数据存储选型中，国产CPU的选择对于整体系统性能和兼容性是非常重要的因素之一。CPU作为数据存储设备的计算和控制核心，它的性能和特性将直接影响到数据存储系统的处理能力、响应时间和可靠性。以下是在数据存储设备选型时需要考虑的一些关键点：1、评估数据存储的性能需求，...
必须华为啊，华为存储成立之初，到现在已经有10年之久了，从客户的反馈及故障率来说，都算不错，相信华为，不会让你失望
