相同之处：1.       数据存储需求量大：无论是传统业务场景还是大模型场景，都需要大规模存储数据，以满足业务需求。2.      数据安全性要求高：对于任何业务场景，数据的安全性和隐私保护都是重要的考虑因素。大模型也不例外，需要确保数据的安全性。3.      数据质...

CDR、ODR和RDR都是基于业务领域进行的逻辑层面的数据划分和再组织，而实际业务数据的产生也就是数据源是相同的，都是基于实际的业务系统，如HIS、LIS、PACS、HRP等。这三类数据中心的目标都是为了其相应领域的上层业务应用的需求，在对实际业务数据多元化采集加工基础上，进行的主...

8个小时做迁移肯定是不够的，所以这样的情况下只能做割接不能做迁移，性能也没有做测试，架构也没有做测试，像这种情况下架构肯定是要调整的，所以只能调整架构以后，业务测试通过以后，8个小时来做割接。算算你将近500tb的数据，8个小时，你通过网络来进行迁移，传输数据的时间都不够。...

在实际场景中，很多数据集都是多维度的。随着维度的增加，数据空间的大小（体积）会以指数级别增长，使数据变得稀疏，这便是维度诅咒的难题。维度诅咒不止给异常检测带来了挑战，对距离的计算，聚类都带来了难题。例如基于邻近度的方法是在所有维度使用距离函数来定义局部性，但是，在高维空...

1、你有没有专门的历史数据归档系统？有的话，复用这个归档系统。好处是有接口，有规范，可以按归档系统的设计存放，取用方便。一般来说都是磁盘介质，底层可能是对象存储或者hadoop。管理维护由归档系统统一完成。2、有没有集中备份系统？备份系统的几种介质都可以，比如磁带，磁盘，PBB专...

       本人在国内一家股份制行从事信贷风险管理研究和实践，当时的一些思考和经验已经写入（https://mp.weixin.qq.com/s/EEck7VgVjVMj083Z0zdfCA)这篇文章。欢迎交流。       结合您的具体问题，我简单谈下个人看法。在银行的智能风控方面，大语言模型（LLMs）的应用...

通过资源隔离（比如采用K8S不同的namespace并分配不同的租户quota)、优先级和抢占（采用不同的PriorityClass ）、资源限制（不同的limit、request，quota等）、监控和自动化调整（如 Prometheus 和 Grafana ，结合HPA/VPA等）、队列和调度策略以及独立的存储和网络配置等手段，可以有效保障...

针对不同国产数据库数据存储介质选型，需要综合考虑多个方面的因素，包括业务需求、数据量、性能要求、可靠性、成本等因素。在这些因素中，存储介质的选型直接影响数据库的性能和可靠性，因此，选型时需要谨慎考虑。在一般情况下，本地盘、SAN存储和NAS存储都可以作为数据库的存储介...

几乎所有在线服务都在收集我们的个人数据，并可能将这些数据用于训练 LLM 。然而，模型会如何使用这些用于训练的数据则是难以确定的。如果在模型的训练中使用了诸如地理位置、健康记录、身份信息等敏感数据，那么针对模型中隐私数据的提取攻击（ Data extraction attack ）将会造...

在大数据作业容器化部署后，日志收集、监控告警和异常诊断是保障系统稳定性和运行效率的关键环节 。1、确保大数据作业容器中的日志输出符合统一的格式和标准 ，使用日志聚合工具（比如Fluentd、Filebeat）收集大数据作业容器的日志，并发送到公司的统一日志平台进行存储和分析。2...