离线在线混合部署后，主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期，可以出让较多的CPU计算资源给大数据，比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期，可以出让比如15%-20%的资源给大数据作业；晚上(18:00-22:00)在线业务负载相比白天下降，可以出让30%的资源给大...(more)

感谢分享！

有用，感谢分享！

本期讨论话题重点围绕：数据湖、湖仓一体、数据仓库等基础统一数据平台建设，对大型模应用的影响： 讨论企业如何建设好数据湖、湖仓一体、数据仓库等平台（包括架构设计、数据库选型、数据采集策略选择、数据质量校验机制建立、数据整合策略选择等），以有效支持大模型的应用？这块大...(more)

在新的形势下，提升团队的数据资源运作能力变得尤为重要。以下是一些建议，有助于团队在这一方面取得进步：一、明确数据战略与目标制定明确的数据战略，确保团队对数据资源的运用与业务目标相一致。设定具体、可衡量的数据运作目标，以便团队能够有针对性地提升能力。二、加强数据...(more)

数据湖和湖仓一体在大模型训练方面可以发挥积极作用，主要体现在以下几个方面：首先，数据湖能够作为一个集中式存储平台，汇集大量不同来源、不同格式的数据。这对于大模型训练至关重要，因为大模型通常需要大量的数据进行训练，以捕捉数据的复杂模式和关联。数据湖能够提供一个统一...(more)

大模型在运用传统结构化数据时，可以通过一系列步骤和方法来充分利用这些数据资源，提高模型的性能和应用效果。以下是一些关键步骤和考虑因素：数据准备与预处理 ：数据清洗 ：去除重复、错误或不完整的数据，确保数据的准确性和一致性。特征工程 ：根据任务需求，从结构化数据中提取有...(more)

很有参考价值

根据需求，主要是处理30亿条交易数据，并利用机器学习为交易地址打上标签，使用Hadoop和Spark是一个合适的大数据平台方案。数据量：Hadoop适合存储海量的数据，并提供了多种技术组件用于查询和分析，由于本需求是30亿条数据进行存储和处理，所以选择Hadoop是合适的。Spark是基于内存的...(more)