大数据大数据（Big Data），是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
热点
针对不同国产数据库数据存储介质选型，需要综合考虑多个方面的因素，包括业务需求、数据量、性能要求、可靠性、成本等因素。在这些因素中，存储介质的选型直接影响数据库的性能和可靠性，因此，选型时需要谨慎考虑。在一般情况下，本地盘、SAN存储和NAS存储都可以作为数据库的存储介...
自动化运维·2023-07-26
前几天看计世资讯的报告，核心观点是PaaS的黄金发展期到了，我非常认同。其实随着平台从IaaS上升到PaaS,系统复杂度日益提高，自动化运维（智能运维、AIOPS、IToA、IToM...)的机会也到来了，最近好件事都跟自动化运维相关，就是最好的证明。一、我们看到的一些趋势1、巨头们是怎么看...(more)
浏览640
科研大数据需要的硬件需要结合建设内容。如果是传统的客养大数据平台，主要的工作数数据采集处理存储机上NLP，普通的集群和存储也可以满足，但是内存需要的资源会多一些，存储资源要大，毕竟基于数据的处理，可以考虑SSD。如果是多模态的科研平台，包括需要在这个科研平台上嫁接大模型...
数据治理·2023-07-19
最近手上堆积了不少跟数据相关的需求，在跟客户和同事交流的过程中，发现一个问题，那就是大家对数据的底层处理逻辑好像没有一个统一的认知。仔细思考一番，觉得还是有必要梳理一下。其实从去年开始，在数据领域有一个新概念悄悄兴起，开始在实际项目和产品中落地，各方势力也纷纷响应...(more)
浏览839
大语言模型和RPA是两种不同的人工智能技术，分别用于不同的应用场景。大语言模型主要用于自然语言处理和对话式交互，而RPA主要用于自动化流程和数据处理。然而，大语言模型和RPA的结合可以充分发挥各自的优势，提高数字化转型的效率和质量。例如，在客服领域中，可以使用大语言模型...
数据治理·2023-07-12
今天说点不太技术的话题。最近一直在持续关注某领域在数据层面的大动作，也跟部分行业头部客户做了很多交流和探讨，同时还在反思数据域的建设和持续运营到底应该如何开展。2020年4月，发布的《关于构建更加完善的要素市场化配置的体制机制的意见》中明确指出“数据”与土地、...(more)
浏览746
可观测性·2023-07-13
最近做了一些跟智慧运维相关的工作，发现可观测性这个概念挺火，我也凑个热闹。一、什么是可观测性从去年下半年开始一直到现在，在IT运维领域有一个词一直热度不减，甚至一度超过了当初的AIOps，那就是“可观测性”。可观测性（Observability）本来是一个自动控制领域的一个术语，在控制...(more)
浏览721
在银行业训练大语言模型时，特别是在优化智能客服方面，可能会面临以下数据处理方面的挑战，并提供相应的解决方案：数据缺失：银行数据可能存在缺失的情况，例如客户信息的不完整性或特定领域的知识缺失。解决这个问题的方法之一是通过数据增强技术，如数据插值、合成数据或基于相似性...
