金融行业积极进行金融科技转型，大模型无疑是一个高效的赋能工具。大模型的应用也面临着数据、算力、合规和安全、人才、架构等问题和挑战。大模型应用场景在于生成式AI场景，需要强大、专业的知识库的支持，甚至是跨领域知识库的支持。...(more)

让我们试想一下：如果有那么一个软件实体能够根据自身的特性自主地与外界进行交互，根据收集到的数据情况做出合理的决策，并在特定场景下以最少的人为干预执行任务，从而减少人类的参与。这正是AIAgents的价值所在。然而，大家可能会好奇：AIAgents到底是什么？它们是如何工作的？人工智...(more)

随着人工智能和大数据技术的快速发展，金融企业越来越多地开始探索和应用大规模模型的推理和训练。然而，在建设大模型推理集群和训练集群的过程中，面临着一系列网络难点 ，涉及网络选型，架构选择和存储规划等 。本文将分析金融企业在这方面的挑战，并提出一些建设性的解决方案和经...(more)

优化模型性能指标，提高业务效率，保障数据隐私，提高用户满意度，为企业带来长远发展潜力。

大模型应用广泛，但存在框架局限、数据需求大等问题。未来发展方向包括小型化、专业化等。大模型将成为各行业的落地利器，开源大模型能提高社区追随度和模型完善度，闭源大模型则能形成技术先发优势。...(more)

端侧大语言模型应用于终端智能系统，需考虑轻量敏捷、安全稳定和成本等因素。技术包括量化压缩和数据重排等，应用广泛于医疗、供应链、人才服务、工业、办公自动化、智能制造、保险、金融风控等领域，具隐私安全性高、不受网络环境限制的优势。...(more)

数据清洗在长尾场景下需注意数据原始性、质量标准、验证、转换、填充、异常值处理、特征选择、平滑、标注、微调、隐私保护、去重等，高质量数据集对机器学习模型训练至关重要，企业数字化和数据治理水平也很重要。...(more)

GPT是一种预训练语言模型，可用于自然语言处理任务。它采用生成式预训练和判别式任务微调的方法，使得模型搭建更简单。适配不同任务的输入形式是一个问题，但通过增加应用层级的网络和有监督微调，可以解决。使用huggingface的模型调用和微调也变得更加简单。...(more)

GPU虚拟化和共享需求迫在眉睫，PCIe直通、SR-IOV、MPT等方案可实现GPU设备虚拟化，vGPU、MIG、MPS、rCUDA等方案可实现GPU虚拟化和共享，MIG支持裸机和容器，GPU算力池化可解决GPU使用效率低和弹性扩展差的问题，算力隔离、故障隔离是关键，API转发的多任务GPU时间分片的实现模式相对...(more)

本文探讨了如何构建高效的资源配置策略以支持大型模型项目，需要综合考虑多个方面，包括明确目标和需求、全面资源评估、动态资源调配、强化项目管理能力和持续优化改进等。同时，建议从企业战略高度和实施两个方向考虑项目的投入和产出，采取模型压缩与优化、减少开发成本、合作...(more)