上篇：自然语言处理——NLP之预训练语言模型BERT（上）5.2 BertModel实现创建一个文件名称为Bert.pyimporttorchfromtorch.nn.initimportnormal_from.BertEmbeddingimportBertEmbeddingsfrom.MyTransformerimportMyMultiheadAttentionimporttorch.nnasnnimportosimportlogging...(more)

1、引言通常来说，在NLP领域的很多场景中模型最后所做的基本上都是一个分类任务，虽然表面上看起来不是。例如：文本蕴含任务其实就是将两个序列拼接在一起，然后预测其所属的类别；基于神经网络的序列生成模型（翻译、文本生成等）本质就是预测词表中下一个最有可能出现的词，此时的分类...(more)

议题说明：随着数字金融的加速发展，数据安全与隐私保护已经成为金融行业的关键话题。金融行业数据规模大、数据类型多、数字化基础强、市场规模大、客户付费能力强，是大模型应用落地的最优场景之一。在大模型的加持下，金融行业的智能化更强迎来新一轮的创新和加速。对金融机构...(more)

议题说明：本议题旨在探讨大模型在信用评估、欺诈检测和客户服务场景中的微调策略，分析其共性与差异，以优化模型性能。对于企业而言，理解这些策略有助于更有效地利用大模型解决实际问题，提升业务效率。**议题主持人：苟志龙    某股份制银行    高级工程师主持导语：在本次...(more)

在LLM（大型语言模型)新时代的到来之前，我们通常会通过简单的微调来使用新数据扩展模型的能力。然而，如今我们使用的模型规模越来越大，训练所使用的数据量也随之增加，仅仅依赖微调已经无法满足大部分场景的需求。微调虽然在调整模型的语气和风格方面表现出色，但在向模型添加大量...(more)

摘要：数据基础设施是银行数字化转型的重要支撑，也是支撑金融服务模式创新和转型发展的基石。随着金融科技的快速发展，金融机构业务系统越来越复杂，数据量越来越大，这给银行数据基础设施建设带来了挑战。银行应采用云计算、大数据、人工智能等新技术手段，建立大数据平台和大数据...(more)

随着人工智能技术的飞速发展，大模型技术已成为推动金融行业创新与发展的重要力量，已被广泛探索和应用。一.大小银行布局大模型工商银行通过构建基于大模型的智能研发体系，实现了编码助手自动生成代码，其中自动生成的代码量达到了总代码量的40%。此外，该行还在国内同业中率先将...(more)

摘要：本文旨在对向量数据库的运维进行深入分析，并与传统数据库进行对比，以揭示其在运维方面的差异性。通过详细探讨向量数据库与传统数据库在数据模型、存储结构、查询处理、索引技术等方面的差异，方便理解向量数据库的特点和优势。通过提供一些最佳实践和运维设计策略，帮助运...(more)

在机器学习（ML）领域，我们通常专注于针对特定指标进行优化，无论是特定的基准测试分数还是业务关键绩效指标。为了实现这一目标，我们通常会训练一个或一组模型来执行特定的任务。然后，我们会对这些模型进行微调和调整，直到性能达到令人满意的水平。然而，这种单一任务训练的方式往往...(more)

在当今语言智能领域，LLM已经成为AI时代的焦点所在。这种基于深度学习的语言模型能够理解和生成自然语言，展现出令人惊叹的语言处理能力。然而，要真正发挥LLM的最大潜力，掌握Fine-tuning方法便显得刻不容缓。Fine-tuning作为一种行之有效的技术，可以让我们在预训练的LLM基础之...(more)