文章介绍了避免灾难性遗忘现象的方法，包括低秩适应、LoRA、NEFTune、LLaMA-Pro等，以及正则化、增量学习、模型集成等策略和数据增强、迁移学习技术。这些方法可以提升模型在特定任务上的性能，同时保持其在其他任务上的能力，但需要进一步完善和提高效果，需要研究机构和业界继续...(more)

本文介绍了五种常用的AIAgents类型，包括简单反射Agents和基于模型的Agents等。不同类型的Agents在不同场景下具有各自的优势和局限性，未来将不断向通用人工智能的目标发展。

本文探讨了银行智能客服系统的分布式架构设计，优化了大模型的应用价值和挑战。讨论了分布式计算的优化策略，包括服务器性能、网络带宽、数据分片、模型压缩和任务调度。分析了RAG和微调技术的差异及适用性，强调了它们在不同场景下的互补和协作关系。...(more)

金融行业积极进行金融科技转型，大模型无疑是一个高效的赋能工具。大模型的应用也面临着数据、算力、合规和安全、人才、架构等问题和挑战。大模型应用场景在于生成式AI场景，需要强大、专业的知识库的支持，甚至是跨领域知识库的支持。...(more)

AI代理面临的四大挑战：数据偏见、透明度和可解释性、安全和隐私、伦理和道德。解决这些挑战需要建立有效的监督机制、制定清晰的法律法规、加强安全测试和评估、建立可解释的AI技术、加强公众科普教育、建立伦理审查机制和安全防护措施、加强泛化能力的训练和开发灵活的AI...(more)

随着人工智能和大数据技术的快速发展，金融企业越来越多地开始探索和应用大规模模型的推理和训练。然而，在建设大模型推理集群和训练集群的过程中，面临着一系列网络难点 ，涉及网络选型，架构选择和存储规划等 。本文将分析金融企业在这方面的挑战，并提出一些建设性的解决方案和经...(more)

大模型应用广泛，但存在框架局限、数据需求大等问题。未来发展方向包括小型化、专业化等。大模型将成为各行业的落地利器，开源大模型能提高社区追随度和模型完善度，闭源大模型则能形成技术先发优势。...(more)

DSSM双塔模型用于解决语义相似度任务和推荐场景，包含n+1个塔，输入为高维向量，输出为低维语义向量，通过cos值计算相似度，使用不同的label构造不同的模型，通过相似度函数计算相关性，基于pytorch实现。...(more)

端侧大语言模型应用于终端智能系统，需考虑轻量敏捷、安全稳定和成本等因素。技术包括量化压缩和数据重排等，应用广泛于医疗、供应链、人才服务、工业、办公自动化、智能制造、保险、金融风控等领域，具隐私安全性高、不受网络环境限制的优势。...(more)

数据清洗在长尾场景下需注意数据原始性、质量标准、验证、转换、填充、异常值处理、特征选择、平滑、标注、微调、隐私保护、去重等，高质量数据集对机器学习模型训练至关重要，企业数字化和数据治理水平也很重要。...(more)