国有大行及股份制银行有没有必要自研大模型？

目前类似于 GPT-3 这样的大模型，在零样本和小样本的学习能力，主要来源于预训练阶段对海量语料的大量记忆，其次是语义编码能力、远距离依赖关系建模能力和文本生成能力的强化，以及自然语言进行任务描述等设计。而在训练目标方面，并没有显式的引导模型去学习小样本泛化能力，因此在一些小众的语料、逻辑理解、数学求解等语言任务上出现翻车的现象也是能理解的。
虽然大模型刚提出的时候，质疑的声音会有，但不可否认的是，大模型做到了早期预训练模型做不到、做不好的事情，就好像自然语言处理中的文字生成、文本理解、自动问答等下游任务，不仅生成的文本更加流畅，甚至内容的诉实性也有了显著的改善。当然，大模型最终能否走向通用人工智能仍是一个未知数，只是，大模型真的是有希望带领下一个很重要的人工智能赛道。