大模型客服投诉情感处理？
对于在客服领域，智能客服针对投诉，建议等需要处理用户的情感问题。目前遇到的问题大语言模型虽然可以处理文本信息，但是还是很难理解其中的情感成分，如需要配合一定的视频或音频来分析，是否可以实现跨模态分析？当前有哪些更好的技术来进行情感分析并能提高训练数据处理的性能？
1同行回答
这是个很有意思的问题，非常有启发性。
我想这个问题可以拆分成两个部分考虑，一是纯文本的情况下是否能分析出情感成分，二是加入多模态数据啊，利用语音或视频加大信息获取，是否能从语音或视频数据里面得出情感的准确把握。
第一部分，文本信息本身肯定能够承载情感，如果是客服投诉这种场景，你一定可以从某些客户的投诉文字中看出愤怒，不解，迷惑等种种感情，如果要打造这种能力，一定需要针对性调整模型，也就是自己组建力量优化，也许可以基于一个已有的垂直大模型，在后期的微调阶段中做大量工作解决。
如果纯文本信息效果不满意，加入多模态数据训练是第二步的选择，理论上肯定会有帮助。但是目前多模态大模型本身也是前沿，国外的头部厂商也都还在探路，有啥了不起的新进展都能上新闻，所以技术成熟度可能还不够。但是这也是个好时机，大家起点相差不多，容易出成果，如果有条件是可以积极探索一下。
补充一下：仅从视频数据的动作分析就能获取情绪。
由宾夕法尼亚州立大学(Penn State University)华裔科学家James Wang领导的一个多机构团队编制的新数据集可能会增强人工智能从人类肢体语言中识别情绪的能力。团队负责人解释说:“通过使用人类共同的基本模式(称为运动元素)来描述特定的运动，我们可以建立这些运动元素与身体表达的情感之间的关系。”该数据集包含通过拉班运动分析(LMA)注释的1,600个人类视频片段中的运动元素。宾夕法尼亚州立大学的Chenyan Wu随后使用了一个双分支、双任务的动作分析网络，利用数据集来预测身体表达的情绪，并为新图像或视频添加LMA标签。
原文链接https://www.psu.edu/news/information-sciences-and-technology/story/human-body-movements-may-enable-automated-emotion/
ChatGPT 回答
针对智能客服在处理用户情感问题上的挑战，目前有一些技术可以应用来提高情感分析的准确性和性能。
首先，可以考虑使用跨模态分析技术来处理视频或音频中的情感成分。这种技术可以将不同模态的信息进行融合，从而提高情感分析的准确性。例如，可以使用视觉和音频特征来分析用户的情感状态，然后将这些特征结合起来进行情感分析。
其次，可以使用深度学习技术来进行情感分析。深度学习模型可以自动学习特征，并且在处理大规模数据时具有很好的性能。例如，可以使用卷积神经网络（CNN）或循环神经网络（RNN）来进行情感分析。
此外，还可以使用迁移学习技术来提高情感分析的性能。迁移学习可以利用已有的模型和数据来训练新的模型，从而减少训练时间和提高模型的准确性。
最后，建议在进行情感分析时，尽可能多地使用标注数据来训练模型，以提高模型的准确性和性能。同时，还可以考虑使用一些开源的情感分析工具，如NLTK、TextBlob等，来加速模型的开发和测试。
