摘要:针对当前多模态情感识别算法在模态特征提取、模态间信息融合等方面存在识别准确率偏低、泛化能力较差的问题,提出了一种基于语音、文本和表情的多模态情感识别算法。首先,设计了一种浅层特征提取网络(Sfen)和并行卷积模块(Pconv)提取语音和文本中的情感特征,通过改进的Inception-ResnetV2模型提取视频序列中的表情情感特征;其次,为强化模态间的关联性,设计了一种用于优化语音和文本特征融合的交叉注意力模块;最后,利用基于注意力的双向长短期记忆(BiLSTM based on attention mechanism,BiLSTM-Attention)模块关注重点信息,保持模态信息之间的时序相关性。实验通过对比3种模态不同的组合方式,发现预先对语音和文本进行特征融合可以显著提高识别精度。在公开情感数据集CH-SIMS和CMU-MOSI上的实验结果表明,所提出的模型取得了比基线模型更高的识别准确率,三分类和二分类准确率分别达到97.82%和98.18%,证明了该模型的有效性。
摘要:揭示食物供给服务流的时空特征及影响因素是保证粮食安全、确保该服务持续供给的必要前提和重要依据。以苹果供给服务为例,首先构建了研究理论框架,随后采用空间自相关、地理探测器等方法分析了客商、企业、电商3类主体作用下苹果供给服务流(apple provision service flow,APEF)的时空特征及影响因素。结果表明:①APEF时间上呈季节式变化,秋季流量最高,夏季最少,受节假日影响“波峰”型态势明显,不同主体差异较大;②空间上呈“喇叭”状多核心分布,主要流向为华东、华南、西南地区,其中客商呈“南—北”走向的放射状,企业呈“三核三线”状,电商呈“多核心串珠状”;③APEF的主要影响因素包括苹果产量、经济发展和消费水平。研究结论可为解决生态系统服务供需时空错配及科学管理提供理论参考。