友情提示:本文共有 955 个字,阅读大概需要 2 分钟。
在现有工作中,图像美学评价学习大多被处理成一个独立的任务。但用户通常是在理解了图像语义的基础上来进行评估图像的美学质量,即对一幅图像进行美学评价时,用户会首先感知到图像内容,然后再进行评价,所以美学评价和图像语义信息识别在人类认知层面上是相互关联和相互作用的。
为提升图像美学质量评价和语义分析的精度,现有的研究是通过使用参数硬共享的多任务方法来实现。但目前深度模型无法精确确定分离层位置,只能使用暴力穷举法,导致在训练过程中费时费力。
另一方面,由于人类的审美不尽相同,对于同一张图像,不同的人具有不同的美学感知。由于图像的美学质量评价具有主观性,而且现有美学分析数据集中图像的美学评分一般也是多人打分得到的,因此,在设计图像美学质量评价网络模型中模拟人的主观评价过程非常重要。
本文的第一个研究工作以使用深度网络训练方法来建立美学与语义的多任务学习框架为着力点,提出了一种新颖的深度神经网络模型,用于图像美学质量评价和语义内容识别的多任务学习。
该方法通过利用多任务学习中参数软共享方法制定学习策略,将图像美学质量评价和语义内容识别任务耦合起来统筹解决,有效地学习任务间的关联关系和各自任务的特征。
其中该方法在通道维度学习全局信息,在空间维度学习局部信息后,在通道和空间两个维度来进行任务间的特征自适应融合,使每个任务有效特征进行增强、无效特征进行抑制。
并且通过加入自学习的参数来保证任务学习过程中的稳定。该方法使用独立分支的多任务学习框架最终提升了图像美学质量评价与语义识别任务共同的实验性能。
本文通过详细的消融实验,证明方法的可行性,并确定了模型的配置细节。另外本文通过全面的对比实验,与目前典型的方法进行了对比,实验结果验证了该方法的先进性和稳定性。
本文第二个研究工作借鉴美学分析数据集设计的思想,通过模拟图像美学质量的评估过程,构建了由三个深度卷积神经网络组成的多分支网络来模拟多个用户从不同角度对同一幅图像进行美学评价的过程。
在网络学习过程中,通过在各个分支网络学习图像美学表达过程中插入了多分支特征融合模块进行特征交互,从而可以组合和构造出更有效的图像美学特征,来提升图像美学质量评价任务的准确率。
经过在两个公开的基准图像美学分析数据库上的实验对比,充分验证了该方法在图像美学质量评价任务上的优异性能。
本文如果对你有帮助,请点赞收藏《美学评价和图像语义信息识别在人类认知层面上是相互关联的》,同时在此感谢原作者。