《电子技术应用》
您所在的位置:首页 > 人工智能 > 设计应用 > 复杂景观图像的语义多状态图像风格迁移
复杂景观图像的语义多状态图像风格迁移
电子技术应用
桑晨浩,莫路锋,屠国青
浙江农林大学 数学与计算机科学学院
摘要: 复杂景观图像包含具有不同特征的各种对象,传统的风格迁移方法无法在同一图像中对不同对象进行局部风格迁移。CycleGAN可以通过伪监督策略在没有配对样本的情况下实现风格迁移。但是CycleGAN无法实现对复杂风景图像中不同类别对象的风格迁移;同时CycleGAN在复杂场景中的泛化能力不足且复杂度高。因此,提出了一种基于语义类别的复杂风景多状态图像生成方法,即语义类别风格迁移(Semantic Category Style Transfer,SCST),能够有效地结合局部特征实现复杂风景的图像生成。同时提出了上下文感知的风格迁移模型GCycleGAN。实验结果表明本文提出的GCycleGAN的性能优于CycleGAN、DualGAN和Munit等基于深度学习的图像生成模型。
中图分类号:TP389.1 文献标志码:A DOI: 10.16157/j.issn.0258-7998.245971
中文引用格式: 桑晨浩,莫路锋,屠国青. 复杂景观图像的语义多状态图像风格迁移[J]. 电子技术应用,2025,51(6):40-46.
英文引用格式: Sang Chenhao,Mo Lufeng,Tu Guoqing. Multi-state image generation of complex landscapes via semantic category style transfer[J]. Application of Electronic Technique,2025,51(6):40-46.
Multi-state image generation of complex landscapes via semantic category style transfer
Sang Chenhao,Mo Lufeng,Tu Guoqing
College of Mathematics and Computer Science, Zhejiang Agricultural and Forest University
Abstract: Complex landscape images contain various objects with different characteristics, and traditional style transfer methods are unable to perform local style transfer on different objects within the same image. CycleGAN can achieve style transfer without paired samples through a pseudo-supervised strategy. However, CycleGAN fails to transfer styles between different categories of objects in complex landscape images; moreover, it lacks generalization ability in complex scenes and has high complexity. Therefore, this paper proposes a method for generating complex landscape multi-state images based on semantic categories, namely Semantic Category Style Transfer (SCST), which effectively combines local features for the generation of complex landscape images. Additionally, this paper introduces a context-aware style transfer model called GCycleGAN. Experimental results show that the performance of the proposed GCycleGAN is superior to that of deep learning-based image generation models such as CycleGAN, DualGAN, and Munit.
Key words : landscape;local style transfer;SCST;CycleGAN;Gated-MLP;image generation

引言

图像风格迁移(IST)是图像生成领域的一个热门研究主题[1],可应用于城市规划、景观设计、文化艺术等领域。其目的是将X领域中的风景图像转移到Y领域。因此,各种IST研究相继应用于景观设计[2]。语义分割与 CycleGAN 的结合最近已成为景观图像局部风格迁移的主流,旨在转移景观图像中特定对象的风格。Kurzman 等人[3]设计了一种两阶段局部迁移模型,实现了城市街道中真实图像与地面物体的流行艺术之间的局部风格迁移。Duan 等人[4]使用手工制作的语义分割和 CycleGAN,将城市景观图像中交通标志的纹理风格进行迁移。Kim 等人[5]利用 CycleGAN 和语义掩膜,将真实景观图像中的对象转换为动漫风格。但是,CycleGAN用于复杂景观的多状态图像生成仍存在两方面的不足。首先,它的图像上下文感知能力还有待进一步提升。尽管文献[6]和文献[7]探索了Vision Transformer通过self -attention捕获景观图像上下文信息的有效性,但该方法参数量较大,容易过拟合,且难以训练[8]。其次,其无法针对图像中不同对象分别进行风格转换,例如,不同的树种在不同季节的风格转换中有不同的表现。这使得CycleGAN无法很好地应用于复杂景观图像的风格迁移和多状态的图像生成。

针对以上两个方面的问题,本文提出一种基于语义类别风格迁移的复杂景观的多状态图像生成方法SCST(Semantic Category Style Transfer),根据复杂景观图像中不同语义类别的特征,实现对各个语义类别区域的局域风格迁移。在SCST中,首先通过语义分割确定复杂景观图像中各个区域的语义类别。然后按照各个语义类别所代表对象在目标状态下的变化特征,采用改进的具有上下感知的风格迁移模型GCycleGAN对各个语义类别区域分别进行风格迁移。GCycleGAN通过在CycleGAN的生成器与判别器的主干特征提取网络引入更轻量的Gated-MLP[9],降低参数量和模型复杂度的同时加快训练收敛速度,通过全局信息与局部信息的融合,提高处理信息的效率和准确性,从而训练出更加准确的生成模型。最后结合语义分割结果,将风格迁移后的各个区域融合到一起,得到最终的全局风格迁移的目标状态景观图像。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000006560


作者信息:

桑晨浩,莫路锋,屠国青

(浙江农林大学 数学与计算机科学学院,浙江 杭州 311300)


Magazine.Subscription.jpg

此内容为AET网站原创,未经授权禁止转载。