生成对抗网络(GAN)能生成高度逼真的合成图像。训练过程中,生成器负责生成图像,判别器则试图区分真实与合成图像,二者的"竞赛"可产生极具说服力的生成器。
生成高分辨率、清晰且多样化的图像需要大型网络。但网络过大可能导致对抗训练无法收敛。传统解决方案是从小型生成器和判别器开始,逐步添加神经网络层,确保生成器在复杂度提升时保持基础性能。过去这种方法采用确定性策略:按固定计划添加预定数量、尺寸和类型的层。
在某机构人工智能促进协会(AAAI)年会上发表的论文中,提出了一种更有机的GAN增长方式。该方法基于训练期间的性能表现,动态计算新增层的尺寸、数量和类型。通过标准指标评估(切片Wasserstein距离和Fréchet起始距离),该模型在多数数据集上优于其他渐进增长GAN,仅例外于采用图像分段合成策略的"基于部件"GAN。
关键创新点包括:
- 非对称架构:生成器与判别器可独立优化层数,形成差异化架构
-
- 动态增长机制:允许生成器快速成长,判别器后期跟进提供更强批判
-
- 交替训练策略:在训练阶段和增长阶段间切换,每次可选择扩展生成器、判别器或两者
-
- 卷积层优化:新增层时动态确定卷积尺度和滤波器重叠程度 技术实现细节:
- 当生成器顶部添加大于下层的新层时,必须在判别器底部添加相同尺寸层以匹配分辨率
-
- 新增层的权重随机初始化,同时继承现有层权重(后续训练可能调整)
-
- 采用卷积神经网络架构,通过历史最优模型随机采样确定层和滤波器尺寸 该方法虽不能保证全局最优,但通过局部优化提供了远超预定架构参数的灵活性。实验表明,这种动态增长方式能有效平衡网络规模与训练稳定性,在图像生成质量多样性方面展现优势。 更多精彩内容 请关注我的个人公众号 公众号(办公AI智能小助手)