Abstract

对于图像处理来说，仅用少数观察到的高度程式化的文本样本生成具有一致风格的文本是一项困难的任务。应考虑涉及版式的文本样式，即字体、笔画、颜色、装饰、效果等。在本文中，我们提出了一种新的方法，通过从少数参考样本中解码加权深度特征来对目标文本进行风格化。 深层特征，包括每个引用文本的内容和风格特征，都是从卷积神经网络(CNN)中提取出来的，该网络为字符识别进行了优化。然后，在只考虑内容的情况下，通过测量与CNN内容特征沿相应通道的距离，计算目标文本与参考样本的相似度得分，并将其作为深度特征聚合的权重。

为了使风格化文本更加真实，采用了带有对抗损失的判别网络。我们通过在三个不同的数据集上进行实验来证明我们的网络的有效性，这些数据集具有不同的风格、字体、语言等。此外，为了更好地理解我们提出的框架，分析了字符风格转移的系数，包括字符内容、相似矩阵的影响、引用字符的数量、字符之间的相似度以及新协议的性能评估。

论文的主要工作

1、提出了一种新颖的端到端网络，用于文本合成，仅使用高度程式化文本的部分观察。输入为引用字符的RGB图像和二进制图像以及目标字符的内容图像。输出是具有相同风格的引用图像的合成目标字符。 我们提出的方法通过在一个框架中共同学习这些信息，可以同时在字体和纹理上转移文本样式。
2、利用参考字符和目标字符之间的相似性，为每个参考字符的风格特征分配一个加权贡献。在网络中自动学习相似关系。 相似度测量符合人类对人物的感知观察和理解。在实验部分，我们对平均字符相似度进行了统计分析，并通过将其应用于风格迁移来说明其正确性。
3、由于我们分别提取了每个字符的风格特征，因此参考字符的输入数字和