用复数构建深度神经网络

目前绝大多数深度学习模型中的数学都是实数值的，近日，蒙特利尔大学、加拿大国家科学院-能源/材料/通信研究中心（INRS-EMT）、微软 Maluuba、Element AI 的多名研究者（其中包括 CIFAR Senior Fellow Yoshua Bengio）在 arXiv 上发布了一篇 NIPS 2017（今年 12 月在美国 Long Beach 举办）论文，提出了一种可用于复数值深度神经网络的关键组件。

• 论文地址：https://arxiv.org/abs/1705.09792 

• 代码地址：https://github.com/ChihebTrabelsi/deep_complex_networks 

论文：深度复数网络（Deep Complex Networks）

目前，深度学习的绝大多数构建模块、技术和架构都基于实数值的运算和表征。但是，近来在循环神经网络和其它更古老的基础理论上的分析表明复数可以有更加丰富的表征能力，也可以促进对噪声鲁棒的记忆检索机制。尽管它们在带来全新的神经架构上有引人注目的性质和潜力，但由于缺少设计这种模型所需的构建模块，复数值的深度神经网络一直处于边缘化的状态。在这项研究中，我们提供了可用于复数值深度神经网络的关键基本组件，并将它们应用到了卷积前馈网络中。更准确地说，我们依靠复数卷积，提出了可用于复数值深度神经网络的复数批规范化、复数权重初始化策略，并且我们还在端到端的训练方案中对它们进行了实验。我们表明，这样的复数值模型可以实现与其对应的实数值模型相媲美或更好的表现。我们在一些计算机视觉任务和使用 MusicNet 数据集的音乐转录任务上对深度复数模型进行了测试，实现了当前最佳的表现。

复数构建模块

为实现复数值的深度神经网络构建模块制定了数学框架。

1 复数的表征

2 复数卷积

3 深度复数网络的深度和宽度

4 复数批规范化

5 复数权重初始化

6 复数卷积残差网络

参考：https://www.jiqizhixin.com/articles/2017-06-02-4