Luca Parisi1, Daniel Neagu2, Renfei Ma3, Felician Campean4
（1. Faculty of Engineering & Informatics, University of Bradford, United Kingdom，
2. University of Auckland Rehabilitative Technologies Association (UARTA), New Zealand，
3. Parkinson’s UK, United Kingdom，
4. Warshel Institute for Computational Biology, The Chinese University of Hong Kong, Shenzhen, China）
卷积神经网络（Convolutional Neural Networks, CNNs）通过处理输入层中二维或者三维的图像，从而使得能够从放射学中的医学图像中学习，例X射线、磁共振成像（Magnetic Resonance Imaging, MRI）和超声（Ultrasound, US）等。CNNs中的隐藏层被称为卷积层，来自用于从输入图像创建特征图的卷积滤波器，它们代表可以从中提取的不同特征。此类隐藏层中的激活函数（Activation Functions, AFs）高度影响CNNs的输出。同时，尽管在促进CNNs的学习方面已经取得了重大进展，但是在CNNs和相关架构中使用的AFs几乎没有改变。对于非最优AFs的持续依赖影响CNNs在医疗诊断应用中的性能。本文主要研究基于深度学习的图像分类，以帮助COVID-19和帕金森（Parkinson’s Disease, PD）的医学诊断。
由于COVID-19需要2至14天的时间才会出现发烧和咳嗽等最初症状。因此，在易受伤害的未确诊患者中，能够及时、无创伤地发现神经退行性共病是非常重要的。通过识别螺旋图中的病理生理模式作为PD相关震颤的指标，以及与COVID-19肺部典型胸膜增厚相关的病理生理模式，CNNs可以帮助早期诊断PD和COVID-19，从而改善其临床结果。改进神经网络的AFs有助于提高检测这种病理模式的能力，并有助于其他基于DL的医学图像分类任务。
CNNs的不同层可以从输入图像中捕捉到不同程度的信息。即使在存在噪声的情况下，AFs为CNNs的各层提供了从非线性数据中学习所需的梯度。AFs通常是可微的，可以是饱和的或不饱和的。饱和的AFs是连续的，其输出阈值进入有限边界，然而饱和AFs容易导致梯度爆炸的问题。不饱和的AFs以0为中心，在任何输出范围内都没有界，以ReLU（Rectified Linear Unit）函数为例，对于大于零输入，ReLU的梯度为1，对于负输入为0，因此可以很好的解决梯度消失的问题。然而，尽管在初始化阶段为权重提供了适当小的随机值，对于较大的权重更新，ReLU的输入总和总是负的。这种现象被称为“Dying ReLU”问题。该问题导致输出为零值，对应的节点对网络没有任何影响，从而阻碍了关键图像分类任务的泛化，如医疗保健领域的分类任务，如COVID-19或PD诊断。
在CNNs中，为了缓解“Dying ReLU”问题，在利用经典计算方法的同时，已经引入了多种ReLU的变体。如Leaky ReLU（LReLU）、the Parametric ReLU（PReLU）等，但“Dying ReLU”问题仍然是影响算法在图像分类任务中的可靠性的主要挑战。最近提出的AFs，包括CNNs中最常见和最可靠的AFs，都没有有效地解决这个问题，因为它们的方法仍然是经典算法，并且非常类似于ReLU。因此，在本研究中，一种利用量子启发计算的替代方法被提出来解决这个问题。
量子机器学习（Quantum ML）是一个相对较新的领域，融合了量子计算带来的计算优势和机器学习在经典计算之外的进步。在量子硬件上运行时，量子机器学习不仅比经典算法具有更低的计算成本，而且能够以更高的概率在机器学习中寻找的解中找到全局最小值。量子计算的主要原理是从量子物理学继承而来的，如叠加和纠缠。
然而，由于受量子力学中线性的限制，现有的CNNs中实现AFs的量子方法仅采用了“重复直到成功”（repeat-until-success，RUS）技术来实现伪非线性。这种RUS方法涉及到单个的状态准备和产生叠加和纠缠的线性组合，以将一个AF的例程一致地传播到所有的状态中。因此，利用这种量子RUS技术的CNN理论上可以近似大多数非线性AFs。然而，这种方法的实际应用非常有限，因为这种结构中的神经元的输入范围被限定在0和π/2之间，作为对其理论通用AF公式的权衡。
在本文中，所提出的方法由以下认识支持，即纠缠和叠加这两个量子特性对于通过量子计算解决“Dying ReLU”问题至关重要。通过建立在减轻“Dying ReLU”问题的LReLU上，并进一步将这两种量子原理应用于它，衍生出两种新颖的AF 来利用这种量子计算，通过偏好正解来避免负解。这与传统经典的ReLU形成对比。基于ReLU的AFs和当前的量子方法未解决的问题影响了利用CNNs在临床环境中辅助检测COVID-19或PD的应用的诊断准确度和可靠性。当模型的准确性和可靠性根据未见的患者数据进行评估时，这种影响可以通过大量的假阴性来量化。作者假设，这些损害的准确性和可靠性是由于基于ReLU的AFs的经典方法造成的，到目前为止，这些基于ReLU的AFs只是以各种方式成型，保留了经典ReLU固有的功能局限性。
本研究的理论贡献为，提出利用一种基于量子的计算方法来解决“Dying ReLU”，而不是避免输入到AF的值的负状态。本研究的实践贡献是，与允许小负值的经典方法（如LReLU）不同，提出的量子启发范式可以提高CNNs辅助关键医学图像诊断的准确性和可靠性。
资料来源：
根据Luca Parisi等于2022年发表在Expert Systems With Applications期刊题目为《Quantum ReLU activation for Convolutional Neural Networks to improve diagnosis of Parkinson’s disease and COVID-19》的文章缩写整理而成。
