正規化線形関数

正規化線形ユニットはガウス雑音を含むように拡張できる。これはnoisy（雑音のある）ReLUと呼ばれ、以下の式を与える[8]。

${\displaystyle f(x)=\max(0,x+Y)}$, with ${\displaystyle Y\sim {\mathcal {N}}(0,\sigma (x))}$

Noisy ReLUはコンピュータビジョン問題のための制限ボルツマンマシンにおいて使用され、ある程度の成功を挙げている[8]。

漏洩（リーキー、Leaky）ReLUは、ユニットがアクティブでない時に小さな正の勾配を許容する[10]。

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\0.01x&{\mbox{otherwise}}\end{cases}}}$

パラメトリックReLU (PReLU) はさらにこの着想を発展させ、漏れの係数を他のニューラルネットワークのパラメータと同時に学習する[13]。

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\ax&{\mbox{otherwise}}\end{cases}}}$

${\displaystyle a\leq 1}$について、これは

${\displaystyle f(x)=\max(x,ax)}$

と等価であり、ゆえに「マックスアウト」ネットワークとの関連があることに留意すべきである[13]。

指数関数的線形ユニット（Exponential linear unit）は、学習を高速化するため、平均活性化をゼロに近づけようと試みる。ReLUよりも高い分類制度を得ることができると示されている[14]。

${\displaystyle f(x)={\begin{cases}x&{\mbox{if }}x>0\\a(e^{x}-1)&{\mbox{otherwise}}\end{cases}}}$

${\displaystyle a}$はチューニングされるハイパーパラメータ、${\displaystyle a\geq 0}$ は定数である。

Swish関数、もしくはシグモイド重み付き線形ユニット (Sigmoid-weighted linear unit) はReLUに類似した曲線を描くが、その曲線は連続的であり無限階微分可能である。ReLU及び先述した派生形よりも高い分類精度を得ることができると示されている[15][16]。

${\displaystyle f(x)=x*\sigma (x)}$

なお、ここでは ${\displaystyle \sigma (x)}$ は以下の数式によって定義される標準シグモイド関数を表す。

${\displaystyle \sigma (x)={\tfrac {1}{1+e^{-x}}}}$

Funnel Activation、もしくはFReLUはコンピュータビジョンに特化した活性化関数であり、二次元の画像に対して適応することを前提として設計されたものである[17]。性質上、Funnel Activationを一つの値を入力とする関数として表すことはできないが、記述の都合上以下の数式で表される。

${\displaystyle f(x)=\max(x,\mathbb {T} (x))}$

なお、${\displaystyle \mathbb {T} (x)}$は他のニューラルネットワークのパラメータと同時に学習されるDepthwise 畳み込みモジュールである。