# 特殊函数

# sigmoid 函数

$$
\sigma(x)=\frac{1}{1+\exp (-x)}
$$

该函数可以用于生成二项分布的 $\phi$ 参数，当 $x​$ 很大或者很小时，该函数处于饱和状态。此时函数的曲线非常平坦，并且自变量的一个较大的变化只能带来函数值的一个微小的变化，即：导数很小。

![](https://i.postimg.cc/tCbcnGRF/image.png)

sigmoid 函数遵循以下性质：

$$
\sigma(x)=\frac{\exp (x)}{\exp (x)+\exp (0)}

\\ {\frac{d}{d x} \sigma(x)=\sigma(x)(1-\sigma(x))}

\\ {1-\sigma(x)=\sigma(-x)}
$$

# softplus 函数

$$
\zeta(x)=\log (1+\exp (x))
$$

该函数可以生成正态分布的 $\sigma^{2}$ 参数，该函数之所以被称为 softplus，是因为其是 $x^{+}=\max (0, x)$ 函数的光滑逼近：

![](https://i.postimg.cc/Y0Lt4Kt5/image.png)

对于函数 $x^{+}=\max (0, x)$ 以及 $x^{-}=\max (0, -x)$，它们分别获取了 $y=x$ 的正部门和负部分。根据定义有 $x = x^{+} - x^{-}$，而 $\zeta(x)$ 逼近的是 $x^{+}$，$\zeta(-x)$ 逼近的是 $x^{-}$，于是有：

$$
\zeta(x)-\zeta(-x)=x
$$

softplus 与 sigmoid 有很多相通的性质：

$$
{\log \sigma(x)=-\zeta(-x)} \\ {\frac{d}{d x} \zeta(x)=\sigma(x)} \\ {\forall x \in(0,1), \sigma^{-1}(x)=\log \left(\frac{x}{1-x}\right)} \\ {\forall x>0, \zeta^{-1}(x)=\log (\exp (x)-1)} \\ {\zeta(x)=\int_{-\infty}^{x} \sigma(y) d y} \\ {\zeta(x)-\zeta(-x)=x}
$$

其中 $f^{-1}(\cdot)$ 为反函数，$\sigma^{-1}(x)$ 也称作 logit 函数：

![](https://i.postimg.cc/YCDGmk79/image.png)

# 伽马函数

伽马函数定义为：

$$
\begin{array}{c}{\Gamma(x)=\int_{0}^{+\infty} t^{x-1} e^{-t} d t \quad, x \in \mathbb{R}} \\ {\text { or. } \quad \Gamma(z)=\int_{0}^{+\infty} t^{z-1} e^{-t} d t \quad, z \in \mathbb{Z}}\end{array}
$$

![](https://i.postimg.cc/G2GHNyy8/image.png)

$\Gamma$ 函数的性质有：

- 对于正整数 $n$ 有：$\Gamma(n)=(n-1) !$

- $\Gamma(x+1)=x \Gamma(x)$，伽马函数是阶乘在实数域上的扩展。

- 与 Beta 函数的关系：

$$
B(m, n)=\frac{\Gamma(m) \Gamma(n)}{\Gamma(m+n)}
$$

- 对于 $x \in(0,1)$ 有：

$$
\Gamma(1-x) \Gamma(x)=\frac{\pi}{\sin \pi x}
$$

即 $\Gamma\left(\frac{1}{2}\right)=\sqrt{\pi}$，当 $x$ 足够大时，可以使用 `Stirling` 公式来计算 Gamma 函数值：$\Gamma(x) \sim \sqrt{2 \pi} e^{-x} x^{x+1 / 2}$。

# Beta 函数

对于任意实数 $m, n>0$，Beta 函数的定义为：

$$
B(m, n)=\int_{0}^{1} x^{m-1}(1-x)^{n-1} d x
$$

其他形式的定义还包含：

$$
\begin{array}{c}{B(m, n)=2 \int_{0}^{\frac{\pi}{2}} \sin ^{2 m-1}(x) \cos ^{2 n-1}(x) d x} \\ {B(m, n)=\int_{0}^{+\infty} \frac{x^{m-1}}{(1+x)^{m+n}} d x} \\ {B(m, n)=\int_{0}^{1} \frac{x^{m-1}+x^{n-1}}{(1+x)^{m+n}} d x}\end{array}
$$

## 性质

- 连续性，Beta 函数在定义域 $m, n>0$ 内连续

- 对称性，$B(m, n)=B(n, m)$

- 递推公式：

$$
\begin{array}{l}{B(m, n)=\frac{n-1}{m+n-1} B(m, n-1), \quad m>0, n>1} \\ {B(m, n)=\frac{m-1}{m+n-1} B(m-1, n), \quad m>1, n>0} \\ {B(m, n)=\frac{(m-1)(n-1)}{(m+n-1)(m+n-2)} B(m-1, n-1), \quad m>1, n>1}\end{array}
$$

- 当 $m,n$ 较大时，有近似公式：

$$
B(m, n)=\frac{\sqrt{(2 \pi) m^{m-1 / 2} n^{n-1 / 2}}}{(m+n)^{m+n-1 / 2}}
$$

- 与 Gamma 函数关系

对于任意正实数 $m, n>0$，有

$$
B(m, n)=\frac{\Gamma(m) \Gamma(n)}{\Gamma(m+n)}
$$

且 $B(m, 1-m)=\Gamma(m) \Gamma(1-m)$。