在本节中,我们对积分Csiszár散度及其重要的特殊情况给出了一些有趣的估计(例如[4,5,9,10,12,15]).
定义3.1
(Csiszár散度)
让\(f\colon I\ to \mathbb{R}\)是定义在某个正区间上的函数我,并让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数,如下所示\(I中的分数{p(t)}{q(t){)对于\(t在[a,b]\中)Csiszár散度定义为
$$C_{d}(p,q)=\int_{a}^{b}q(t)f\biggl(\frac{p(t)}{q(t)}\biggr)\,dt$$
定理3.2
让\(f\colon I\ to \mathbb{R}\)是定义在正区间上的凸函数我,让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是概率密度函数,如下所示\(I中的分数{p(t)}{q(t){)对于\(t在[a,b]\中),然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$\开始{对齐}f(1)\leq\sum_{i=1}^{n}\biggl(\int_{a{i-1}}^{a{i}}q(t)\,dt\biggr)f\biggl(\frac{\int_a{i-1\}}^}a{i{}}p(t)\leq C_{d}(p,q)。\结束{对齐}$$
证明
使用定理2.1具有\(p至q)和\(g \ to \ frac{p}{q}\),我们得到了结果。
条件\(I中的分数{p(t)}{q(t){)对于\(t在[a,b]\中)显然意味着\(I中的1)和\(i中的)对于\(i=1,\点,n\). □
定理3.3
让\(f\colon I\ to \mathbb{R}\)是定义在正区间I上的凸函数,让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是概率密度函数,如下所示\(I中的分数{p(t)}{q(t){)对于\(t在[a,b]\中),然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]中,m{i}<m{i},i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\),和\(M=max_{i=1,点,n}M_{i}).然后
$$开始{对齐}和C_{d}(p,q)\\&\quad\leq\sum_{i=1}^{n}\biggl(int_{a_{i-1}}^{a_}}q(t)\,dt\biggr)\biggl[\frac{M_{i}-\frac}\int_{i_1}}^{a{i}}p(t){a{i}}q(t)\,dt}}{M_{i}-M_{i{}f(M_{ineneneep)+\frac{\frac{\int_{a{i-1}}^{a{i}p(t)我})\biggr]\\&&quad\leq\frac{M-1}{M-M}f(M)+\frac{1-M}{M-M}f(M)。\结束{对齐}$$
证明
使用定理2.3具有\(p至q)和\(g \ to \ frac{p}{q}\),我们得到结果。□
定义3.4
(香农熵)
让\(p\colon[a,b]\to\mathbb{R}^{+}\)是概率密度函数。香农熵定义为
$$\mathrm{SE}(p)=-\int _{a}^{b}p(t)\log p(t)\,dt$$
推论3.5
让\(q\冒号[a,b]\to\mathbb{R}^{+}\)是概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$开始{对齐}-\log(b-a)\leq\sum_{i=1}^{n}\biggl(int_{a{i-1}}^{a{i}}q(t)\,dt\biggr)\log\biggl(\frac{\int_{i}{i}}q(t(q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=-\log t),\(位于\mathbb{R}^{+}\中)、和\(p(t)=压裂{1}{b-a}\),\(t在[a,b]\中),我们得到结果。□
推论3.6
让\(q\冒号[a,b]\to\mathbb{R}^{+}\)是概率密度函数,让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{1}{q(t)}\leq m_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\)和\(M=max_{i=1,点,n}M_{i}).然后
$$开始{对齐}和{-}\mathrm{SE}(q)+\log(b-a)\\&\quad\leq\sum_{i=1}^{n}\biggl(int_{a{i-1}}^{a{i}}q(t)\,dt\biggr)\biggl[\frac{a{i}-a{i-1{}{(b-a)\int_a{i-1}}^a{i{i}}q(t)\,dt}-M_{i}}{M_{ineneneep-M_{i{}}\log M{i}+\frac{M{i{-\frac{a{i}-a{i-1}}{(b-a)\int_{a{i-1{}}^{a{i}}q(t}\log M_{i}\biggr]\\&\quad\leq\frac{1-M}{M-M}\log M+\frac{M-1}{M-M}\ log M.\end{aligned}$$
证明
使用定理3.3具有\(f(t)=-\log t),\(t\in\mathbb{R}^{+}\)、和\(p(t)=\压裂{1}{b-a}\),\(t在[a,b]\中),我们得到结果。□
定义3.7
(Kullback–Leibler散度)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。Kullback–Leibler散度定义为
$$\mathrm美元{KL}_{d} (p,q)=\int_{a}^{b}p(t)\log\biggl(\frac{p(t)}{q(t)}\biggr)\,dt$$
推论3.8
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$\开始{对齐}0\leq\sum_{i=1}^{n}\biggl(\int_{a{i-1}}^{a{i}}p(t)\,dt\biggr)\log\biggl(\frac{\int_a{i-1\}}^}a{i{}p(t)\,dt}{\int_a{i}{i}}^{i}q(t)q\mathrm(质量){KL}_{d} (p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=t \ log t \),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.9
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a{0},a{1},\点\),\(a{n-1},a{n})是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{1}{q(t)}\leq m_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\)和\(M=max_{i=1,点,n}M_{i}).然后
$$\开始{对齐}&\mathrm{KL}_{d} (p,q)\\&\quad\leq\sum_{i=1}^{n}\biggl(int_{a{i-1}}^{a{i}}q(t)\,dt\biggr)\biggl[\frac{M_{i}-\frac}}^}{a{i}}p(t)dt}}{M_{i}-M_{i{}}M_{ineneneep \log M_{i}+\frac{\frac{\int_{a{i-1}}^{a{i}}p(t)\,dt}{\int_ a{i-1}}^}{a{i}}q(t)\biggr]\\&\quad\leq\frac{M-1}{M-M}M\log M+\frac{1-M}{M-M}M\log M.\end{aligned}$$
证明
使用定理3.3具有\(f(t)=t \ log t \),\(位于\mathbb{R}^{+}\中),我们得到结果。□
定义3.10
(可变距离)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。变化距离定义为
$$V{d}(p,q)=\int_{a}^{b}\bigl\vert p(t)-q(t)\bigr\vert,dt$$
下面的推论也可以用积分的三角不等式得到初步证明。
推论3.11
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$开始{对齐}0\leq\sum_{i=1}^{n}\biggl\vert\int_{a{i-1}}^{a{i}}p(t)\,dt-\int_{a-1}}^{a}i}}q(t),dt\biggr\vert\leqV{d}(p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=|t-1|\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.12
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a{0},a{1},\点\),\(a{n-1},a{n})是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\)和\(M=max_{i=1,点,n}M_{i}).然后
$$开始{aligned}&\int_{a}^{b}\bigl\vert p(t)-q(t)\bigr\vert,dt\\&\quad\leq\sum_{i=1}^{n}\biggl[\frac{M_{i}\int_a{i-1}}^{a{i}}q(t M{i}}\vertm_{i}-1\vert\\&\qquad{}+\frac{\int_{a{i-1}}^{a{i}p(t)\,dt-M{i}\int_a{i-1}}^}a{i{}q(t)}\vert M_{i}-1\vert\biggr]\\&\quad\leq\frac{2(M-1)(1-M)}{M-M}。\结束{对齐}$$
证明
使用定理3.3具有\(f(t)=|t-1|\),\(位于\mathbb{R}^{+}\中)、和\(m\leq 1\leq m\),我们得到了结果。□
定义3.13
(杰弗里距离)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。杰弗里距离定义为
$$J_{d}(p,q)=\int _{a}^{b}\bigl(p(t)-q(t)\bigr)\log\bigl(\frac{p(t)}{q(t)}\biggr)\,dt$$
推论3.14
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$开始{对齐}0&\leq\sum_{i=1}^{n}\biggl(int_{a{i-1}}^{a{i}}p(t)\,dt-\int_{i}{a{i.1}},dt\biggr)\log\biggl(\frac{\int_a{i-1\}}a{i{p(t i-1}}^{a{i}}q(t)\,dt}\biggr)\\&\leqJ{d}(p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=(t-1)\log t\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.15
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a_{0},a_{1},\dots\),\(a{n-1},a{n})是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\),和\(M=max_{i=1,点,n}M_{i}).然后
$$开始{对齐}和J{d}(p,q)\\&\四元\leq\sum_{i=1}^{n}\biggl[\frac{M_{i}\int_{a{i-1}}^{a{i}}q(t)\,dt-\int_a{i-1}}^}{a{i}p(t){i}\\&\qquad{}+\frac{\int_{a{i-1}}^{a{i}}p(t)\,dt-M_{i}\int_a{i-1}}^}a{i{}q(t)\\&\quad\leq\压裂{(M-1)(1-M)}{M-M}\log\压裂{M}{M}。\结束{对齐}$$
证明
使用定理3.3具有\(f(t)=(t-1)\log t\),\(t\in\mathbb{R}^{+}\),我们得到结果。□
定义3.16
(巴塔查里亚系数)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。Bhattacharyya距离定义为
$$B_{d}(p,q)=\int_{a}^{B}\sqrt{p(t)q(t)}\,dt$$
推论3.17
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$开始{对齐}1\geq\sum_{i=1}^{n}\sqrt{\int_{a{i-1}}^{a{i}}p(t)\,dt\int_a{i}{q(t),dt}\geqB_{d}(p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=-\sqrt{t}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.18
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a{0},a{1},\点\),\(a{n-1},a{n})是这样的\(a=a_{0}<a_{1}<\cdots<a_{n-1}<a_{n}=b\),然后让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\),和\(M=max_{i=1,点,n}M_{i}).然后
$$开始{对齐}和B_{d}(p,q)\\&\quad\geq\sum_{i=1}^{n}\biggl[\frac{M_{i}\int_{a{i-1}}^{a{i}}q(t)\,dt-\int_a{i-1\}}^}{a{i}}p(t)\frac{\int_{a{i-1}}^{a{i}}p(t)\,dt-M_{i}\int_}a{i-1}}^{a{i}q(t)\\,dt}{M_{i}-M_{i{}}\sqrt{M{i}}\biggr]\\&\quad\geq\frac}1+\sqrt}mM}{M}{M{M}}+\sqrt{M}}。\结束{对齐}$$
证明
使用定理3.3具有\(f(t)=-\sqrt{t}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
定义3.19
(海林格距离)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。Hellinger距离定义为
$$H_{d}(p,q)=\int_{a}^{b}\bigl(\sqrt{p(t)}-\sqrt{q(t){\bigr)^{2},dt$$
推论3.20
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a_{0}<a_{1}<\cdots<a_{n-1}<a_{n}=b\).然后
$$开始{对齐}0\leq\sum_{i=1}^{n}\biggl(\sqrt{\int_{a{i-1}}^{a{i}}p(t)\,dt}-\sqrt{\nint_{a-1}},dt}\bigbl)^{2}\leqH{d}(p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=(\sqrt{t}-1)^{2}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.21
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a{0},a{1},\点\),\(a_{n-1},a_{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i},i=1,\dots,n\),\(m=\min_{i=1,\点,n}m{i}\),和\(M=max_{i=1,点,n}M_{i}).然后
$$\开始{对齐}和H_{d}(p,q)\ \&\四元\leq\sum_{i=1}^{n}\biggl[\frac{M_{i}\int_{a{i-1}}^{a{i}}q(t)\,dt-\int_a{i{1}}^{a}i}p(t)-1)^{2}\\&\qquad{}+\frac{\int_{a{i-1}}^{a{i}}p(t)\,dt-M_{i}\int_a{i-1}}^}a{i{}q(t)\\&\quad\leq2\frac{(\sqrt{M}-1)(1-\sqrt{M})}{\sqrt}M}+\sqrt{M}}。\结束{对齐}$$
证明
使用定理3.3具有\(f(t)=(\sqrt{t}-1)^{2}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
定义3.22
(三角形判别)
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)是两个概率密度函数。之间的三角歧视第页和q个定义为
$$T_{d}(p,q)=\int_{a}^{b}\frac{(p(T)-q(T))^{2}}{p(T$$
推论3.23
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,然后让\(a{0}、a{1}、\点、a{n-1}和a{n}\)是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\).然后
$$开始{对齐}0\leq\sum_{i=1}^{n}\frac{(int_{a{i-1}}^{a{i}}p(t)\,dt-\int_{i}{q(t)\,dt{i}}q(t)\,dt}\leqT_{d}(p,q)。\结束{对齐}$$
证明
使用定理3.2具有\(f(t)=\frac{(t-1)^{2}}{t+1}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□
推论3.24
让\(p,q\冒号[a,b]\到\mathbb{R}^{+}\)be概率密度函数,让\(a{0},a{1},\点\),\(a{n-1},a{n})是这样的\(a=a{0}<a{1}<cdots<a{n-1}<a}n}=b\),然后让\(m_{i}\leq\frac{p(t)}{q(t){leqM_{i{)对于\(在[a{i-1},a{i}]\中),\(m_{i}<m_{i{,i=1,\点,n\),\(m=\min_{i=1,\点,n}m{i}\),和\(M=max_{i=1,点,n}M_{i}).然后
$$\boot{aligned}&T_{d}(p,q)\\&&\quad\leq\sum_{i=1}^{n}\bigl[\frac{M_{i}\int _{a_{i-1}}^{a_{i}}q(T)\,dt-\int _{a_{i-1}}^{a_{i}}p(T)\,dt}qquad{}+\frac{\int _{a_{i-1}}^{a_{i}}p(T)\,dt-M{i}\int _{a_{i-1}}^{a_{i}q(T)\,dt}+1} \biggr]\\&\quad\leq\frac{2(M-1)(1-M)}{(M+1)(M+1)}。\结束{对齐}$$
证明
使用定理3.3具有\(f(t)=\压裂{(t-1)^{2}}{t+1}\),\(位于\mathbb{R}^{+}\中),我们得到结果。□