Complexities of information sources

Yamin Sayyari; Mohammad Reza Molaei; Adel Mehrpooya

doi:10.1080/02664763.2022.2101631

J应用统计。2023; 50(15): 3125–3141.

2022年7月21日在线发布。数字对象标识：10.1080/02664763.2022.2101631

PMCID公司：项目经理10631386

PMID：37969547

信息源的复杂性

亚敏·赛亚里,^一穆罕默德·雷扎·莫莱伊,^b条和阿德尔·梅尔波亚^c（c）

作者信息版权和许可证信息 PMC免责声明

摘要

计算复杂系统的熵是科学和工程问题中的一个重要问题。然而，当直接计算熵时，这种计算通常计算量很大。本文介绍了三类信息源，每类信息源的所有成员的熵值都相同。这些类是根据Ω上的三种自映射创建的特殊动力学来表征的，并且A类，其中Ω是概率空间A类是一个有限集。对信息源乘积的秩变量进行了近似，证明了两个信息源乘乘积的拓扑熵等于它们的拓扑熵之和。

关键词：拓扑熵、度量熵、置换拓扑熵、置换度量熵、信息源、量子信息系统

AMS分类：37B40、94A17、37M25、54C70

1.简介

熵是确定动力系统复杂性的主要工具之一[1,2,4,7,14,17,19]. 1981年，测量理论和拓扑熵被广泛研究[26]. 置换熵的概念是在2002年提出的，作为时间序列复杂性的一种替代度量[6]. 2010年，研究了信息和排列熵之间的关系[1]. 在接下来的几年里，研究了超动力系统的香农熵[10]证明了该熵的加法定理和Kolmogorov-Sinai定理[14]. 然后在2017年，引入了超系统的信息熵[15]. 2019年提出了超群上系统的熵，其中计算了化学代数和一些基本系统的熵[16]. 然而，熵理论中的一个重要问题是如何计算高度复杂系统的熵。具体地说，当所考虑的系统的复杂程度很高时，使用其定义计算熵通常是不可能的，或者至少是非常昂贵的。

许多研究人员致力于开发适当的方法来计算复杂系统的熵。一种方法是使用考虑中的系统的特殊物理结构。基于这一思想，我们采用了一些方法来计算系统的热力学熵和量子信息系统的熵[9]. 另一种方法是确定与第一个系统共轭的系统的熵，并且计算其熵的成本更低。第三种方法是计算信息源的置换熵，并使用结果确定所考虑系统的熵[1,2,26]. 在许多系统的情况下，可以将它们的熵与特殊信息源的置换熵联系起来[1,6,13]. 作为一个经典示例，通过离散系统并将其视为信息源来计算一类SDE的熵[25]. 应该注意的是，与直接计算熵的方法相比，使用算法方法计算置换熵通常要容易得多。

本文提出了一种确定信息源排列熵的方法。为了计算给定信息源的熵，我们通过适当的测度保持函数找到另一个具有相同置换熵的信息源。我们还证明了两个信息源的乘积的拓扑熵等于两个信息源的熵之和。我们还发现了 ${R（右）}_{n个}^{秒 \times T型}$ 使用 ${R（右）}_{n个}^{秒}$ 和 ${R（右）}_{n个}^{T型}$ 这些边界可以帮助近似信息源的置换熵。

2.前期工作

在本节中，我们简要回顾了一些对我们研究至关重要的概念。有关更多详细信息，请参阅[三,11,18–23]. 在本文中，假设 $(Ω, F类, μ)$ 是一个概率空间。

2.1. 信息来源

让秒是Ω离散有限状态空间上的随机变量 $A类 = {一_{1}, \dots, 一_{| A类 |}}$ .A映射 $第页 : A类 \to [0, 1]$ 由定义 $第页 (秒) = μ {ω \in Ω : 秒 (ω) = 秒}$ 现在，香农熵[1]第页，共页秒由提供

{H（H）}_{μ} (秒) = - \sum_{秒 \in A类} 第页 (秒) 日志 第页 (秒) .

有限空间随机过程 $秒$ 是一个序列 $(秒_{n个})$ 随机变量的 $秒_{n个} : Ω ⟶ A类$ ，其中 $n个 \in {N个}_{0} = {0, 1, 2, \dots}$ 由于本文考虑的信息源基本上是离散时间随机过程，因此我们可以将随机过程的图像视为一组离散点（图1).

保存图片、插图等的外部文件。对象名称为CJAS_A_2101631_F0001_OB.jpg

在单独的窗口中打开

图1。

随机过程的图像秒具有 $A类 = {1, 2, 三}$ 和 $Ω = {u个, w个}$ 。每个“星”表示 $秒$ 在u个，每个“加号”代表 $秒$ 在w个.

对于 $L（左） \geq 1$ 和 $n个 \geq 0$ ，映射 ${第页}_{n个, L（左）} : {A类}^{L（左）} \to [0, 1]$ 可以由定义

{第页}_{n个, L（左）} (秒_{0}, \dots, 秒_{L（左） - 1}) = μ {ω \in Ω : 秒_{n个} (ω) = 秒_{0}, \dots, 秒_{n个 + L（左） - 1} (ω) = 秒_{L（左） - 1}} .

一个过程 $秒$ 称为静止 $n个 \geq 0$ 和 $L（左） \geq 1$ , ${第页}_{0, L（左）} = {第页}_{n个, L（左）}$ .

假设A类配备了离散拓扑，并让 $({A类}^{{N个}_{0}}, τ)$ 是产品拓扑空间，其中τ是产品拓扑。这套 ${A类}_{秒_{0}, \dots, 秒_{L（左） - 1}} = {ξ \in {A类}^{{N个}_{0}} : ξ_{0} = 秒_{0}, \dots, ξ_{L（左） - 1} = 秒_{L（左） - 1}}$ 称为气缸组。所有气缸组的集合是τ。此集合可以配备概率度量米由定义

米 ({A类}_{秒_{0}, \dots, 秒_{L（左） - 1}}) = {第页}_{0, L（左）} (秒_{0}, \dots, 秒_{L（左） - 1}) .

考虑到单侧移位映射

\begin{aligned} Σ : {A类}^{{N个}_{0}} ⟶ {A类}^{{N个}_{0}} \\ (一_{n个}) ⟼ (一_{n个 + 1}), \end{aligned}

是米-保留，遍历性的概念可以为信息源定义 $秒$ 如下所示。来源 $秒$ 如果∑相对于测度是遍历的，则称为遍历的米.

2.2. 信息源的熵

在整篇论文中L（左）-元组 $(秒_{0}, \dots, 秒_{L（左） - 1})$ 表示为 $秒_{0}^{L（左） - 1}$ ，其中 $L（左） \geq 1$ .的拓扑熵 $秒_{0}^{L（左） - 1}$ 由定义[1,2]

{H（H）}_{t吨 哦 第页} (秒_{0}^{L（左） - 1}) = \frac{1}{L（左）} 日志 N个 (秒, L（左）),

在哪儿 $N个 (秒, L（左）)$ 是的图像 $秒_{0}^{L（左） - 1}$ 具体来说，

N个 (秒, L（左）) = {(秒_{0} (ω), \dots, 秒_{L（左） - 1} (ω)) : ω \in Ω} .

拓扑熵 $秒$ 由定义

{小时}_{t吨 哦 第页} (秒) = \underset{L（左） \to \infty}{酸橙酱} {H（H）}_{t吨 哦 第页} (秒_{0}^{L（左） - 1}) .

对于L（左）-元组 $秒_{0}^{L（左） - 1}$ ，香农熵由下式给出[1,2]

{H（H）}_{米} (秒_{0}^{L（左） - 1}) = - \frac{1}{L（左）} \sum_{秒_{0}, \dots, 秒_{L（左） - 1}} (米 (秒_{0}, \dots, 秒_{L（左） - 1}) 日志 米 (秒_{0}, \dots, 秒_{L（左） - 1})) .

源的香农熵 $秒$ 由定义[1,2]

{小时}_{米} (秒) = \underset{L（左） \to \infty}{林} ({H（H）}_{米} (秒_{0}^{L（左） - 1})) .

定理2.1

我们有： $2 {H（H）}_{米} (秒_{0}^{1}) \leq {H（H）}_{米} (秒_{0}) + {H（H）}_{米} (秒_{1})$ .

证明。

让 $秒_{1}$ 随心所欲。我们有

\begin{aligned} \sum_{秒_{0}} {第页}_{0, 1} (秒_{0}, 秒_{1}) & = \sum_{秒_{0}} μ {ω \in Ω : 秒_{0} (ω) = 秒_{0}, 秒_{1} (ω) = 秒_{1}} \\ = \sum_{秒_{0}} μ {ω \in Ω : 秒_{1} (ω) = 秒_{1}} = 第页 (秒_{1}) . \end{aligned}

因此，

\sum_{秒_{0}} 第页 (秒_{0} | 秒_{1}) = \sum_{秒_{0}} \frac{{第页}_{0, 1} (秒_{0}, 秒_{1})}{第页 (秒_{1})} = 1, 对于 每一个 秒_{1} .

功能

小时 (x个) = {\begin{cases} x个 日志 x个; & x个 \neq 0 \\ 0; & x个 = 0 \end{cases},

是凸的，即每个 $一_{1}, \dots, 一_{k个} \in [0, + \infty)$ 和 $0 \leq α_{0}, \dots, α_{k个} \leq 1$ 具有 $\sum_{我 = 0}^{k个} α_{我} = 1$ ，我们有 $小时 (\sum_{我 = 0}^{k个} α_{我} 一_{我}) \leq \sum_{我 = 0}^{k个} α_{我} 小时 (一_{我})$ 因此，对于每个 $秒_{0}$ ，我们得到

(\sum_{秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1})) 日志 (\sum_{秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1})) \leq \sum_{秒_{1}} 第页 (秒_{1}) (第页 (秒_{0} | 秒_{1}) 日志 第页 (秒_{0} | 秒_{1})),

和

第页 (秒_{0}) 日志 第页 (秒_{0}) \leq \sum_{秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) 日志 第页 (秒_{0} | 秒_{1}) .

因此，

\begin{aligned} \sum_{秒_{0}, 秒_{1}} {第页}_{0, 1} (秒_{0}, 秒_{1}) 日志 {第页}_{0, 1} (秒_{0}, 秒_{1}) & = \sum_{秒_{0}, 秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) 日志 (第页 (秒_{0} | 秒_{1}) 第页 (秒_{1})) \\ = \sum_{秒_{0}, 秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) (日志 第页 (秒_{0} | 秒_{1}) + 日志 第页 (秒_{1})) \\ = \sum_{秒_{0}, 秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) 日志 第页 (秒_{0} | 秒_{1}) \\ + \sum_{秒_{0}, 秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) 日志 第页 (秒_{1}) \\ = \sum_{秒_{0}, 秒_{1}} 第页 (秒_{0} | 秒_{1}) 第页 (秒_{1}) 日志 第页 (秒_{0} | 秒_{1}) + \sum_{秒_{1}} 第页 (秒_{1}) 日志 第页 (秒_{1}) \\ \geq \sum_{秒_{0}} 第页 (秒_{0}) 日志 第页 (秒_{0}) + \sum_{秒_{1}} 第页 (秒_{1}) 日志 第页 (秒_{1}) . \end{aligned}

因此，

\frac{- \sum_{秒_{0}, 秒_{1}} {第页}_{0, 1} (秒_{0}, 秒_{1}) 日志 {第页}_{0, 1} (秒_{0}, 秒_{1})}{2} \leq \frac{- \sum_{秒_{0}} 第页 (秒_{0}) 日志 第页 (秒_{0})}{2} + \frac{- \sum_{秒_{1}} 第页 (秒_{1}) 日志 第页 (秒_{1})}{2} .

因此，我们得到

{H（H）}_{米} (秒_{0}, 秒_{1}) \leq \frac{{H（H）}_{米} (秒_{0})}{2} + \frac{{H（H）}_{米} (秒_{1})}{2} .

可以很容易地进行检查 ${H（H）}_{米} (秒_{0}^{L（左） - 1}) \leq {小时}_{t吨哦第页} (秒_{0}^{L（左） - 1})$ 因此，

{小时}_{米} (秒) \leq {小时}_{t吨 哦 第页} (秒) .

现在考虑字母表A类信息源的 $秒$ 被赋予命令' $\leq$ “所以 $(A类, \leq)$ 是一个完全有序的集合。新的排序“≺”在A类由' $\leq$ '如下所示：

秒_{我} ≺ 秒_{j个} 如果 和 只有 如果 秒_{我} < 秒_{j个} 或 (秒_{我} = 秒_{j个} 和 我 < j个) .

A序列 $秒_{k个}^{k个 + L（左） - 1} = (秒_{k个}, \dots, 秒_{k个 + L（左） - 1})$ 长度的L（左）据说有订单模式π如果

秒_{k个 + π (0)} ≺ 秒_{k个 + π (1)} ≺ \dots ≺ 秒_{k个 + π (L（左） - 1)},

哪里 $秒_{我}, 秒_{j个} \in A类$ , $k个 \in N个$ 和 $我 \neq j个$ .

根据上面定义的新排序，可以将排列与每个单词相关联。这种分配不一定是一对一的。

例2.2

我们假设A类是一组英语字母及其通常的顺序，即A<B<C<D<…<Z。然后单词“INFORMATION”可以表示为 $秒_{0}^{10} = (我, N个, F类, O（运行）, R（右）, M（M）, A类, T型, 我, O（运行）, N个)$ 现在，我们可以关联置换π“信息”一词由 $π (0) = 6$ , $π (1) = 2$ , $π (2) = 0$ , $π (三) = 8$ , $π (4) = 5$ , $π (5) = 1$ , $π (6) = 10$ , $π (7) = 三$ , $π (8) = 9$ , $π (9) = 4$ 、和 $π (10) = 7$ .我们有 $秒_{0} = 我$ , $秒_{1} = N个$ , $秒_{2} = F类$ , $秒_{三} = O（运行）$ , $秒_{4} = R（右）$ , $秒_{5} = M（M）$ , $秒_{6} = A类$ , $秒_{7} = T型$ , $秒_{8} = 我$ , $秒_{9} = O（运行）$ 、和 $秒_{10} = N个$ 最后，通过排序定义，我们得到 $秒_{6} ≺ 秒_{2} ≺ 秒_{0} ≺ 秒_{8} ≺ 秒_{5} ≺ 秒_{1} ≺ 秒_{10} ≺ 秒_{三} ≺ 秒_{9} ≺ 秒_{4} ≺ 秒_{7}$ .

示例2.3

考虑英语字母集及其排序 $秒_{0}^{6} = (电子, N个, T型, R（右）, O（运行）, P（P）, Y（Y）)$ 和 $克_{0}^{6} = (A类, B类, 电子, F类, D类, C类, G公司)$ ，我们可以关联映射 $π = [0, 1, 4, 5, 三, 2, 6]$ 因此，将排列与单词关联起来的映射可能不一定是一对一的。

每个词对置换的依赖性导致了度量熵和拓扑置换熵的定义。发送到源 $秒 = (秒_{n个})_{n个 \in {N个}_{0}}$ ，一个概率过程 $R（右） = ({R（右）}_{n个})_{n个 \in {N个}_{0}}$ 可以关联，由定义

{R（右）}_{n个} (ω) = \sum_{我 = 0}^{n个} δ (秒_{我} (ω) \leq 秒_{n个} (ω)),

哪里

δ (秒_{我} (ω) \leq 秒_{n个} (ω)) = {\begin{cases} 1; & 秒_{我} (ω) \leq 秒_{n个} (ω) \\ 0; & 否则 \end{cases}

序列 $R（右） = ({R（右）}_{n个})_{n个 \in {N个}_{0}}$ 定义了一个非平稳的离散时间过程。如果这个词 ${第页}_{0}^{L（左） - 1}$ 对应于 $秒_{0}^{L（左） - 1}$ 、和 $秒_{0}^{L（左） - 1}$ 定义排列π，然后是π和 ${第页}_{0}^{L（左） - 1}$ 是一对一的。

在示例2.2中，如果 $秒_{0}^{10} = (我, N个, F类, O（运行）, R（右）, M（M）, A类, T型, 我, O（运行）, N个)$ ，然后

\begin{aligned} {第页}_{0} = 1, {第页}_{1} = 2, {第页}_{2} = 1, {第页}_{三} = 4, {第页}_{4} = 5, {第页}_{5} = 三, \\ {第页}_{6} = 1, {第页}_{7} = 8, {第页}_{8} = 4, {第页}_{9} = 8, \\ 和 {第页}_{10} = 7 \end{aligned}

因此，排列 $[6, 2, 0, 8, 5, 1, 10, 三, 9, 4, 7]$ 对应于单词

{第页}_{0}^{10} = (1, 2, 1, 4, 5, 三, 1, 8, 4, 8, 7) .

度量置换熵L（左）-元组 $秒_{0}^{L（左） - 1}$ [1,2]由定义

{H（H）}_{米}^{⋆} (秒_{0}^{L（左） - 1}) = {H（H）}_{米} ({R（右）}_{0}^{L（左） - 1}) = \frac{- 1}{L（左） - 1} \sum_{{第页}_{0}, \dots, {第页}_{L（左） - 1}} 米 ({第页}_{0}^{L（左） - 1}) 日志 米 ({第页}_{0}^{L（左） - 1}) .

源的度量置换熵 $秒$ [1,2]由提供

{小时}_{米}^{⋆} (秒) = \underset{L（左） \to \infty}{酸橙酱} {H（H）}_{米}^{⋆} (秒_{0}^{L（左） - 1}) .

类似地L（左）-元组 $秒_{0}^{L（左） - 1}$ [1,2]由定义

{H（H）}_{t吨 哦 第页}^{⋆} (秒_{0}^{L（左） - 1}) = {H（H）}_{t吨 哦 第页} ({R（右）}_{0}^{L（左） - 1}) = \frac{1}{L（左） - 1} \times 日志 N个 (R（右）, L（左）) .

最后，源的拓扑置换熵 $秒$ [1,2]由提供

{小时}_{t吨 哦 第页}^{⋆} (秒) = \underset{L（左） \to \infty}{酸橙酱} {H（H）}_{t吨 哦 第页}^{⋆} (秒_{0}^{L（左） - 1}) = 小时 (R（右）) .

3.三类信息源

考虑概率测度空间 $(Ω, F类, μ)$ .让 $秒 = (秒_{n个})_{n个 \in {N个}_{0}}$ 使用字母表作为有限字母源A类，假设 $（f） : Ω ⟶ Ω$ 是一个保持度量值的映射。致这对夫妇( $秒, （f）)$ ，我们关联另一个有限字母源 $秒^{（f）} = (秒_{n个}^{（f）})_{n个 \in {N个}_{0}}$ ，其中

\begin{aligned} 秒_{n个}^{（f）} : Ω ⟶ A类 \\ 秒_{n个}^{（f）} (ω) \mapsto 秒_{n个} (（f） (ω)) . \end{aligned}

在这一节中，我们找到了连接信息源的每个熵的一些关系，包括度量熵、拓扑熵、置换度量熵和置换拓扑熵 $秒$ 熵 $秒^{（f）}$ 。然后我们联系到这对夫妇 $(秒, （f）)$ ，另一个有限字母源 $秒_{克}$ 并找出度量熵、拓扑熵、置换度量熵和置换拓扑熵之间的一些联系 $秒$ 和熵 $秒_{克} = (秒_{克 n个})$ ，其中

\begin{aligned} 秒_{克 n个} : Ω ⟶ A类 \\ 秒_{克 n个} (ω) \mapsto 克 (秒_{n个} (ω)) . \end{aligned}

同时，我们定义了源 $秒_{G公司}$ 用于地图 $克_{1}, 克_{2}, \dots$ ，其中 $G公司 = (克_{1}, 克_{2}, \dots)$ ，我们将上述四种类型的熵中的每一种应用于源时都联系起来 $秒$ 熵应用于 $秒_{G公司}$ ，其中

\begin{aligned} 秒_{G公司 n个} : Ω ⟶ A类 \\ 秒_{G公司 n个} (ω) \mapsto 克_{n个} (秒_{n个}) (ω)), \end{aligned}

和 $秒_{G公司} = (秒_{G公司 n个})$ .

定理3.1

我们有

${小时}_{米} (秒^{（f）}) = {小时}_{米} (秒)$ ,
${小时}_{t吨哦第页} (秒^{（f）}) \leq {小时}_{t吨哦第页} (秒),$ 如果（f）是一张俯瞰图。

证明。

（3.1）自（f）我们保留了度量

\begin{aligned} μ (秒_{0}^{- 1} (秒_{0}) \cap \dots \cap 秒_{L（左） - 1}^{- 1} (秒_{L（左） - 1})) & = μ ({（f）}^{- 1} (秒_{0}^{- 1} (秒_{0}) \cap \dots \cap 秒_{L（左） - 1}^{- 1} (秒_{L（左） - 1}))) \\ = {第页}_{0, L（左）} (秒_{0}, \dots, 秒_{L（左） - 1}) . \end{aligned}

因此，

\begin{aligned} μ {ω \in Ω : 秒_{0} (ω) = 秒_{0}, \dots, 秒_{L（左） - 1} (ω) = 秒_{L（左） - 1}} \\ = μ {ω \in Ω : 秒_{0} (（f） (ω)) = 秒_{0}, \dots, 秒_{L（左） - 1} (（f） (ω)) = 秒_{L（左） - 1}} \\ = {第页}_{0, L（左）} (秒_{0}, \dots, 秒_{L（左） - 1}) . \end{aligned}

因此，

\begin{aligned} {H（H）}_{米} (秒_{0}^{{（f）}^{L（左） - 1}}) & = - \frac{1}{L（左）} \sum_{秒_{0}, \dots, 秒_{L（左） - 1}} 米 (秒_{0}, \dots, 秒_{L（左） - 1}) 日志 米 (秒_{0}, \dots, 秒_{L（左） - 1}) \\ = {H（H）}_{米} (秒_{0}^{L（左） - 1}) . \end{aligned}

因此， ${小时}_{米} (秒^{（f）}) = {小时}_{米} (秒)$ .

（3.1）假设 $(秒_{0}, \dots, 秒_{L（左） - 1})$ 是一个长单词L（左）在以下消息中观察到的 $秒^{（f）}$ 显然， $(秒_{0}, \dots, 秒_{L（左） - 1})$ 是一个长单词L（左）可以从以下信息中观察到 $秒$ 因此， $N个 (秒^{（f）}, L（左）) \leq N个 (秒, L（左）)$ 因此，我们得到

{小时}_{t吨 哦 第页} (秒^{（f）}) = \underset{L（左） \to \infty}{酸橙酱} \frac{1}{L（左）} 日志 N个 (秒^{（f）}, L（左）) \leq {小时}_{t吨 哦 第页} (秒) = \underset{L（左） \to \infty}{酸橙酱} \frac{1}{L（左）} 日志 N个 (秒, L（左）) .

如果（f）是一张地形图，并且 $秒_{0}^{L（左） - 1} = (秒_{0}, \dots, 秒_{L（左） - 1})$ 是一个长单词L（左）可以在以下消息中观察到 $秒$ ，然后有一个 $ω \in Ω$ 这样的话 $秒_{0} (ω) = 秒_{0}, \dots, 秒_{L（左） - 1} (ω) = 秒_{L（左） - 1}$ 、和 $ω = （f） (ω_{1})$ 对于 $ω_{1} \in Ω$ 。因此，

秒_{0} = 秒_{0} (（f） (ω_{1})), \dots, 秒_{L（左） - 1} = 秒_{L（左） - 1} (（f） (ω_{1})) .

因此， $(秒_{0}, \dots, 秒_{L（左） - 1})$ 是一个长单词L（左）可以在的消息中观察到 $秒^{（f）}$ 因此，我们有 $N个 (秒, L（左）) \leq N个 (秒^{（f）}, L（左）)$ 、和

{小时}_{t吨 哦 第页} (秒) = \underset{L（左） \to \infty}{酸橙酱} \frac{1}{L（左）} 日志 N个 (秒, L（左）) \leq {小时}_{t吨 哦 第页} (秒^{（f）}) = \underset{L（左） \to \infty}{酸橙酱} \frac{1}{L（左）} 日志 N个 (秒^{（f）}, L（左）) .

因此， ${小时}_{t吨哦第页} (秒) = {小时}_{t吨哦第页} (秒^{（f）})$ .

定义3.2

让 $（f） : Ω ⟶ Ω$ 成为一张保存度量的地图。我们说信息来源 $秒$ 保存（f）或者它是（f）-保留if $秒$ 满足以下属性：

秒_{我} (x个) \leq 秒_{j个} (x个) \Leftrightarrow 秒_{我} (（f） (x个)) \leq 秒_{j个} (（f） (x个)) 我 = 0, 1, 2, \dots .

(1)

备注3.3

如果 $秒_{我}$ 是递增序列还是递减序列，那么 $秒$ 是（f）-每一个保测度映射的保测度（f）.

定理3.4

如果 $（f） : Ω ⟶ Ω$ 是一个保留度量值的映射，并且 $秒$ 是一个（f）-保存信息源，然后 ${小时}_{t吨哦第页}^{⋆} (秒^{（f）}) = {小时}_{t吨哦第页}^{⋆} (秒)$ 和 ${小时}_{米}^{⋆} (秒^{（f）}) = {小时}_{米}^{⋆} (秒)$ .

证明。

让 ${R（右）}_{n个}^{秒} : Ω ⟶ {1, \dots, n个 + 1}$ 、和 ${R（右）}_{n个}^{秒^{（f）}} : Ω ⟶ {1, \dots, n个 + 1}$ 是信息源的秩变量 $秒$ 和 $秒^{（f）}$ 分别为。自 $秒$ 是（f）-保存，我们得到

\begin{aligned} {R（右）}_{n个}^{秒} (ω) & = \sum_{我 = 0}^{n个} δ (秒_{我} (ω) \leq 秒_{n个} (ω)) \\ = \sum_{我 = 0}^{n个} δ (秒_{我}^{（f）} (ω) \leq 秒_{n个}^{（f）} (ω)) \\ = {R（右）}_{n个}^{秒^{（f）}} (ω) . \end{aligned}

因此，对于每个L（左）, ${R（右）}_{n个}^{秒} = {R（右）}_{n个}^{秒^{（f）}}$ , $N个 (R（右）, L（左）) = N个 ({R（右）}^{（f）}, L（左）)$ 、和

\begin{aligned} {H（H）}_{t吨 哦 第页}^{⋆} (秒_{0}^{L（左） - 1}) & = \frac{1}{L（左） - 1} \times 日志 N个 (R（右）, L（左）) \\ = \frac{1}{L（左） - 1} \times 日志 N个 ({R（右）}^{（f）}, L（左）) \\ = {H（H）}_{t吨 哦 第页}^{⋆} ({秒^{（f）}}_{0}^{L（左） - 1}) . \end{aligned}

因此，

\begin{aligned} {小时}_{t吨 哦 第页}^{⋆} (秒) & = \underset{L（左） \to \infty}{林} \frac{1}{L（左） - 1} 日志 N个 (R（右）, L（左）) \\ = \underset{L（左） \to \infty}{林} \frac{1}{L（左） - 1} 日志 N个 ({R（右）}^{（f）}, L（左）) \\ = {小时}_{t吨 哦 第页}^{⋆} (秒^{（f）}) . \end{aligned}

同样，对于每个L（左），我们有

\begin{aligned} {H（H）}_{米}^{*} (秒_{0}^{{（f）}^{L（左） - 1}}) & = - \frac{1}{L（左）} \sum_{{第页}_{0}, \dots, {第页}_{L（左） - 1}} 米 ({第页}_{0}, \dots, {第页}_{L（左） - 1}) 日志 米 ({第页}_{0}, \dots, {第页}_{L（左） - 1}) \\ = {H（H）}_{米} (秒_{0}^{L（左） - 1}) . \end{aligned}

因此，我们得到

\begin{aligned} {小时}_{米}^{⋆} (秒^{（f）}) & = \underset{L（左） \to \infty}{林} {H（H）}_{米}^{*} (秒_{0}^{{（f）}^{L（左） - 1}}) \\ = \underset{L（左） \to \infty}{林} - \frac{1}{L（左）} \sum_{{第页}_{0}, \dots, {第页}_{L（左） - 1}} 米 ({第页}_{0}, \dots, {第页}_{L（左） - 1}) 日志 米 ({第页}_{0}, \dots, {第页}_{L（左） - 1}) \\ = \underset{L（左） \to \infty}{林} {H（H）}_{米} (秒_{0}^{L（左） - 1}) \\ = {小时}_{米}^{⋆} (秒) . ■ \end{aligned}

对于函数 $克 : A类 ⟶ A类$ 和信息源 $秒$ ，我们定义信息源 $秒_{克}$ 通过 $秒_{克 n个} = 克哦秒_{n个}$ .

定理3.5

如果 $克 : A类 ⟶ A类$ 是一个双射函数

${小时}_{t吨哦第页} (秒_{克}) = {小时}_{t吨哦第页} (秒)$ ,
${小时}_{米} (秒_{克}) = {小时}_{米} (秒)$ .

证明。

让

Ω_{(秒_{0}, \dots, 秒_{L（左） - 1})}^{秒} = {ω \in Ω : 秒_{0} (ω) = 秒_{0}, \dots, 秒_{L（左） - 1} (ω) = 秒_{L（左） - 1}} .

我们有

\begin{aligned} ω & \in Ω_{(克 (秒_{0}), \dots, 克 (秒_{L（左） - 1}))}^{秒_{克}} \\ \Leftrightarrow 秒_{克 0} (ω) = 克 (秒_{0}), \dots, 秒_{克 L（左） - 1} (ω) = 克 (秒_{L（左） - 1}) \\ \Leftrightarrow ω \in 秒_{克 0}^{- 1} (克 (秒_{0})) \cap \dots \cap 秒_{克 (L（左） - 1)}^{- 1} (克 (秒_{L（左） - 1})) \\ \Leftrightarrow ω \in Ω_{(秒_{0}, \dots, 秒_{L（左） - 1})}^{秒} \\ \Leftrightarrow 秒_{0} (ω) = 秒_{0}, \dots, 秒_{L（左） - 1} (ω) = 秒_{L（左） - 1} . \end{aligned}

因此，

ω \in 秒_{0}^{- 1} (秒_{0}) \cap \dots \cap 秒_{L（左） - 1}^{- 1} (秒_{L（左） - 1}) \Leftrightarrow ω \in 秒_{克 0}^{- 1} (克 (秒_{0})) \cap \dots \cap 秒_{克 (L（左） - 1)}^{- 1} (克 (秒_{L（左） - 1})) .

因此，我们得到

Ω_{(秒_{0}, \dots, 秒_{L（左） - 1})}^{秒} = Ω_{(克 (秒_{0}), \dots, 克 (秒_{L（左） - 1}))}^{秒_{克}} .

因此 $N个 (秒, L（左）)$ 单词的长度L（左）可以是信息源的输出 $秒$ 等于这个数字 $N个 (秒_{克}, L（左）)$ 单词的长度L（左）可以是信息源的输出 $秒_{克}$ 因此，对于每个L（左），我们有

\frac{1}{L（左）} 日志 (N个 (秒, L（左）)) = \frac{1}{L（左）} (N个 (秒_{克}), L（左）)) .

因此，

\begin{aligned} {小时}_{t吨 哦 第页} (秒_{克}) & = \underset{L（左） \to \infty}{林} \frac{1}{L（左）} 日志 (N个 (秒_{克}), L（左）)) \\ = \underset{L（左） \to \infty}{林} \frac{1}{L（左）} 日志 (N个 (秒, L（左）)) \\ = {小时}_{t吨 哦 第页} (秒) . \end{aligned}

同样，我们有

{小时}_{米} (秒_{克}) = - \frac{1}{L（左）} \sum_{秒_{0}, \dots, 秒_{L（左） - 1} \in A类} (米 (秒_{0}, \dots, 秒_{L（左） - 1}) 日志 米 (秒_{0}, \dots, 秒_{L（左） - 1})) = {小时}_{米} (秒) .

持有最后一个等式的原因是 $秒_{0}, \dots, 秒_{L（左） - 1}$ 可以在信息源的消息中观察到 $秒$ 当且仅当 $秒_{0}, \dots, 秒_{L（左） - 1}$ 可以在信息源的消息中观察到 $秒_{克}$ .

备注3.6

如果A类是无限的，并且 $克 : A类 ⟶ A类$ 是一对一递增的，那么我们可以证明 ${小时}_{t吨哦第页}^{⋆} (秒_{克}) = {小时}_{t吨哦第页}^{⋆} (秒)$ 、和 ${小时}_{米}^{⋆} (秒_{克}) = {小时}_{米}^{⋆} (秒)$ .

对于一系列函数 $克_{我} : A类 ⟶ A类$ , $我 = 1, 2, \dots$ 和信息源 $秒$ ，我们定义信息源 $秒_{G公司}$ 通过 $秒_{G公司 n个} = 克_{n个} 哦秒_{n个}$ ，其中 $G公司 = (克_{1}, 克_{2}, \dots)$ .

定理3.7

如果 $克_{我} : A类 ⟶ A类$ , $我 = 1, 2, \dots$ ，是一个双射函数族，那么

${小时}_{t吨哦第页} (秒_{G公司}) = {小时}_{t吨哦第页} (秒)$ ,
${小时}_{米} (秒_{G公司}) = {小时}_{米} (秒)$ .

证明。

我们有

\begin{aligned} ω & \in Ω_{(克_{0} (秒_{0}), \dots, 克_{L（左） - 1} (秒_{L（左） - 1}))}^{秒_{G公司}} \\ \Leftrightarrow 秒_{G公司 0} (ω) = 克_{0} (秒_{0}), \dots, 秒_{G公司 L（左） - 1} (ω) = 克_{L（左） - 1} (秒_{L（左） - 1}) \\ \Leftrightarrow ω \in 秒_{G公司 0}^{- 1} (克_{0} (秒_{0})) \cap \dots \cap 秒_{G公司 (L（左） - 1)}^{- 1} (克_{L（左） - 1} (秒_{L（左） - 1})) \\ \Leftrightarrow ω \in Ω_{(秒_{0}, \dots, 秒_{L（左） - 1})}^{秒} \\ \Leftrightarrow 秒_{0} (ω) = 秒_{0}, \dots, 秒_{L（左） - 1} (ω) = 秒_{L（左） - 1} . \end{aligned}

因此，我们得到

Ω_{(秒_{0}, \dots, 秒_{L（左） - 1})}^{秒} = Ω_{(克_{0} (秒_{0}), \dots, 克_{L（左） - 1} (秒_{L（左） - 1}))}^{秒_{G公司}} .

因此，数字 $N个 (秒, L（左）)$ 单词的长度L（左）可以是信息源的输出 $秒$ 等于这个数字 $N个 (秒_{G公司}, L（左）)$ 单词的长度L（左）可以是信息源的输出 $秒_{G公司}$ 、和

\frac{1}{L（左）} (N个 (秒_{G公司}), L（左）)) = \frac{1}{L（左）} 日志 (N个 (秒, L（左）)),

对于每个L（左）因此，我们得到

\begin{aligned} {小时}_{t吨 哦 第页} (秒_{G公司}) & = \underset{L（左） \to \infty}{林} \frac{1}{L（左）} 日志 (N个 (秒_{G公司}), L（左）)) \\ = \underset{L（左） \to \infty}{林} \frac{1}{L（左）} 日志 (N个 (秒, L（左）)) \\ = {小时}_{t吨 哦 第页} (秒) . \end{aligned}

同样，我们有

\begin{aligned} {小时}_{米} (秒_{G公司}) & = - \frac{1}{L（左）} \sum_{秒_{0}, \dots, 秒_{L（左） - 1} \in A类} (米 (秒_{0}, \dots, 秒_{L（左） - 1}) 日志 米 (秒_{0}, \dots, 秒_{L（左） - 1})) \\ = {小时}_{米} (秒) . \end{aligned}

明确地， $秒_{0}, \dots, 秒_{L（左） - 1}$ 可以在信息源的消息中观察到 $秒$ 当且仅当 $秒_{0}, \dots, 秒_{L（左） - 1}$ 可以在信息源的消息中观察到 $秒_{G公司}$ 。因此， ${小时}_{t吨哦第页} (秒_{G公司}) = {小时}_{t吨哦第页} (秒)$ 、和 ${小时}_{米} (秒_{G公司}) = {小时}_{米} (秒) .$

备注3.8

让 $克 : A类 ⟶ A类$ 是一个双射函数，让 $G公司 = (克, 克^{2}, 克^{三}, \dots)$ .然后 ${小时}_{t吨哦第页} (秒_{G公司}) = {小时}_{t吨哦第页} (秒)$ 、和 ${小时}_{米} (秒_{G公司}) = {小时}_{米} (秒) .$

4.源产品的熵

如果 $(Ω_{1}, {F类}_{1}, μ_{1})$ 和 $(Ω_{2}, {F类}_{2}, μ_{2})$ 是两个概率测度空间，那么 $(Ω_{1} \times Ω_{2}, {F类}_{1} \times {F类}_{2}, μ_{1} \times μ_{2})$ 与乘积测度是一个概率测度空间。如果 $秒$ 和 $T型$ 是两个具有有限字母的信息源 ${A类}_{1}$ 和 ${A类}_{2}$ ，然后 $秒 \times T型$ 是有限字母表的信息源 ${A类}_{1} \times {A类}_{2}$ .

定理4.1

让 $(Ω_{1}, {F类}_{1}, μ_{1})$ 和 $(Ω_{2}, {F类}_{2}, μ_{2})$ 是两个概率测度空间，假设 $秒$ 和 $T型$ 是两个具有有限字母的信息源 ${A类}_{1}$ 和 ${A类}_{2}$ 分别是。然后 ${小时}_{t吨哦第页} (秒 \times T型) = {小时}_{t吨哦第页} (秒) + {小时}_{t吨哦第页} (T型) .$

证明。

我们有

\begin{aligned} (ω_{1}, ω_{2}) \\ \in (秒 \times T型)_{0}^{- 1} (秒_{0}, {t吨}_{0}) \cap \dots \cap (秒 \times T型)_{L（左） - 1}^{- 1} (秒_{L（左） - 1}, {t吨}_{L（左） - 1}) \\ \Leftrightarrow (秒 \times T型)_{0} (ω_{1}, ω_{2}) = (秒_{0}, {t吨}_{0}), \dots, (秒 \times T型)_{L（左） - 1} (ω_{1}, ω_{2}) = (秒_{L（左） - 1}, {t吨}_{L（左） - 1}) \\ \Leftrightarrow 秒_{我} (ω_{1}) = 秒_{我}, {T型}_{我} (ω_{2}) = {t吨}_{我} 对于 每一个 0 \leq 我 \leq L（左） - 1 \\ \Leftrightarrow ω_{1} \in 秒_{0}^{- 1} (秒_{0}) \cap \dots . \cap 秒_{L（左） - 1}^{- 1} (秒_{L（左） - 1}) 和 ω_{2} \in {T型}_{0}^{- 1} ({t吨}_{0}) \cap \dots . \cap {T型}_{L（左） - 1}^{- 1} ({t吨}_{L（左） - 1}) . \end{aligned}

这意味着 $((秒_{0}, {t吨}_{0}), \dots, (秒_{L（左） - 1}, {t吨}_{L（左） - 1}))$ 是一个长单词L（左）在源消息中观察到的 $秒 \times T型$ 当且仅当 $(秒_{0}, \dots, 秒_{L（左） - 1})$ 是一个长单词L（左）在源消息中观察到的 $秒$ 、和 $({t吨}_{0}, \dots, {t吨}_{L（左） - 1})$ 是一个长单词L（左）在源消息中观察到的 $T型$ 因此，我们有

N个 (秒 \times T型, L（左）) = N个 (秒, L（左）) \times N个 (T型, L（左）),

为所有人 $L（左） \geq 1$ 因此，我们得到

\begin{aligned} 日志 (N个 (秒 \times T型, L（左）)) & = 日志 (N个 (秒, L（左）) \times N个 (T型, L（左）)) \\ = 日志 (N个 (秒, L（左）)) + 日志 (N个 (T型, L（左）)), \end{aligned}

为所有人 $L（左） \geq 1$ 因此， ${小时}_{t吨哦第页} (秒 \times T型) = {小时}_{t吨哦第页} (秒) + {小时}_{t吨哦第页} (T型) .$

备注4.2

让 $(Ω_{我}, {F类}_{我}, μ_{我})$ , $我 = 1, 2, \dots, k个$ 是测度空间的有限族。假设 $秒_{我}$ 是有限字母的信息源吗 ${A类}_{我}$ .然后

{小时}_{t吨 哦 第页} (秒_{1} \times \dots \times 秒_{k个}) = \sum_{我 = 1}^{k个} ({小时}_{t吨 哦 第页} (秒_{我})) .

让 ${R（右）}_{n个}^{秒}$ , ${R（右）}_{n个}^{T型}$ 和 ${R（右）}_{n个}^{秒 \times T型}$ 是信息源的秩变量 $秒$ , $T型$ 和 $秒 \times T型$ 分别，其中 ${A类}_{1} \times {A类}_{2}$ 是词典编纂顺序，即。 $(一, b条) \leq (c（c）, d日) \Leftrightarrow (一 < c（c）$ 或(一 = c（c）和 $b条 \leq d日$ )). 则定理4.3成立。

定理4.3

根据前面的注释，我们有

{R（右）}_{n个}^{秒} (ω_{1}) + {R（右）}_{n个}^{T型} (ω_{2}) - n个 - 1 \leq {R（右）}_{n个}^{秒 \times T型} (ω_{1}, ω_{2}) \leq {R（右）}_{n个}^{秒} (ω_{1}) .

证明。

让

\begin{aligned} A类 & = {我 : 0 \leq 我 \leq n个, 秒_{我} (ω_{1}) > 秒_{n个} (ω_{1})}, \\ B类 & = {我 : 0 \leq 我 \leq n个, 秒_{我} (ω_{1}) = 秒_{n个} (ω_{1}), {T型}_{我} (ω_{2}) > {T型}_{n个} (ω_{2})}, \end{aligned}

和

C类 = {我 : 0 \leq 我 \leq n个, (秒_{我} (ω_{1}), {T型}_{我} (ω_{2})) > (秒_{n个} (ω_{1}), {T型}_{n个} (ω_{2}))} .

然后 $C类 = A类 \cup B类$ 、和集合A类和B类是不相交的。因此， $| C类 | = | A类 | + | B类 |$ 另一方面，我们有 $| A类 | = n个 + 1 - {R（右）}_{n个}^{秒} (ω_{1})$ , $| C类 | = n个 + 1 - {R（右）}_{n个}^{秒 \times T型} (ω_{1}, ω_{2})$ 和 $| B类 | \leq n个 + 1 - {R（右）}_{n个}^{T型} (ω_{2})$ 因此，我们得到

n个 + 1 - {R（右）}_{n个}^{秒 \times T型} (ω_{1}, ω_{2}) - {n个 + 1 - {R（右）}_{n个}^{秒} (ω_{1})} \leq n个 + 1 - {R（右）}_{n个}^{T型} (ω_{2}) .

因此，我们

{R（右）}_{n个}^{秒} (ω_{1}) + {R（右）}_{n个}^{T型} (ω_{2}) - n个 - 1 \leq {R（右）}_{n个}^{秒 \times T型} (ω_{1}, ω_{2}) .

第二个不等式显而易见，因为如果 $(秒_{我} (ω_{1}), {T型}_{我} (ω_{2})) \leq (秒_{n个} (ω_{1}), {T型}_{n个} (ω_{2}))$ ，然后 $秒_{我} (ω_{1}) \leq 秒_{n个} (ω_{1})$ .

5.信息理论和统计学的应用

本节分为两部分。在第一部分中，提供了一些信息和置换熵的计算示例。下一部分给出了一个数值例子，其中条件信息熵被应用于研究语言模型中的不对称问题。

5.1. 信息论示例

随机过程是随着时间的推移随机现象发生的数学模型，被广泛用作以随机方式变化的系统和现象的数学模型。例如，当一个随机实验被反复重复时，情况就是这样。让 $T型 := R（右）$ ( $T型 := Z$ 或 $T型 := {R（右）}_{\geq 0}$ 或 $T型 := Z_{\geq 0}$ ). 从形式上讲，随机过程是一系列随机变量 $秒 = {秒_{t吨}}_{t吨 \in T型}$ 关于公共概率空间 $(Ω, F类, μ)$ 称为样本空间，在可测量空间中取值 $(A类, τ)$ 称为状态空间。从技术上讲，这意味着 $秒_{t吨} : Ω ⟶ A类$ 是一张可测量的地图 $t吨 \in T型$ ，即。 $秒_{t吨}^{- 1} (B类) \in F类$ 为所有人 $B类 \in τ$ .地图 $t吨 \mapsto 秒_{t吨} (ω)$ 是过程的轨迹X（X）与固定采样点关联 $ω \in Ω$ .正如概率论和统计学中常见的那样，随机变量的实现秒将用相同的字母以小写表示，即。 $秒 (ω) = x个$ .

例5.1

让 $Ω = [0, 1]$ .我们配备 $[0, 1]$ 用Borel测度sigma-代数（由R（右）具有 $[0, 1]$ )，我们定义

{H（H）}_{n个 - 1} = ⋃_{k个 = 0}^{2^{n个 - 1} - 1} [\frac{2 k个}{2^{n个}}, \frac{2 k个 + 1}{2^{n个}}),

对于 $n个 = 1, 2, \dots$ 假设字母表A类是离散集 ${0, 1}$ ，我们定义地图 $秒_{n个} : [0, 1] \to {0.1}$ 通过

秒_{n个} (x个) = {\begin{cases} 1; & x个 \notin {H（H）}_{n个} \\ 0; & x个 \in {H（H）}_{n个} \end{cases},

对于 $n个 = 0, 1, 2, \dots$ .然后针对每个 $L（左） = 1, 2, \dots$ ，我们有 $N个 (秒, L（左）) = 2^{L（左）}$ 因此，我们得到

{小时}_{t吨 哦 第页} (秒) = 我 我 米_{L（左） \to \infty} \frac{1}{L（左）} 日志 2^{L（左）} = 日志 2

上述计算由Amig完成[4]. 现在，我们将此示例扩展为 $秒^{（f）}$ .

考虑对称满射测度保持帐篷映射 $（f） : [0, 1] \to [0, 1]$ 由定义

（f） (x个) = 1 - | 1 - 2 x个 | = {\begin{cases} 2 x个; & 0 \leq x个 \leq \frac{1}{2} \\ 2 (1 - x个); & \frac{1}{2} \leq x个 \leq 1 \end{cases} .

那么，我们有

{小时}_{t吨 哦 第页} (秒^{（f）}) = {小时}_{t吨 哦 第页} (秒) = 日志 2 和 {小时}_{米} (秒^{（f）}) = {小时}_{米} (秒) .

例5.2

我们假设Ω是区间 $[0, 1]$ 配备Borel度量sigma-代数，我们定义

{H（H）}_{0} = (\frac{1}{2}, 1), {H（H）}_{n个} = {H（H）}_{0} ⋃ {1, \frac{1}{2}, \dots, \frac{1}{n个}},

对于 $n个 = 1, 2, \dots$ 假设字母表A类是离散集 ${0, 1}$ ，然后定义映射 $秒_{n个} : [0, 1] \to {0.1}$ 通过

\begin{aligned} 秒_{n个} (x个) = {\begin{cases} 1; & x个 \in {H（H）}_{n个} \\ 0; & x个 \notin {H（H）}_{n个} \end{cases}, \end{aligned}

对于 $n个 = 0, 1, 2, \dots$ .然后 ${小时}_{t吨哦第页}^{*} (秒) = 我哦克 2$ 。对于0<c（c）<1，我们定义了测度保持 $Λ -$ 转型 $Λ_{c（c）} : [0, 1] \to [0, 1]$ 通过

Λ_{c（c）} (x个) = {\begin{cases} \frac{1}{c（c）} x个; & 0 \leq x个 \leq c（c） \\ - \frac{1}{1 - c（c）} x个 + \frac{1}{1 - c（c）}; & c（c） < x个 \leq 1 \end{cases} .

自 $秒_{n个}$ 是一个递增序列，它保留了度量保持映射 $Λ_{c（c）}$ 因此，我们有

{小时}_{t吨 哦 第页}^{*} (秒^{Λ_{c（c）}}) = {小时}_{t吨 哦 第页}^{*} (秒) = 我 哦 克 2 和 {小时}_{米}^{*} (秒^{Λ_{c（c）}}) = {小时}_{米}^{*} (秒) .

示例5.3

与示例5.2类似，我们假设 $Ω = [0, 1]$ 配备了Borel sigma-代数，我们定义

{H（H）}_{0} = (\frac{1}{2}, 1), {H（H）}_{n个} = {H（H）}_{0} ⋃ {1, \frac{1}{2}, \dots, \frac{1}{n个}},

对于 $n个 = 1, 2, \dots$ .让字母表成为集合 $A类 = {0, 1}$ 。我们定义映射 $秒_{n个} : [0, 1] \to {0.1}$ 通过

秒_{n个} (x个) = {\begin{cases} 1; & x个 \in {H（H）}_{n个} \\ 0; & x个 \notin {H（H）}_{n个} \end{cases},

对于 $n个 = 0, 1, 2, \dots$ 因此， ${小时}_{t吨哦第页}^{*} (秒) = 我哦克 2$ .我们还考虑了保测度映射 $（f） : [0, 1] \to [0, 1]$ 由定义

（f） (x个) = {\begin{cases} 2 x个; & 0 \leq x个 < \frac{1}{2} \\ 2 x个 - 1; & \frac{1}{2} \leq x个 \leq 1 \end{cases} .

自 $秒_{n个}$ 是一个递增序列，它保留了度量保持映射（f）因此，我们得到

{小时}_{t吨 哦 第页}^{*} (秒^{（f）}) = {小时}_{t吨 哦 第页}^{*} (秒) = 我 哦 克 2 和 {小时}_{米}^{*} (秒^{（f）}) = {小时}_{米}^{*} (秒) .

示例5.4

定义地图 $克_{我} : {0, 1} ⟶ {0, 1}$ , $我 = 1, 2, \dots$ ，由

克_{我} (x个) = {\begin{cases} x个; & 我 = 2 k个 \\ 1 - x个; & 我 = 2 k个 + 1 \end{cases} .

让 $G公司 = {克_{1}, 克_{2}, \dots}$ 假设是这样 $秒$ 是备注3.3中给出的来源。然后 ${小时}_{t吨哦第页} (秒_{G公司}) = {小时}_{t吨哦第页} (秒)$ 、和 ${小时}_{米} (秒_{G公司}) = {小时}_{米} (秒)$ .

示例5.5

定义地图 $克_{我} : {0, 1} ⟶ {0, 1}$ , $我 = 1, 2, \dots$ ，由

克_{我} (x个) = {\begin{cases} x个; & 我 = 2 k个 \\ 1 - x个; & 我 = 2 k个 + 1 \end{cases} .

让 $G公司 = {克_{1}, 克_{2}, \dots}$ 并假设 $秒$ 是备注3.3中给出的来源。然后 ${小时}_{t吨哦第页} (秒_{G公司}) = {小时}_{t吨哦第页} (秒)$ 、和 ${小时}_{米} (秒_{G公司}) = {小时}_{米} (秒) .$

5.2. 一个数值示例

我们考虑了第14.3.2节中提供的数据[12]它对应于从历史文本语料库中提取的单词序列。这些数据包括源文本特定部分的字母频率，并分为两组，语料库I和语料库II。让X（X）和Y（Y）是分别对应于语料库I和语料库II的两个信息源。可以证明，对于每个度量保持映射（f），信息源的条件信息熵 ${X（X）}^{（f）}$ 给出了来源 ${Y（Y）}^{（f）}$ 等于的条件信息熵X（X）鉴于Y（Y）具体来说，我们有

H（H） ({X（X）}^{（f）} ∣ {Y（Y）}^{（f）}) = H（H） (X（X） ∣ Y（Y）),

(2)

哪里

H（H） (X（X） ∣ Y（Y）) = H（H） (X（X）, Y（Y）) - H（H） (Y（Y）) .

(3)

因此，为了研究与 ${X（X）}^{（f）}$ 和 ${Y（Y）}^{（f）}$ ，只需使用 ${H（H）}_{X（X）}$ 和 ${H（H）}_{Y（Y）}$ .

表1给出了概率密度函数 ${P（P）}_{X（X）}$ 和 ${P（P）}_{Y（Y）}$ 和熵X（X）和Y（Y）使用以下联合概率计算X（X）和Y（Y）其定义为 ${P（P）}_{X（X） Y（Y）} = {P（P）}_{X（X）} {P（P）}_{Y（Y）}$ 计算表明 $H（H） (X（X） ∣ Y（Y）) = 2.62519$ 和 $H（H） (Y（Y） ∣ X（X）) = 2.64793$ 这些值表示语言模型中通常出现的不对称。

表1。

信息源的概率密度和熵的值X（X）和Y（Y）对应于语料库I和语料库II文本数据。

信件	${P（P）}_{X（X）} (x个)$	${P（P）}_{Y（Y）} (年)$	$H（H） (X（X）)$	$H（H） (Y（Y）)$
一	0.096496496	0.11001001	0.225633	0.242812
b条	0.001001001	0.001001001	0.232546	0.249726
c（c）	0.101401401	0.098598599	0.464621	0.478149
d日	0.001001001	0.001001001	0.471534	0.485063
e（电子）	0.03993994	0.042142142	0.600156	0.618515
（f）	0	0	0	0
克	0.001001001	0.001001001	0.60707	0.625428
小时	0.048748749	0.045945946	0.754343	0.766955
我	0.167667668	0.166466466	1.05376	1.06542
j个	0.001001001	0.001001001	1.06067	1.07234
k个	0	0	0	0
我	0.064364364	0.062162162	1.23724	1.24502
米	0.050650651	0.04974975	1.38832	1.39431
n个	0.099399399	0.097597598	1.61779	1.62141
哦	0.083783784	0.084184184	1.82554	1.82975
第页	0.02042042	0.02012012	1.905	1.90834
q个	0.02042042	0.029129129	1.98446	2.01134
第页	0	0	0	0
秒	0	0	0	0
t吨	0.074074074	0.073673674	2.17725	2.20349
u个	0.065265265	0.062162162	2.35538	2.37617
v（v）	0	0	0	0
w个	0	0	0	0
x个	0.01951952	0.019119119	2.43221	2.45183
年	0.018518519	0.019119119	2.50608	2.52748
z（z）	0.025325325	0.025825826	2.59918	2.62191a美元

在单独的窗口中打开

6.结论

介绍了相位空间具有动态特性的三类特定信息源。具体来说，对于配备映射的相空间Ω $（f） : Ω ⟶ Ω$ ，约束动力学的条件（f）给出了保持置换熵的相空间。给出了计算信息熵和置换熵的一些例子。这些源的熵的条件版本应用于文本数据。

本文讨论的Kullback-Leibler发散和熵之间的联系是一个值得进一步研究的问题。此外，研究拓扑聚合[24]对应于拓扑熵是进一步研究的潜在方向。

披露声明

提交人没有报告任何潜在的利益冲突。

工具书类

1Amigo J.M。，动力系统中的置换复杂性“有序模式、置换熵和所有这些”2010年，柏林，施普林格-弗拉格出版社。[谷歌学者]

2Amigo J.M.和犬舍M.B。，拓扑置换熵,物理D.231（2007），第137-142页。[谷歌学者]

三。Ashtari Nezhad E.、Waghei Y.、Mohtashami Borzadaran G.R.、Nilli Sani H.R.和Alizadeh Noughabi H。，基于修正置换熵的时间序列独立性检验,Commun公司。统计–模拟。计算。 48（2019年），第2877–2897页。doi:10.1080/03610918.2018.1469761。[交叉参考][谷歌学者]

4Bahnmuller J.和Bogenschutz T。，随机动力系统的Margulis–Ruelle不等式,数学档案馆.64（1995年），第246-253页。[谷歌学者]

5Bandt C.、Keller G.和Pompe B。，基于置换的区间映射熵,非线性.15（2002），第1595-1602页。[谷歌学者]

6Bandt C.和Pompe B。，置换熵：时间序列的自然复杂性度量,物理学。修订稿。 88（2002年），第102–174页。[公共医学][谷歌学者]

7Corda C.、FatehiNia M.、Molaei M.R.和Sayyari Y。，迭代函数系统的熵及其与黑洞和类玻尔黑洞熵的关系,熵.20（2018），第56页。[PMC免费文章][公共医学][谷歌学者]

8迪纳堡E.I。，拓扑熵与度量熵的关系,俄罗斯科学院。科学。 190（1970年），第19-22页。[谷歌学者]

9.Diósi L。，量子信息理论短期课程2011年，柏林，施普林格-弗拉格出版社。[谷歌学者]

10Ebrahimi M.和Mehrpooya A。，几何在代数中的应用：超MV-代数的不确定性《第七届几何与拓扑研讨会论文集》，德黑兰，2014年，第529-534页。

11埃文斯·L.G。，随机微分方程简介，卷。82，美国数学学会，2013年。[谷歌学者]

12Fan J.和Pan J。，当代实验设计、多元分析和数据挖掘，施普林格国际出版社，商会，2020。[谷歌学者]

13灰色R.M。，熵与信息论，施普林格-弗拉格出版社，纽约，1990年。[谷歌学者]

14Mehrpooya A.、Ebrahimi M.和Davvaz B，半独立超MV-代数动力系统的熵,柔软。输出。 20（2016），第1263-1276页。doi:10.1007/s00500-015-1850-y[交叉参考][谷歌学者]

15Mehrpooya A.、Ebrahimi M.和Davvaz B。，超MV-代数上动力系统的两种不同方法及其信息熵,欧洲物理学会。J.Plus公司.132（2017），第1-27页。[谷歌学者]

16Mehrpooya A.、Sayyari Y.和Molaei M.R。，交换超群的代数熵和Shannon熵及其与信息熵、置换熵和化学代数熵计算的联系,柔软。计算。 24（2019年），第13035–13053页。[谷歌学者]

17Najmizadeh S.、Toomanian M.、Molaei M.R.和Nasirzade T。，场地离散动力系统的Bekenstein-Hawking熵,国防部。物理学。莱特。A类,34(32) (2019), 1950265.[谷歌学者]

18Patrao M。，非紧度量空间的熵及其变分原理,埃尔戈德。西奥。动态。系统。 30（2010），第1529–1542页。[谷歌学者]

19Sayyari Y。，信息源熵上界的改进,数学杂志。提取。 15（2021年），第1-12页。[谷歌学者]

20Sayyari Y。，信息源熵的新界,小波与线性代数.7（2020年），第1-9页。[谷歌学者]

21Sayyari Y。，一致凸函数的新熵界,混沌、孤子和分形.141（2020年），第110360页。doi:10.1016/j.chaos.2020.110360。[交叉参考][谷歌学者]

22.Sayyari Y。，信息源熵上界的一种改进,数学杂志。提取。 15（2021年），第1-12页。[谷歌学者]

23.Sayyari Y。，Jensen–Simic–Mercer不等式的改进及其对熵的应用,韩国社会数学杂志。教育部。序列号。B-纯应用。数学。 29（2022年），第51-57页。[谷歌学者]

24斯特利克·M·。，拓扑聚合函数的收敛性,模糊集系统。 287（2016），第48-56页。[谷歌学者]

25.Waezizadeh T.、Mehrpooya A.、Rezaeizadeh M.和Yarahmadian S。，高血压和应激对肾脏影响的数学模型及其不确定性,数学。Biosci公司。 305（2018），第77-95页。[公共医学][谷歌学者]

26沃尔特斯·P。，遍历理论导论《施普林格-弗拉格》，纽约，2000年。[谷歌学者]

文章来自应用统计学杂志由以下人员提供泰勒和弗朗西斯