×

信息瓶颈方法的数学结构。 (英语) Zbl 1371.68078号

摘要:基于信息瓶颈的方法使用互信息作为失真函数,通过压缩提取复杂系统结构的相关细节。生成最佳压缩表示的方法之一是对参数进行退火。在这份手稿中,我们提出了一个研究信息失真问题中退火的通用框架。我们确定了任何退火优化问题的共同特征。我们使用的主要数学工具来自对称存在下的动力系统分析(等变分岔理论)。通过压缩问题,我们与组合优化和模式识别领域建立了联系。这两种方法使用非常不同的词汇,并认为不同的问题是“有趣的”。我们通过标准化切割问题,两个学科可以在这里交换工具和思想。

MSC公司:

68页30 编码和信息理论(压缩、压缩、通信模型、编码方案等)(计算机科学方面)
37G99型 动力系统的局部和非局部分岔理论
PDF格式BibTeX公司 XML格式引用
全文: 内政部

参考文献:

[2] DOI:10.1080/网.12.4.441.472·doi:10.1080/net.12.4.441.472
[3] 吉迪恩,信息失真与神经编码,加拿大。申请。数学。问题10第33页–(2003年)
[4] 封面,信息理论要素(1991)
[5] Slonim,聚合信息瓶颈,神经信息处理系统进展,第12卷,第617页–(2000)
[8] 贝克曼,分布词簇与文本分类中的词,J.马赫。学习。第3号决议第33页–(2003年)·Zbl 1102.68528号
[11] Schneidman,使用信息瓶颈方法分析神经代码,《神经信息处理系统进展》第15卷(2003年)
[12] 数字对象标识码:10.1046/j.1365-8711.2001.04125.x·文件编号:10.1046/j.1365-8711.2001.04125.x
[13] 内政部:10.1109/TGRS.2006.890557·doi:10.1109/TGRS.2006.890557
[14] 内政部:10.1109/5.726788·数字对象标识代码:10.1109/5.726788
[15] 内政部:10.1109/TIT.2009.2037045·Zbl 1366.94715号 ·doi:10.10109/TIT.2009.2037045
[16] Parker,《退火与速率失真问题》,《神经信息处理系统进展》15卷15页969页–(2003)
[17] 内政部:10.1007/s10884-004-6112-0·Zbl 1087.90073号 ·doi:10.1007/s10884-004-6112-0
[18] Nocedal,数值优化(2000)
[20] Golubitsky,分岔理论中的奇点和群I(1985)·Zbl 0607.35004号
[21] 史,归一化切割与图像分割,IEEE Trans。模式分析。马赫。智力。第22页,888页–(2000年)·Zbl 05111961号 ·数字对象标识代码:10.1109/34.868688
[22] DOI:10.1016/j.patcog.2007.06.014·Zbl 1131.68097号 ·doi:10.1016/j.patcog.2007.06.014
此参考列表基于出版商或数字数学图书馆提供的信息。它的项目与zbMATH标识符启发式匹配,并且可能包含数据转换错误。在某些情况下,zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献,而不要求完整或完全匹配。