梅里·罗恩;雅各布·扎哈维 使用模拟退火来优化营销应用中的特征选择问题。 （英语） Zbl 1116.90069号 欧洲药典。物件。 171，第3期，842-858（2006）. 摘要：特征选择（以及规范）问题涉及从一组可能包含数百个预测因子的更大的潜在预测因子中找到预测建模中最具影响力的预测因子子集。该问题属于组合优化领域，其目标是找到优化拟合优度函数值的变量子集。由于问题的维数，特征选择问题属于NP-hard问题。大多数可用的预测因子都是有噪声或冗余的，对模型的预测能力影响很小（如果有的话）。在模型中使用所有预测因子通常会导致强烈的过拟合和非常糟糕的预测。由于计算量大，通过检查所有可能的子集来构建预测模型是不切实际的。单独查看每个预测因子的贡献是不准确的，因为它忽略了预测因子之间的相互关系。因此，对于特征选择问题，没有可用的分析解决方案，这需要诉诸启发式。本文采用模拟退火（SA）方法来指定大规模线性回归模型，这是一种领先的随机搜索方法。SA结果与更常见的模型规范逐步回归（SWR）方法的结果进行了比较。这些模型应用于数据库营销中的实际数据集。我们还使用模拟数据集来研究什么样的数据特征使得SWR方法等同于更优越的SA方法。 引用于24文件 MSC公司： 90磅60 营销、广告 62J05型 线性回归；混合模型 关键词：特征选择;逐步回归;模拟退火;数据库营销 PDF格式BibTeX公司 XML格式引用 \textit{R.Meiri}和\textit{J.Zahavi}，欧洲期刊Oper。第171号决议，第3882-858号（2006年；兹bl 1116.90069） 全文： DOI程序 参考文献： [1] Akaike，H.，统计识别模型的新视角，IEEE自动控制事务，19716-723（1974）·Zbl 0314.62039号 [2] 阿穆阿利姆，H。；Dietterich，T.G.，《具有许多不相关特征的学习》（第九届全国人工智能会议（1991年），麻省理工学院出版社），547-552 [3] 阿穆阿利姆，H。；Dietterich，T.G.，《在存在许多不相关特征的情况下学习布尔概念》，《人工智能》，69，279-306（1994）·Zbl 0942.68657号 [4] Anily，S。；Federgruen，A.，具有一般接受概率的模拟退火方法，应用概率杂志，24657-667（1987）·Zbl 0628.60046号 [5] Y.本杰米尼。；Hochberg，Y.，《控制错误发现率：一种实用而有力的多重测试方法》，《皇家统计学会杂志》，B辑，57289-300（1995）·Zbl 0809.62014号 [6] 布鲁姆律师事务所。；Langley，P.，《机器学习中相关特征和示例的选择》，人工智能，97，245-271（1997）·Zbl 0904.68142号 [7] 布鲁姆律师事务所。；Rivest，R.L.，《训练一个三节点神经网络是NP-complete》，神经网络，5，117-127（1992） [8] Cardie，C.，《使用决策树改进基于案例的学习》（《第十届机器学习国际会议论文集》（1993），Morgan Kaufmann Publishers，Inc.），25-32 [9] Caruana，R.，Freitag，D.，1994年。贪婪的属性选择。摘自：第十一届机器学习国际会议论文集。；Caruana，R.，Freitag，D.，1994年。贪婪的属性选择。摘自：第十一届机器学习国际会议论文集。 [10] Churchill，G.A.，《市场研究》（1999），德莱顿出版社 [11] 克莱德，M。；George，E.I.，《小波非参数回归中的经验贝叶斯估计》（Muller，P.；Vidakovic，B.，《基于小波的模型中的贝叶斯推断》（1999），Springer-Verlag），309-322·Zbl 0936.62008号 [12] 克莱德，M.，乔治，E.I.，2000年。小波的灵活经验Bayes估计。英国皇家统计学会杂志，B辑，62681-698。；克莱德，M.，乔治，E.I.，2000年。小波的灵活经验Bayes估计。英国皇家统计学会杂志，B辑，62681-698·Zbl 0957.62006号 [13] 克鲁兹，J.R。；Dorea，C.C.Y.，模拟退火型算法收敛的简单条件，应用概率杂志，35885-892（1998）·Zbl 0932.65068号 [14] Dash，M。；Liu，H.，分类的特征选择方法，智能数据分析：国际期刊，1，3（1997） [15] DeGroot，M.H.，《概率与统计学》（1991），艾迪森·韦斯利：马萨诸塞州艾迪森·韦斯利·雷丁·Zbl 0101.12902号 [16] Devijver，P.A。；Kitler，J.，《模式识别：统计方法》（1982），普伦蒂斯·霍尔：普伦蒂斯霍尔-恩格尔伍德悬崖，新泽西州·Zbl 0542.68071号 [17] 艾本，A.E。；阿尔茨，E.H.L。；Van Hee，K.M.，遗传算法的全局收敛，（Schwefel，H.-P.；Männer，R.，《自然的并行问题解决》（1991），施普林格：施普林格-柏林和海德堡），4-12 [18] 福斯特，D.P。；George，E.I.，《多元回归的风险通货膨胀标准》，《统计年鉴》，221947-1975（1994）·Zbl 0829.62066号 [19] 福斯特，D.P。；George，E.I.，《校准和经验贝叶斯变量选择》，《生物统计学》，87，4，731-747（2000）·Zbl 1029.62008号 [20] Geman，S。；Bienenstock，E。；Doursat，R.，《神经网络与偏差/方差困境》，神经计算，4，1，1-58（1992） [21] 乔治·E。；McCulloch，R.，吉布斯抽样中的变量选择，美国统计协会杂志，88，881-889（1993） [22] Hancock，T.R.，1989年。关于寻找小型一致决策树的困难。未出版手稿，哈佛大学。；Hancock，T.R.，1989年。关于寻找小型一致决策树的困难。哈佛大学未出版手稿。 [23] 汉南，E.J。；Quinn，B.G.，《自回归顺序的确定》，皇家统计学会B，2190-195（1979）·Zbl 0408.62076号 [24] Hodges，J.L.，Smirnov双样本检验的显著性概率，Matematik的Arkiv，3469-486（1957）·Zbl 0084.14502号 [25] Hurvich，C.M。；Tsai，C.L.，小样本中的回归和时间序列模型选择，Biometrika，76297-307（1989）·Zbl 0669.62085号 [26] Hurvich，C.M。；Tsai，C.L.，空间自适应函数估计中硬小波阈值的交叉验证AIC，Biometrika，85，3（1998）·Zbl 0954.62040号 [27] Jain，A。；Zongker，D.，特征选择评估、应用和小样本性能，IEEE模式分析和机器智能汇刊，19，2，153-158（1997） [28] John，G.H.，Kohavi，R.，Pfleger，K.，1994年。无关特征和子集选择问题。摘自：《第十一届机器学习国际会议论文集》，第121-129页。；John，G.H.，Kohavi，R.，Pfleger，K.，1994年。无关特征和子集选择问题。摘自：《第十一届机器学习国际会议论文集》，第121-129页。 [29] Johnstone，I.M.，Silverman，B.W.，1998年。混合问题和小波回归的经验贝叶斯方法。布里斯托尔大学技术报告。；Johnstone，I.M.，Silverman，B.W.，1998年。混合问题和小波回归的经验贝叶斯方法。布里斯托尔大学技术报告。 [30] Kasse，R。；Raftery，A.E.，贝叶斯因子，《美国统计协会杂志》，90，773-785（1995）·Zbl 0846.62028号 [31] Kira，K。；Rendell，L.A.，《特征选择的实用方法》，（第九届机器学习国际会议论文集（1992），Morgan Kaufmann） [32] 柯克帕特里克，S。；Gelatt，C。；Vecchi，M.，《模拟退火优化》，《科学》，220671-680（1983）·Zbl 1225.90162号 [33] Kohavi，R。；John，G.H.，《特征子集选择的包装器》，人工智能，97，1-2，273-324（1998）·Zbl 0904.68143号 [34] Kohavi，R。；Sommerfield，D.，《特征子集选择的包装器》，人工智能，97，1-2，273-324（1995）·Zbl 0904.68143号 [35] Koller，D.，Sahami，M.，1996年。朝向最佳特征选择。摘自：《第十三届机器学习国际会议论文集》，意大利巴里，1996年7月，第284-292页。；Koller，D.，Sahami，M.，1996年。朝向最佳特征选择。摘自：《第13届机器学习国际会议论文集》，意大利巴里，1996年7月，第284-292页。 [36] Kononenko，I.，1994年。评估属性：地形分析和延伸。摘自：Bergandano，F.，Raedt，L.D.（编辑），《欧洲机器学习会议论文集》。；Kononenko，I.，1994年。评估属性：地形分析和延伸。摘自：Bergandano，F.，Raedt，L.D.（编辑），《欧洲机器学习会议论文集》。 [37] Lambert，P.J.，《收入的分配和再分配》（1993），曼彻斯特大学出版社 [38] 刘，H。；Motoda，H.，《知识发现和数据挖掘的特征选择》（1998），Kluwer学术出版社·Zbl 0908.68127号 [39] Melab，N.，Cahon，S.，Talbi，E.-G.，Duponchel，L.，2002年。光谱数据挖掘中基于并行GA的包装器特征选择。国际并行和分布式处理研讨会：IPDPS 2002研讨会，2002年4月。；Melab，N.，Cahon，S.，Talbi，E.-G.，Duponchel，L.，2002年。光谱数据挖掘中基于并行GA的包装器特征选择。国际并行和分布式处理研讨会：IPDPS 2002研讨会，2002年4月。 [40] 北卡罗来纳州大都会。；罗森布鲁斯，A。；罗森布鲁斯，M。；出纳员，A。；Teller，E.，模拟退火，化学物理杂志，211087（1953）·Zbl 1431.65006号 [41] Miller，A.J.，回归中的子集选择（2002），Chapman和Hall，（第2版）·Zbl 1051.62060号 [42] 米切尔·T·J。；Beauchamp，J.J.，线性回归中的贝叶斯变量选择（带讨论），美国统计协会杂志，831023-1036（1998）·Zbl 0673.62051号 [43] Motoda，H。；Liu，H.，特征选择，《数据挖掘和知识发现手册》（2002），牛津大学出版社，pp。208-213 ·兹比尔1003.68037 [44] Rudolph，G.，标准遗传算法的收敛性分析，IEEE神经网络汇刊，进化计算专刊，5，1（1994） [45] Schilmmer，L.C.，1993年。高效诱导确定：使用最佳修剪的完整系统搜索算法。摘自：《第十届机器学习国际会议论文集》，第284-290页。；Schilmmer，L.C.，1993年。高效诱导确定：使用最佳修剪的完整系统搜索算法。摘自：《第十届机器学习国际会议论文集》，第284-290页。 [46] Schwarz，G.，估算模型的维度，《统计年鉴》，第6461-464页（1978年）·Zbl 0379.62005年 [47] 邵，J.，通过交叉验证选择线性模型，美国统计协会杂志，88，486-494（1993）·Zbl 0773.62051号 [48] 西德莱基。；Sklansky，J.，《关于自动特征选择》，《国际模式识别和人工智能杂志》，2197-220（1988） [49] Tibshirani，R。；K.奈特，《模型选择的协方差膨胀标准》，《皇家统计学会杂志》，B辑，生物特征，85，701-710（1999） [50] van Laarhoven，P.J.J。；Aarts，E.H.L.，《模拟退火：理论与应用》（1987年），Kluwer:Kluwer-Boston·Zbl 0643.65028号 [51] Wei，C.Z.，《预测最小二乘原理》，《统计学年鉴》，29，1-42（1992）·Zbl 0801.62083号 [52] Ye，J.，《关于测量和纠正数据挖掘和模型选择的影响》，《美国统计协会杂志》，93120-131（1998）·Zbl 0920.62056号 [53] 郑，X。；Loh，WY.，高维协变量线性模型的一致变量选择准则，统计研究，7311-325（1997）·Zbl 0880.62068号 此参考列表基于出版商或数字数学图书馆提供的信息。其项与zbMATH标识符进行启发式匹配，可能包含数据转换错误。在某些情况下，zbMATH Open的数据对这些数据进行了补充/增强。这试图尽可能准确地反映原始论文中列出的参考文献，而不要求完整或完全匹配。