跳到主页内容
美国国旗

美国政府的官方网站

Dot政府

gov意味着它是官方的。
联邦政府网站通常以.gov或.mil结尾。之前分享敏感信息，确保你在联邦政府网站。

Https系统

该站点是安全的。
这个https（https）：//确保您连接到官方网站，并且您提供的任何信息都是加密的并安全传输。

访问密钥 NCBI主页 MyNCBI主页 主要内容 主导航
.2016年8月10日；16(8):1264.
doi:10.3390/s16081264。

基于多模态上下文挖掘的人类行为分析

奥雷斯蒂·巴诺斯 1 2, 克劳迪娅·维拉隆加 三 4, Jaehun Bang公司 5, Taeho Hur公司 6, Donguk Kang公司 7, 桑贝姆公园 8, 蒂恩·休恩（Thien Huynh-The） 9, Vui Le-Ba公司 10, 穆罕默德·比拉尔·阿明 11, 穆罕默德·阿西夫·拉扎克 12, 瓦哈亚特·阿里·汗 13, Choong Seon Hong先生 14, Sungyoung Lee（李成阳） 15
附属公司

基于多模态上下文挖掘的人类行为分析

奥雷斯蒂·巴诺斯等。 传感器（巴塞尔）. .

摘要

有足够的证据证明，消极的生活方式选择对人们的健康和福祉产生了影响。改变不健康行为需要提高人们的自我意识，还需要向医疗专家提供对用户行为的全面、持续描述。过去提出了几种监测技术来跟踪用户的行为；然而，这些方法要么是主观的，容易误报，例如问卷调查，要么只关注上下文的特定组成部分，例如活动计数器。这项工作提出了一个创新的多模式上下文挖掘框架，以更全面的方式检查和推断人类行为。所提议的方法超越了最先进的技术，因为它不仅探索了唯一类型的上下文，而且以整体的方式结合了不同层次的上下文。也就是说，通过机器学习技术，从异质感官数据中识别出低层次的上下文，包括活动、情绪和位置。使用本体机制组合低级上下文，以获得用户上下文的更抽象表示，这里称为高级上下文。本文还介绍了支持实时上下文识别的框架的初步实现。利用新型多模式上下文开放数据集和现有数据，对开发的系统进行了各种现实场景的评估，证明了在低级别和高级别上都具有突出的上下文软件功能。

关键词：活动识别；情境意识；情感认同；人类行为；位置跟踪；机器学习；本体论。

PubMed免责声明

数字

图1
图1
多模式上下文挖掘框架的体系结构。
图2
图2
低级别上下文感知操作流程。
图3
图3
高级上下文感知操作流程。
图4
图4
作为多模式上下文挖掘数据集的一部分收集的一些低级上下文的示例。
图5
图5
用于收集多模式上下文挖掘数据集的传感器设备。智能手表通常由用户放在右手腕上，而智能手机则根据用户的选择放在不同的位置。Kinect视频设备仅用于家庭场景中的监控。
图6
图6
描述惯性活动识别器性能的混淆矩阵。
图7
图7
描述视频活动识别器性能的混淆矩阵。
图8
图8
描述音频情感识别器性能的混淆矩阵。
图9
图9
描述地理定位位置识别器性能的混淆矩阵。
图10
图10
在对受试者S11–S15进行在线评估期间，由多模式上下文挖掘系统检测到的低级和高级上下文。实际情况由基本事实标签给出。每个上下文和所有科目的总体表现由相应的F分数给出。图例：A1=吃、A2=正在运行，A3=坐，A4=站立，A5=行走，A6=拉伸，A7=清扫，A8=躺下来); E1级=愤怒，E2级=幸福，E3=中性，E4类=悲伤; 第一层=主页，二级=办公室，L3级=餐厅，L4=健身房，L4=购物中心; 上半年=不活动，氢气=办公，H3=锻炼，H4=正在用餐，H5=家务.
请参阅PMC中的此图像和版权信息

类似文章

  • 挖掘人类行为促进健康。
    Banos O、Bang J、Hur T、Siddiqi MH、Thien HT、Vui LB、Khan WA、Ali T、Villalonga C、Lee S。 Banos O等人。 2015年IEEE Eng-Med Biol Soc.国际年会；2015:5062-5. doi:10.1109/EMBC.2015.7319529。 2015年IEEE Eng-Med Biol Soc.国际年会。 PMID：26737429
  • Mining Minds数字健康与福利框架。
    Banos O、Bilal Amin M、Ali Khan W、Afzal M、Hussain M、Kang BH、Lee S。 Banos O等人。 生物工程在线。2016年7月15日；15补充1（补充1）：76。doi:10.1186/s12938-016-0179-9。 生物工程在线。2016 PMID：27454608 免费PMC文章。
  • 健康与健康平台的多模态感官数据管理。
    Amin MB、Banos O、Khan WA、Muhammad Bilal HS、Gong J、Bui DM、Cho SH、Hussain S、Ali T、Akhtar U、Chung TC、Lee S。 Amin MB等人。 传感器（巴塞尔）。2016年6月27日；16(7):980. doi:10.3390/s16070980。 传感器（巴塞尔）。2016 PMID：27355955 免费PMC文章。
  • 哺乳动物嗅觉系统计算模型的性能。
    本杰明森·S、赫尔曼·P、兰斯纳·A。 Benjaminsson S等人。 作者：Persaud KC、Marco S、Gutiérrez-Gálvez A，编辑。神经形态嗅觉。博卡拉顿（佛罗里达州）：CRC Press/Taylor&Francis；2013年第6章。 作者：Persaud KC、Marco S、Gutiérrez-Gálvez A，编辑。神经形态嗅觉。博卡拉顿（佛罗里达州）：CRC Press/Taylor&Francis；2013年第6章。 PMID：26042330 免费书籍和文件。 审查。
  • 情感识别方法调查：音频、视频和自发表达。
    Zeng Z、Pantic M、Roisman GI、Huang TS。 曾Z等。 IEEE跨模式分析马赫积分。2009年1月；31(1):39-58. doi:10.1109/TPAMI.2008.52。 IEEE Trans-Pattern Ana Mach Intell公司。2009 PMID：19029545 审查。
查看所有类似文章

引用人

查看所有“被引用”文章

工具书类

    1. 世界卫生组织。2014年全球非传染性疾病状况报告。世界卫生组织；瑞士日内瓦：2014年。技术报告。
    1. Burke L.E.、Swigart V.、Turk M.W.、Derro N.、Ewing L.J.《自我监控经验：减肥治疗过程中的成功与挣扎》。资格。2009年健康研究；19:815–828. doi:10.1177/1049732309335395。-内政部-项目管理咨询公司-公共医学
    1. Shephard R.J.通过问卷测量习惯性体力活动的限制。英国体育医学杂志，2003年；37:197–206. doi:10.1136/bjsm.37.3.197。-内政部-项目管理咨询公司-公共医学
    1. Swan M.Health 2050：通过众包、量化自我和参与式生物公民实现个性化医疗。《人物医学杂志》，2012年；2:93–118. doi:10.3390/jpm2030093。-内政部-项目管理咨询公司-公共医学
    1. Fitbit Surge.[（2015年11月30日访问）]。在线可用：https://www.fitbit.com/surge.