1.简介
近年来，物联网（IoT）由于在不同领域（例如，活动识别）实施了有用的应用程序而变得流行起来。研究人员通常将此术语与传感器、执行器和移动设备等技术联系起来，这些技术结合了解决日常生活问题的努力。由于物联网的进步和普及，人们对在行业中使用基于物联网的系统感兴趣，例如安全、运输、环境监测等。
研究人员创建了各种工具，可用于创建移动感应活动。这些工具，我们称之为行为传感系统（BSS），负责监测使用智能手机、可穿戴设备和其他设备的人类受试者。这些BSS已应用于卫生保健等多个领域。例如，在[1]实施BSS作为院内紧急情况的警报机制。此外，还为家庭护理、医院或旅行环境中的慢性病患者提供了专门的健康监测平台[2]. BSS用于交通领域，以测量和定位公共道路上的延误，并改变用户的路线[三]. 此外，BSS还用于识别用户的传输方法[4,5]. 尽管BSS之前已经提出，例如[6,7,8,9,10]它们有几个局限性，例如：（1）BSS既不标准化，也不非常灵活，因此每次计划调查或传感活动时，通常都会创建或扩展传感系统；（2） 除了电池限制外，手机、可穿戴设备也是异构的，这意味着型号和品牌决定了所包含传感器的类型、质量以及可以收集的数据质量；（3） 最后，大多数BSS都是以个人为中心的[6,7,10,11,12]因此，一些群体背景可能很难推断。我们将在以下部分对此进行解释。 在研究家庭成员及其背景很重要的情况下，需要一个集成的传感系统，以便能够从家庭成员的手机和位于家庭聚集地点（如厨房、客厅或后院）的传感设备中收集数据。除此之外，从研究的角度来看，研究人员必须能够配置传感系统，以收集和预处理选择性数据，而无需太多麻烦。虽然传感平台确实可以从固定传感器收集数据，但它们主要侧重于收集连续的数据流，而不管其重要性或用户隐私[13,14]或将对象描述为数据/服务提供者[15,16]. 拥有一个可以配置为在预先部署或运行时从研究人员的桌子上收集个人（例如，移动电话传感器数据）和组上下文（例如，来自客厅中固定设备的传感器数据）的平台尤其罕见。这是可取的，因为传感活动（即数据收集协议）的要求可能会随着时间的推移而变化，因为它们可能会运行数月。 传统的BSS主要关注放置在手机中的传感器。使用位于家庭环境中特定位置的固定设备可以使用比移动设备中使用的传感器更专用的传感器（例如，室内温度、二氧化碳水平）。不用说，在特定场景或研究中，这可以丰富上下文，否则很难理解收集的数据。此外，由于BSS通常侧重于推断人类活动，因此使用个人和集体背景可以更好地理解人类活动。例如，一些研究表明，情绪和外界天气之间存在联系[17]. 研究类似的变量和家庭动力学，可以帮助解释，也许可以推断出更复杂的变量，例如正在监测的双相情感障碍患者的情绪变化。此外，一些可能感兴趣的传感器通常不包括在智能手机等非现成设备中。 在这项工作中，我们扩展了一个手机传感平台[18,19,20]通过在商业物联网设备（如Raspberry Pi或Intel Edison）中安装非移动传感器。通过添加非移动传感器，并将其与智能手机一起用于传感活动，我们能够设计独特的传感活动，并从群体或集体收集行为数据。我们还介绍了如何扩展移动电话传感平台，以及如何在半控制环境中实现它，以从被监测的二元数据中收集数据。即使以前在感应活动中使用过非移动传感器，使用单一平台配置移动电话和非移动设备也有助于快速部署感应活动。这确实是拟议方法的优点之一。 本文提出了一种使用现有传感平台的可扩展架构来实施传感活动的新方法。在以下章节中，我们描述了集体感知的概念、支持集体感知的平台的实现、与其他类似平台相比的优势，以及平台的主要架构和功能。此外，我们还提供了一个用例来说明如何在此类设置中部署平台。
2.集体感应
集体感知包括使用不同的移动和非移动设备，当它们在共享空间或不在一起时，能够选择性地收集群体上下文。此外，集体感知还提供了感知群体的能力，例如家庭、教室或校园学习、客座建筑、会议或科学家可能感兴趣的任何其他类型的群体或社区。
如本工作所述，集体感应的吸引力之一不一定是在中央存储库上收集和聚合的原始数据的完整流上，这本身就意味着挑战，例如传感器流同步或数据融合，而是什么时候收集这些原始传感器数据怎样由移动设备和非移动设备处理。所有这些都可以在研究人员办公桌上的传感活动的设计阶段完成。也就是说，部署设备并为传感活动做好准备时所付出的努力可能是最小的，但在运行时重新部署传感活动时也会付出最小的努力，因为一旦连接到网络参与设备，就可以通过基于web的界面从研究人员的桌子上（重新）编程。使用的移动和非移动设备运行Android或Linux等操作系统（OS），这有助于在运行时进行远程操作和配置。
与大多数以个人为中心的感知平台相比，集体感知的优势在于：（1）更好地理解群体背景，（2）个人以外的环境覆盖范围更广，（3）由于移动设备中通常缺少专用传感器，数据更丰富，以及（4）通过配置和部署传感活动的单个基于web的界面，在设计阶段和运行时对传感平台进行更大的控制。后者特别有用，因为研究人员通常很少有时间或技术知识来重新配置或重新编程智能手机或Raspberry Pi等设备。
我们可以设想集体感应的几种应用，范围如下。首先，研究养老院中老年人的行为，他们在一起时的情感状态，以及环境可能对他们的健康产生的影响。此外，人们可以研究功能失调的家庭，以更好地了解家庭动态是什么以及如何影响个人行为，反之亦然。另一个有趣的研究，例如[21]，可以是学生在环境和群体共存方面的表现。后者是一个不太受控制的环境，因为学生生活可能涉及多个地点，例如家、大学校园（例如图书馆、教室）、朋友家和公共场所（例如餐厅），这些地点可能很难用一些现有平台实现。 目前，没有支持集体感应要求的BSS。如前所述，大多数BSS都以个人为中心，使用智能手机等移动设备，通常不考虑群体背景。集体感应的实施促进并丰富了需要研究聚集或同居在同一空间的多个参与者的研究。集体感应平台的重要要求包括：（1）在运行时灵活的感应活动配置，使研究人员能够有多种感应选项（2）随时编辑活动，以防用户必须在不延迟设备重新部署的情况下进行动态修正，（3）传感组件的自动创建，为用户节省编程时间，（4）非移动设备的自动编程，以及（5）收集数据的安全性和隐私性，关系数据库的独立实例和在离开参与设备之前预处理的原始数据。
实施集体感应有几个挑战，其中包括：（a）统一从不同供应商收集的数据；（b） 聚合数据进行分析；（c） 基于网络的传感活动管理；（d） 支持移动设备（如智能手机）和非移动设备（例如Raspberry Pi）；（e） 移动和非移动设备的能耗和正常运行时间不同。此外，就正式研究而言，在上述场景中部署传感活动也存在挑战。首先，与个人打交道时，知情同意可能更容易。小组成员当然可以签署知情同意书，但当他们中的一些人不同意收集例如温度数据时，可能很难分解小组背景。
集体感应场景
“安德鲁是一位心理学家，他想从不同的角度研究功能失调的家庭。他多年来一直致力于这一主题，但真的很想在自己的领域取得突破。他刚刚听说了一种使用移动技术的新方法。作为一项试验，他邀请了一个住在郊区的中产阶级家庭，即约翰斯托家庭n家，在研究中合作。他们家里安装了一些设备，每个人都同意在手机上安装一个应用程序。安德鲁对他们在一起的时间以及他们不在一起时家庭成员所在的地方类型感兴趣。家里的设备使安德鲁能够知道他们什么时候在聊天，通过他们的手机，他可以准确地知道谁在和谁聊天。此外，安德鲁还掌握了关于房子具体方面的信息，例如每个房间的室内温度、亮度、运动传感器，以及文献中报道的对日常情绪有影响的其他方面。由于他对每个成员都有心理背景，他知道最小的约翰特别容易超脱，这影响了他的母亲朱莉娅，而这反过来又影响了当时失业的父亲佩德罗。佩德罗有几次滥用药物，这使他对最大的孩子之一朱莉娅和玛丽更加挑衅。朱莉娅觉得自己被忽视了，有抑郁症状。另一方面，玛丽不知道她是否应该为父亲的行为负责。在收集了16周的数据后，安德鲁发现他们在厨房待的时间越长，表现出攻击性行为的可能性就越小。他还发现了天气和约翰情绪变化之间的有趣联系。安德鲁对他所获得的技术非常满意，因为他并不认为自己是技术高手。”
3.InSense IoT：用于传感活动的集体传感系统
我们扩展了InSense[7,19,20]包含物联网设备的移动传感平台。InSense是一个运行在Android驱动设备（例如手机、谷歌眼镜）上的移动传感平台，已对其进行了多项调查。一些核心功能包括：（a）动态重新配置，（b）数据压缩，（c）数据传输，以及（d）用于配置传感活动的图形用户界面（GUI）[7]. 我们扩展了InSense的物理架构，该架构现在由不同的硬件和软件组件组成，我们将此扩展命名为InSense IoT。InCense服务器指导感应活动的配置流程。网络平台在InCense服务器上运行，用于配置和设置传感活动。应用程序编程接口（API）用于接收来自物联网设备的数据。此外，编码器组件现在负责生成物联网设备（例如爱迪生、Raspberry Pi）和数据库的源代码，该数据库目前位于InSense服务器上。
在扩展的体系结构中，主要是基于文本的数据，主要是以JavaScript Object Notation（JSON）表示形式收集的文本数据。音频流收集在音频文件中，然后进行处理以提取感兴趣的特征，通常捕获的音频文件不会因隐私和网络性能而离开参与设备。在InSense服务器上，预处理的数据存储在数据结构中（请参阅图1). 为了方便科学家，该平台提供了直接管理数据库的凭据，以防需要。每个活动的所有者可以根据合作者在研究中的角色（例如参与者、首席科学家、学生）向他们提供数据访问。 数据结构基于关系数据库图，其中每个设备与传感器之间有一对多关系，传感器与采集的样本之间有一对多关系。在此结构中，设备的通用唯一标识符（UUID）、型号（即Intel Edison）、人类可读的位置和设备的地理坐标（即纬度、经度）。每个传感器存储的数据因其功能而异（例如，温度传感器的摄氏度精确度）。在结构（模式）中为与传感器相关联的每种类型的样本定义了一个表。为每个样本定义一个值和一个时间戳字段。使用数据结构有一些优点，例如科学家对样品和传感器的特性有更深入的了解。它还允许使用数据库引擎进行查询。
负责该活动的科学家可以同时创建多个传感活动。每个活动都分配了一个单独的数据库，以隔离和安全的方式管理收集的数据。只有活动的所有者可以完全访问收集的数据，所有者的合作者可以访问所有者想要的功能，例如活动编辑、图形可视化。数据库凭据仅提供给所有者。目前，研究人员无法通过网络界面操作数据；操作收集的数据的唯一方法是使用标准SQL语言和凭据。它的存储效率与关系数据库相同，有其目前的优缺点。要启动活动，需要通过基于web的GUI将配置JSON文件上传到系统。此文件可以由InSense平台生成，也可以由程序员手动创建（如果需要），它包括感应活动的配置文件。目前，GUI和后台例程将此活动转换为物联网设备的源代码（例如Python）。配置活动后，如有必要，可以由InSense IoT平台进行修改。传感活动元数据也可以修改：合作者、设备、传感器以及传感活动的名称、描述和状态（请参阅图2). 传感活动的配置包括几个部分。Main部分提供对以下数据的访问：状态、名称和描述。协作者部分：可以通过输入电子邮件和权限（信息活动、编辑活动）来添加协作者。设备部分：型号、UUID、位置描述、位置纬度、位置经度。传感器部分：关联设备、传感器类型、采样率和每种类型传感器的特定字段。一旦设置了感应活动，非移动设备将自动编程以收集所选配置的数据。
GUI使用基于时间的数据图显示信息。通过这种方式，研究人员在分析之前对数据进行了概述(图3). 此可视化功能允许通过动态界面随时监控传感活动，并可选择设备、传感器和数据采集的时间间隔。最后，相关设备的地理位置显示在地图上。该位置基于谷歌地图API，因此室内定位的粒度仍然普遍不可用。 以下图4, The
编码器解释JSON格式的感应活动配置，以创建在非移动设备（即InSense IoT）中感应所需的脚本。它的作用是获取Python中的代码模板(图5)与传感器关联，并用活动规范替换指示的代码行。此模板文件通过JavaScript库进行操作。基于此模板，为每个配置的传感器创建一个新文件，并将其存储在Git存储库中，非移动设备可以访问该存储库。此外，还有一个文件是在创建由操作系统的CRON（守护进程）执行的感知活动时配置的。该python文件以多线程方式执行所有脚本，从而透明地开始物联网设备的传感过程。 在物联网设备（即非移动设备）中，数据以JSON表示形式存储。然后同步设备，以便在一天中的特定时间（通常是在晚上）将文件发送到服务器。此配置由操作系统的CRON例程执行。然后，数据通过InSense服务器上实现的RESTful方法接收，并存储在与感知活动相关的数据库中。可以通过三种不同的方式访问数据：（1）基于web的可视化系统，（2）使用相应的凭据访问数据库，以及（3）下载带有模式和收集的数据的SQL文件，即SQL转储文件。
4.用例：引导InSense物联网和集体感知
为了说明社会科学研究人员如何使用InSense，我们提供了一个用例，在该用例中，我们从半受控环境中的母子身上收集数据。此用例的目的是双重的：（1）说明如何部署InSense IoT来收集感兴趣的数据，以及（2）为社会科学家提供一个相对简单的用例，可以帮助他们设想其研究中的潜在有用性。
这项数据收集协议是由残疾儿童治疗师设计的，他们有兴趣研究母亲在孩子面对温和的叫声任务时的行为。特别是，治疗师对母亲的指导行为很感兴趣，因为这些行为对孩子的自我管理和自我决定有多方面的影响，因此非常重要。
对于数据采集协议，任务被定义为拼图，为此我们实现了InSense IoT。该项目得到了IRB的批准，我们得到了所有母亲的知情同意。
对于指导性行为，我们收集了亲近度和直接干预，以及父母的声音指示或指示。通过治疗师，我们招募了12名母子二人组。所有儿童都患有唐氏综合症。会议简要地包括一个孩子在母亲的直接监督下将3个拼图拼在一起（参见图6b） ●●●●。孩子收到了三个盒子，每个盒子里都有一个拼图，拼图的数量在增加，分别是4块、9块和21块。每个孩子一次收到一个盒子，第一个盒子的碎片更少。 对于这个用例，我们使用了一个配置了已实现平台的感知活动，创建了可以帮助我们监控父母行为的组件(图7). InSense Mobile使用麦克风耳机在基于Android的智能手机上运行。这是用来检测母亲的声音方向的。音频数据在1000毫秒的离散样本中进行处理。我们使用标准的基于音高的算法来检测母亲说话的时间。为了推断母亲的干预，我们在智能手机上使用了一个加速度传感器，在物联网设备中使用了超声波传感器来检测母亲何时接近孩子。这两个部分可以结合使用基于规则的推理或其他方法（如模糊逻辑或神经网络）来监控母亲的指导行为。 对于音频数据，应用了音量过滤器和基于规则的录制音频摘录。当检测到音高时，它会录制一段音频片段，当检测到3-s静音时，它就会停止。此外，对距离数据应用了过滤器。边界被配置为父母和孩子之间的0-3米距离。
除了能够实现该数据收集协议的技术方面，以及参与者数量减少等明显限制外，重要的是要强调这样一个平台如何帮助社会科学家、医生、心理学家或治疗师。其中最明显的是在半控制或潜在自然环境中自动标记事件。社会科学家通常通过问卷或访谈的方式，以自我报告为基础进行研究。据报道，基于用户帐户的自我报告容易产生意外偏差，而且通常不可靠[7]. 行为科学家在受控或半受控环境中使用的其他研究方法是基于视频分析或现场观察的直接或间接观察（通常使用两个观察者进行无偏分析），这不仅耗费时间，而且耗费大量精力来计划、执行和分析。使用自动或半自动标记感兴趣的事件可以加快和扩大研究，如所示 5.讨论
本文中讨论的技术可以帮助社会科学家、医生、心理学家或治疗师更好地理解多人相互作用的场景，特别是在群体互动可能有意义的环境中。除了记录人类感兴趣的活动外，研究人员还可以利用这项技术自动标记感兴趣的事件。这反过来可以用于更好地调整某些治疗或非药物干预。
有几个与此相关的挑战。其中之一是分解组上下文，以备需要。将个人和群体作为单独的分析单位，对推进研究无疑是有益的。我们认为，集体背景对推进集体和个人背景都重要的领域的研究具有多方面的影响，因为一方可能有兴趣了解一方影响另一方。
我们的技术工作仍然存在一些局限性，比如提前知道将部署哪些物联网设备，即硬件，以及安装了哪些传感器和哪些管脚。这是因为在设计阶段，传感活动会对设备进行编程，以选择性地收集上下文，这意味着并非所有数据流都会同时被考虑。虽然在某些领域收集所有原始传感器数据是可取的，并且可能同时需要（例如，机器学习），但在实际应用中，例如在家庭中，这可能不适用于隐私和安全（即设备处理）、网络使用以及与存储、检索和计算这些数据相关的成本。
6.结论
在本文中，我们提出了一种可用于集体感知的BSS，这是一种用于感知活动的范例，可增强移动感知活动。它提供了一种范式，能够研究将固定位置传感器与移动传感相结合的群体。此外，由于平台负责为设备编写必要的代码，因此它利用GUI创建感应活动，而无需深入的编程技术。它将收集的数据存储在以前在关系数据库中定义的模式中。研究人员获得了访问收集的原始数据的凭证。
我们当前的实现可以为活动添加更多的研究人员，这样他们就可以做出贡献，所有者可以通过平台授予特权（信息、编辑、可视化）。数据可视化是研究人员可以选择数据可视化的时间间隔以及可以选择特定设备和传感器的功能。我们正在计划对此可视化功能进行几项改进，例如添加新的图形，使数据更有意义，图形交互在数据分析和高级可视化功能方面对研究人员有很大潜力。
作为未来的工作，我们将为多个物联网设备和典型传感器提供行为分析支持。增加更多设备的原因是为了给研究人员提供更多的设备选择。我们最初的设备（即爱迪生）不再由英特尔制造。然而，我们正在使用基于Linux的开源板（如Raspberry Pi 3）上运行的高级语言来抽象复杂性。从长远来看，我们计划实现一个基于web的工具，该工具能够分析收集的数据，具有进行统计操作和应用模式识别策略的功能，例如使用标准Python库的模糊逻辑或神经网络。我们计划很快发布平台的公共版本。
