什么是混合现实工具包2?

混合现实工具包


MRTK-Unity是一个微软驱动的项目,它提供了一组组件和功能,用于加速Unity中的跨平台MR应用程序开发。以下是它的一些功能:

  • 提供用于空间交互和UI的跨平台输入系统和构建块.
  • 使能够快速原型制作通过编辑器中的模拟,您可以立即看到更改。
  • 作为可扩展框架这为开发人员提供了交换核心组件的能力。
  • 支持多种设备:
XR SDK插件(Unity XR插件管理插件提供商) 支持的设备
Unity OpenXR插件(Unity 2020或2021 LTS)
(某些设备上的某些功能需要混合现实OpenXR插件)
微软HoloLens 2
Windows混合现实耳机
元任务
通过OpenXR在SteamVR上运行的设备
Windows XR插件 微软HoloLens
微软HoloLens 2
Windows混合现实耳机
Oculus XR插件(Unity 2019或更新的LTS) Meta Quest(通过Oculus集成包)
ARCore XR插件 Android(通过AR基金会)
ARKit XR插件 iOS(通过AR基金会)
XR SDK插件(Unity XR插件管理插件提供商) 支持的设备
Unity OpenXR插件(在MRTK 2.6、Unity 2020或2021 LTS中预览)
(某些设备上的某些功能需要混合现实OpenXR插件)
微软HoloLens 2
Windows混合现实耳机
元任务
通过OpenXR在SteamVR上运行的设备
Windows XR插件 微软HoloLens
微软HoloLens 2
Windows混合现实耳机
Oculus XR插件(Unity 2019或更新的LTS) Meta Quest(通过Oculus集成包)
ARCore XR插件 Android(通过AR基金会)
ARKit XR插件 iOS(通过AR基金会)

支持的其他设备:

  • 用于手跟踪的Ultraleap Leap Motion控制器

注意

我们已经介绍了MRTK3的公众预览,即MRTK的下一章。有关更多信息,请访问MRTK3文件.

MRTK入门

如果您是Unity中MRTK或混合现实开发的新手,我们建议您在设备或模拟器.

一旦你掌握了混合现实和MRTK的诀窍,安装必要的工具并遵循我们的初学者级HoloLens 2教程系列。

想看看引擎盖下面发生了什么吗?

文档

发行说明
发行说明
MRTK概述
MRTK概述
API参考
API参考

生成状态

分行 CI状态 文档状态
主要的 CI状态 文档状态

功能区

用户体验构建块

按钮 按钮
支持各种输入方法的按钮控件,包括HoloLens 2的铰接手

边界控件 边界控件
用于在三维空间中操作对象的标准UI

对象操纵器 对象操纵器
用于单手或双手操作对象的脚本

板岩 板岩
2D样式平面,支持滚动和铰接式手动输入

系统键盘 系统键盘
Unity中使用系统键盘的示例脚本

可交互的 可交互
用于使对象与可视状态和主题支持交互的脚本

解算器 解算器
各种对象定位行为,如标签长、锁身、恒定视图大小和表面磁性

对象集合 对象集合
用于以三维形状布置对象阵列的脚本

工具提示 工具提示
带有灵活锚/枢轴系统的注释UI,可用于标记运动控制器和对象

滑块 滑块
用于调整支持直接手动跟踪交互的值的滑块UI

MRTK标准着色器 MRTK标准着色器
MRTK的标准着色器支持各种具有性能的Fluent设计元素

手动菜单 手动菜单
使用手约束解算器实现快速访问的手锁UI

应用程序栏 应用程序栏
绑定控件的手动激活UI

指针 指针
了解各种类型的指针

指尖可视化 指尖可视化
指尖上的视觉启示提高了直接互动的信心

近距离菜单 近距离菜单
用于近距离交互的浮动菜单UI

空间感知入门 空间感知视图
使全息对象与物理环境交互

语音命令 语音命令
集成语音输入的脚本和示例

进度指示器 进度指示器
用于通信数据过程或操作的可视指示器

对话框 对话框
用于请求用户确认或确认的UI

手动教练 手动教练
当手势尚未设定时帮助指导用户的组件

手物理服务 手物理服务[实验]
手部物理服务支持刚体碰撞事件以及与铰接手的交互

滚动集合 滚动集合
本机滚动三维对象的对象集合

游船码头 码头[实验]
Dock允许对象进出预定位置

视线跟踪:目标选择 视线跟踪:目标选择
将眼睛、声音和手的输入结合起来,在整个场景中轻松快速地选择全息图

视线跟踪:导航 视线跟踪:导航
学习如何根据您正在查看的内容自动滚动文本或流畅地缩放到聚焦内容

视线跟踪:热图 眼动追踪:热图
记录、加载和可视化用户在应用程序中查看内容的示例

工具

优化窗口 优化窗口 依赖关系窗口 依赖关系窗口 生成窗口 生成窗口 输入录制 输入录制
自动配置混合现实项目以实现性能优化 分析资产之间的依赖关系并识别未使用的资产 为混合现实应用程序配置和执行端到端构建过程 在编辑器中记录和回放头部运动和手部跟踪数据

示例场景

MRTK提供了演示如何使用MRTK功能的示例场景。您可以在Assets/MRTK/Examples/Demos文件夹下找到示例场景。阅读示例场景第页了解如何获取和运行示例场景。手交互示例场景是开始体验MRTK的交互和UI构建块的好地方。

示例场景2

MRTK示例中心

使用MRTK示例中心,您可以在MRTK中尝试各种示例场景,而无需构建和部署每个场景。您可以通过在MR特征工具。确保使用Windows设备门户在HoloLens上安装应用程序(第一代)。在HoloLens 2上,您可以下载并安装通过Microsoft Store应用程序的MRTK示例中心.

请参见示例中心自述文件页面了解使用MRTK的场景系统和场景转换服务创建多场景中心的详细信息。

示例场景中心

使用MRTK制作的示例应用程序

元素周期表 银河探索者 曲面示例应用程序
元素周期表是一款开源示例应用程序,演示如何使用MRTK的输入系统和构建块为HoloLens和沉浸式耳机创建应用程序体验。阅读移植故事:使用MRTK v2将元素周期表应用程序引入HoloLens 2 银河探索者是一个开源示例应用程序,最初是在2016年3月作为HoloLens“分享你的想法”活动的一部分开发的。Galaxy Explorer使用MRTK v2更新了HoloLens 2的新功能。阅读故事:全息透镜2的银河探索者的制作 曲面是HoloLens 2的一个开源示例应用程序,它探索了我们如何通过视觉、音频和完全铰接的手抓来创造触觉。查看Microsoft MR开发日会话从曲面应用程序学习详细的设计和开发故事。

2020年混合现实开发日的会议视频

MRDev第1天 MRDev第3天 MRDev第2天
如何从头到尾创建简单MRTK应用程序的教程。了解交互概念和MRTK的多平台功能。 深入研究MRTK的UX构建块,帮助您构建美丽的混合现实体验。 介绍MRTK和外部的性能工具,以及MRTK标准着色器的概述。

请参见混合现实开发日以浏览更多会话视频。

与社区接触

本项目采用了微软开源行为准则.有关更多信息,请参阅行为准则常见问题解答或联系opencode@microsoft.com以及任何其他问题或意见。

混合现实开发中心的有用资源

发现 发现 设计 设计 开发 开发 分发) 分发
学习为HoloLens和沉浸式耳机(VR)构建混合现实体验。 获取设计指南。构建用户界面。学习互动和输入。 获取开发指南。学习技术。理解科学。 为其他人准备好你的应用程序,并考虑创建一个3D启动程序。

Azure上的有用资源

空间定位
空间定位点
语音服务 语音服务 Vision服务 Vision服务
Spatial Anchors是一种跨平台服务,它允许您使用对象创建混合现实体验,这些对象会随着时间的推移在设备之间保持其位置。 发现Azure支持的语音功能并将其集成到应用程序中,如语音到文本、说话人识别或语音翻译。 使用计算机视觉、面部检测、情感识别或视频索引器等视觉服务识别和分析您的图像或视频内容。

如何做出贡献

了解如何为MRTK做出贡献贡献.

获取帮助

如果您遇到由MRTK引起的问题或对如何做某事有疑问,可以使用以下资源: