如何看待黑科技？一个新的黑科技出来，你会去尝试吗？
微软Mesh是什么？
作为Azure支持的全新混合现实平台，Mesh在本次大会上由微软正式推出。据微软称，这将简化多用户XR应用程序的创建。我们可以把Mesh理解为微软为开发者提供的一个开发工具，用来创建多人XR应用。Mesh平台允许不同物理位置的人通过不同类型的设备以虚拟图像甚至全息投影的形式进行协作和分享，投射出最真实的自己与MR世界中的人交流，就像与现实世界中的人互动一样。
微软黑科技“全息透射”面世。它的MR平台网格有多好？
基普曼说:“你可以感觉到你正在与他人分享内容，或者通过不同的磁共振设备传输内容，即使你们不在同一个物理位置。”微软方面表示，Mesh是微软多年研发的成果，涵盖了手眼运动追踪和Hololens发展到创造持久全息图和个性化虚拟图像的人工智能模型。云计算是微软的核心业务，Mesh的底层是Azure，得益于其庞大的计算资源、数据、人工智能和MR服务。所以Mesh是云计算的进一步延伸。支持网格的全息传输和高精度的虚拟角色人脸、运动跟踪，都需要云计算来帮助解决运算、硬件、渲染、存储等诸多问题。
Kipman说，“我们正在Azure智能云中构建越来越多的价值。在这些协作体验中，内容存储在云中，而不是设备或应用程序中，我们需要一个特殊的镜头才能看到它。”通过支持网格的应用程序，用户可以使用3D物理模型(从小家具到喷气发动机等)。)不分地理位置。)在共享的虚拟空间中作为自己的虚像或全息投影像出现，在全息模型上合作。
那微软为什么要推出多用户XR应用开发平台Mesh呢？微软在介绍中说，MR是继大型机、个人电脑、智能手机之后的第四波电脑，它正在成为横跨消费和商业领域的主流。MR把人从屏幕体验中解放出来，让人们在自己的空间里直接与人或物互动。据报道，全球有数亿用户通过手机体验了任天堂的MR，超过50%的《财富》杂志500强机构使用了HoloLens等MR解决方案，以提高投资回报，促进业务发展。由此看来，能给人们带来MR体验的应用应该是相当多的，但事实并非如此，因为一些开发条件限制了开发者MR体验的发展，尤其是以下四个问题:
1.在MR体验中呈现现实的人，需要花费大量的时间和资源；
2.在跨时区、跨设备类型的共享磁共振空间中保持全息图稳定并不容易。
3.难以将高保真3D模型引入MR体验以支持客户拥有的文件格式；
4.在地理上分散的MRI对话中同步用户的运动和表情是一项复杂的任务。
为了解决这些挑战，微软推出了Mesh，允许开发人员设计多用户MR应用，而不用担心复杂的技术挑战。
网格功能显示和技术分析
微软对Mesh的定位主要是打造一种可以跨屏幕、自然交互、与真实视图和人交互的体验。因此，平台需要围绕微软现有的HoloLens平台、MR头戴平台以及更多常见平台进行设计。事实上，Mesh平台从跨平台支持、云服务、LBAR支持等方面定义了未来XR应用的一些特性。单从每个功能来看，都有相应的企业和服务面对一些蓬勃发展的特定用户群体。
1.与其他微软平台和工具交流
Mesh基于Azure，可以与其他微软平台和工具进行通信。在身份服务的帮助下，如Azure Active Directory和Microsoft account，用户可以在适当的身份验证和授权后进入安全和可信的会话。Microsoft graphics允许用户访问商业或消费领域的内容和联系人等信息。而且作为开发者，不需要担心计费、音视频传输等核心基础设施，以及底层的实时管理功能。除了核心平台，微软由AI支持的关键功能使Mesh能够通过为Mr实现大规模多用户在线(MMO)场景来解决一些复杂的技术挑战
2.存在感
Mesh所说的存在感主要指两点。第一点是代表头像。在多用户MR体验中，不同类型的设备使用不同的代表性头像，用户可以自定义头像。Mesh为用户提供了一个有代表性的3D头像，通过设备的由内向外传感器呈现。Mesh平台有自己的头像和定制的制作工具，可以直接使用。此外，该平台还可以通过其AI驱动的动作模型，帮助现有的化身捕捉与用户动作一致的动作和表情。
第二点是真正的360度全方位拍摄可以通过传感器由外而内实现，相机设置可以定制，比如通过混合现实捕捉工作室高保真保存拍摄的3D图像，或者用Azure Kinect拍摄深度敏感的应用图像，帮助生成全息图像。全息图生成后，可以在XR头显或手机、PC或平板电脑上启用基于网格开发的应用，使用全息图并呈现给用户。
3.空间地图
在Mesh出现之前，各种设备只有自己的局部世界地图。在Mesh的帮助下，这些本地缓存的地图可以被合并和优化，以形成对空间和环境的全局理解。这个框架在3D中锚定内容、共享视觉和协作。Mesh创建的地图比GPS更精确，即使在GPS无法定位的空间。它有助于传输与特定兴趣点相关的“世界锁定全息图”。此外，网格可以生成与给定对象的精确布局和几何对齐相同的理解，以便开发人员可以轻松地构建可能需要由视觉信息覆盖的应用程序对象，这些视觉信息将对象与视觉信息(如说明、服务记录和其他重要数据)完全匹配。
4.全息渲染
全息渲染是智能边缘云计算和智能云架构的典型例子。在Mesh的支持下，全息渲染可以做到高保真，不需要设备的操作和功耗。Grid允许开发人员通过云连接为每个场景和模型选择本地独立渲染和远程渲染，这使开发人员在设计应用程序时具有更大的灵活性，并可以根据不同的设备优化延迟和保真度。而且全息渲染还支持大部分3D文件格式，在支持网格的应用中进行本地渲染，解决了引入用户现有3D模型进行协作的问题。
5.多用户同步
对于开发人员来说，创建一个通用的全息透视图并在虚拟协作会议中相互交流是一个巨大的挑战。在网格中，通过多用户同步实现内容共享，这将有助于更新参与者的姿势、动作、表情或空间全息图的变化。这一切都发生在100毫秒的延迟之内，无论是在同一个物理空间，还是在不同的时区。Mesh中的空间音频将增强这些功能，从而在多用户场景中创建处于相同物理空间的感觉。
据微软称，为了利用这些功能，Mesh将为开发者提供一个跨平台的SDK，允许开发者为不同的设备类型创建应用程序。目前Mesh支持与C++和C#的Unity，未来几个月Mesh将支持Illusion、Babylon和React Native。除了访问功能之外，软件开发工具包还为开发人员在应用程序中使用提供了一个预构建的UX结构。这将使开发人员能够更快、更简洁地提供MRI体验。随着Mesh平台的出现，这一系列新功能汇集在一起，成为XR应用的特色呈现。这种融合把零星的技术方向变成了一个整体，把XR的概念一步步具体化，这是它最大的贡献。
Mesh背后的Azure智能云的价值。
基于Mesh开发的XR应用能够在很多领域和场合得到广泛应用，主要得益于Azure智能云带来的价值。Mesh的虚拟协作功能使跨时区的用户能够数字化地聚集在一起，共同讨论和理解，有助于更快地查看数据和做出更好的决策。用户可以随时一起训练。由于Holoportation(微软开发的3D视频捕捉系统)、全息共享和可视化，合作伙伴可以面对面学习，而无需在路上花费时间和精力。
例如，在远程医疗中，专家可以看到其他医生的诊断，并覆盖数据，以确保达成共识，更好地解决问题，共同做出决定。设计师和工程师可以一起进行3D设计，团队成员在参与设计时可以通过不同的设备分享想法和创意。同事们可以通过面对面或全息传输的方式就内容进行实时协作。Mesh的多应用场景和azure基于云计算平台的本质，意味着微软Azure行业和MR业务的拓展。
微软技术研究员亚历克斯·基普曼(Alex Kipman)表示:“从一开始，这就是混合现实的梦想。”事实上，你可以感觉到你和分享内容的人在同一个地方，你也可以从不同的混合现实设备传输它，即使你们没有物理上在一起。"
他认为，随着越来越多的人活跃在网格平台上，我们所有人都参与了Azure智能云的价值建设。在这些协作体验中，内容不在当前用户的设备或应用中。将全息内容上传到云端，意味着用户佩戴的混合现实设备只需要负责视觉效果和交互的沉浸式呈现。对于计算能力有限的个人来说，这是一个飞跃。“最重要的是，随着XR应用在Meah平台的逐步发展和成熟，更多前所未有的安全隐患和网络安全事件成为关注的焦点。与之前的体验相比，在基于Azure的智能云Meah平台上获得的新AltspaceVR体验允许公司使用企业级安全功能在虚拟现实中举行会议和工作聚会，包括安全登录、会话管理和隐私合规。
Azure智能云为Meah提供了容纳大量模型场景和人物的前提条件，这也是平台与传统APP的区别。你可以理解，在XR环境下，应用之间的穿梭更像是城市之间的旅行，期间不会有下载过程，也不会有硬件计算能力适配的问题。事实上，从2020年底开始，各大厂商都开始全面实施基于云服务的平台服务战略。其中，Epic的数字人类平台和HTC的VR社交平台已经拥抱了云技术。云计算的力量和资源将分配给每一个普通消费者，以获得更安全、更具性价比的XR体验，这也是XR行业普及的曙光。
微软在XR布局上不遗余力，就像技术总监亚历克斯·基普曼(Alex Kipman)突然从《大海深处》中“闪现”出来，然后开始一段诗意浪漫的朗诵——一个人的梦想只是一个梦，所有人共同梦想的梦想才叫做现实。错过了移动互联网机遇的微软，正在结合云计算在MR领域的优势，让大家更接近未来。网状绝不是锦上添花。如果保持这种优势，拥有XR底层开发系统和云计算支持的微软将会定义XR的一些未来标准。