多模态架构和界面

多模态架构和界面是由万维网联盟自2005年以来开发的一个开放标准。它于2012年10月25日作为万维网联盟的一项建议发布。该文件是一份技术报告，规定了多模态系统架构及其通用接口，以促进计算机系统中的集成和多模态交互管理。它是由W3C的多模态交互工作组开发的。

多模态体系结构和接口建议引入了一个通用的结构和通信协议，使多模态系统中的模块能够相互通信。本规范提出了一个事件驱动的架构，作为控制流数据交换中的一个一般参考框架。它可以用来确定指挥应用程序的多模态服务所需的基本基础结构。该架构的提出也是为了促进在多种设备上实现几种类型的多模态服务提供者的任务：移动设备和手机、家用电器、物联网对象、电视和家庭网络、企业应用、网络应用、智能汽车或医疗设备和应用上。

多模态架构和接口是对一个更大的服务基础设施的具体描述，它被称为运行时框架，提供了多模态系统可能需要的主要功能。这个框架比MMI架构处于一个更高的抽象水平。MMI运行框架是多模态系统的运行支持和通信模块，而MMI架构是对其主要模块、接口和通信模式的描述和规范。多模态架构和接口规范是基于MVC设计模式的，它建议将用户界面结构分为三个部分：模型、视图和控制器。这种设计模式也被语音浏览器工作组的"数据流-呈现"架构所展示。这个架构的一个特点是，尽管View所代表的表现层在传统上与图形界面有关；这个建议的抽象将View概括为更广泛的多模态交互环境，即用户可以使用视觉、听觉、生物识别和/或触觉模式的组合。MMI架构建议区分了三种类型的组件：交互管理器（IM）、数据组件（DC）和模态组件（MC）。

这种区分类似于MVC模式中控制器、模型和视图的表现文件之间的分离。另一个特点是递归。模块是黑盒子，有可能在一个更复杂的组件中封装几个组件，这些组件在更高的层次上与交互管理器通信。通过这种方式，该架构遵循了嵌套娃娃的原则。该规范还涵盖了网络中多个材料资源上的分布式实施或集中式实施的问题，所有的模块都安装在一个材料支持中。模块之间的信息共享是松耦合的。这促进了模块之间的低依赖性，减少了一个模块的变化对其他模块的影响，并促进了模块的重复使用。通过这种方式，各模块对任何其他模块的功能几乎一无所知，模块之间的通信是通过遵循架构的API提供的精确的通信协议交换信息来完成的。

交互管理器是一个逻辑组件，负责系统组件和多模态运行框架之间的所有消息交换。它是一个通信总线，也是一个事件处理器。每个应用程序至少可以配置一个交互管理器来定义所需的交互逻辑。这个控制器是多模态交互的核心。它管理由各种输入和输出组件之间交换的事件所触发的具体行为。它管理各模块和客户端应用程序之间的通信。它确保多个输入和输出之间的一致性，并提供应用程序当前状态的总体感知。它负责数据同步。它负责焦点管理。它管理与系统外任何其他实体的通信。模式组件模式组件负责具体任务，包括以各种方式处理输入和输出，如语音、书写、视频等。这些是逻辑实体，处理不同硬件设备（麦克风、绘图板、键盘）和软件服务（运动检测）的输入和输出。