3.1 基于Kinect的交互式游戏开发
Kinect能够识别用户身体的各个关节，然后根据关节节点重构出一个虚拟人物，通过追踪用户的动作，使得该虚拟人物能在3D环境中完成各种任务。在本实验中，我们首先会教授学生学会安装和使用Kinect 2.0，并构建出3D虚拟环境及用户的骨架模型。然后学生需要完成一个用户与虚拟环境互动的功能，例如推箱子或者粉刷墙壁。此实验涉及的知识点主要有Kinect的使用与编程、Unity3D编程、基于ICP算法的点集匹配等。
3.2 基于Leap motion的手势识别系统
Leap motion是传统交互工具例如鼠标键盘的替代者，只需挥动一只手指即可浏览网页、阅读文章、翻看照片，还有播放音乐。即使不使用任何画笔或笔刷，用指尖即可以绘画，涂鸦和设计。Leap motion安装非常简单，只需通过USB接入电脑。在本实验中，学生需要安装Leap motion的软件开发包，成功检测到手的形状和位置，为不同的手势定义对应的操作，取代鼠标和键盘的输入功能。另外学生需要合理安排界面元素，使得用户与电脑的交互能够符合人的直觉。
3.3 基于智能手机的语音识别系统
利用谷歌语音开发包或者科大讯飞语音开发平台开发一款基于智能手机的语音识别系统。该系统至少包含3个功能，例如拨打电话、写短信、查询天气或者交通等。在本实验中，学生需要安装语音识别开发包，了解不同功能的接口定义，规划需要实现的功能，合理設计交互界面，使得语音交互更加有效。此实验涉及的知识点主要有HMM算法、GMM算法和深度学习的入门知识。
4 教学成果展示
4.1 Survival in sky
Survival in sky是一款基于Kinect和Unity3D开发的互动游戏。该游戏模拟一个驾驶员跟随救生舱下落的场景，救生舱不断地出现漏洞，驾驶员需要及时修补漏洞保证自身安全，否则游戏失败（见图1）。玩家需要利用四肢动作操纵游戏角色与虚拟环境进行交互（即补漏洞）。学生利用Unity3D软件搭建3D虚拟场景，同时调用Kinect驱动程序识别玩家动作。
4.2 基于Leap motion的躲避游戏
学生利用C#和Leap motion驱动程序开发了一款躲避游戏，该游戏中，玩家需要操纵途中橙色点在界面中移动，每个关卡会出现不同数量的黄色点在界面上随机移动，玩家要操纵橙色点避开黄色点。关卡级别越高，黄色点个数越多，游戏难度越大。橙色点的移动方向由Leap motion识别出的玩家手的移动方向决定。
4.3 Chatting Robot
Chatting Robot是一款基于ISO平台的语音识别软件。用户可以通过键盘输入或者语音输入命令。在语音识别功能中，当用户说完命令后，该软件自动提交语音命令并执行。该软件支持拨打电话、新闻查看、翻译、天气查询、菜谱查询、列车信息查询，甚至支持针对特殊人群的功能（如返回网游信息、qq信息等）。
5 结 语
通过将新式人机交互设备引入用户交互技术课程，我们取得了丰硕的教学成果，主要表现在学生对这门课兴趣的提升以及优质项目的完成。通过学生设计的项目，我们也掌握了学生的兴趣点所在，有利于下一步对实验内容的改进。目前本课程已购买的设备包括Kinect、Leap motion、Apple Watch、暴风魔镜等。在接下来的教学中，我们计划继续购买虚拟头盔、数据手套、Hololens等设备，并且基于这些新设备再设计出更有趣的项目让学生去实践。
参考文献：
[1] Hewett T T， Baecker R， Card S. ACM SIGCHI curricula for human-computer interaction [EB/OL]. [2017-04-16]. http：//citeseerx.ist.psu.edu/showciting？cid=1387837.
[2] 孟祥旭. 人机交互基础教程[M]. 2版. 北京： 清华大学出版社， 2010.
[3] Hinton G， Deng L， Yu D， et al. Deep neural networks for acoustic modeling in speech recognition： The shared views of four research groups[J]. IEEE Signal Processing Magazine， 2012， 29（6）： 82-97.
[4] Saon G. Reaching new records in speech recognition [EB/OL]. [2017-04-16]. https：//www.ibm.com/blogs/watson/2017/03/reaching-new-records-in-speech-recognition/.
[5] 沈莹. 用户交互技术 [EB/OL]. [2017-04-16]. http：//sse.tongji.edu.cn/yingshen/course/HCI2017Spring/index.html.
（编辑：彭远红）
期刊库（http://www.zgqkk.com），是一个专门从事期刊推广、投稿辅导的网站。
本站提供如何投稿辅导，寻求投稿辅导合作，快速投稿辅导，投稿辅导格式指导等解决方案：省级投稿辅导/国家级投稿辅导/核心期刊投稿辅导//职称投稿辅导。
【免责声明】本文仅代表作者本人观点，与投稿辅导_期刊发表_中国期刊库专业期刊网站无关。投稿辅导_期刊发表_中国期刊库专业期刊网站站对文中陈述、观点判断保持中立，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考，并请自行承担全部责任。
646779424(普刊)
913775405(普刊)
867306987(核心)
271374912(核心)
