弥补语音交互的不足 让智能交互代替明眼人讲解

2018-11-12 16:06:11 来源: 科技日报

拿出手机买东西、交水电费、定外卖……这些普通人看来随手可得的日常对于视障人士来说却遥不可及。不过为了他们不掉队,技术人员也没放弃努力。

最近阿里联合清华大学—阿里巴巴自然交互体验联合实验室公布了一项人机交互研究新成果:一枚AI盲键,首次打通了语音和触感两大感官系统,为盲人朋友更好“玩手机”提供了一种新可能。

据阿里巴巴人机自然交互实验室研究员赵晨介绍,这种新的盲人触感反馈技术叫Smart Touch。具体做法是给手机贴一个新的“屏幕保护膜”,上面有支持触觉交互的“盲键”,通过低成本的屏幕盲键按钮提供触觉。更重要的是根据页面的动态变化,盲键对应的功能也随之改变,提升交互效率和用户体验。

弥补语音交互的不足

目前,视障用户通常使用读屏软件操作手机,用手指触摸屏幕后由读屏软件提供语音反馈。“但这样的交互方式还存在很多问题,比如缺少触觉反馈,用户经常需要访问大量不需要的元素,容错率低、纠错成本高且频繁,所以视障用户使用起来的用户体验并不是很好。”清华大学计算机系教授喻纯表示。因此,他们希望增加听觉、触觉等其它交互手段,以弥补单纯语音交互的不足,从而增加视障用户人机交互的便利。

Smart Touch之所以可以实现盲键功能在不同页面的功能变化,离不开自动理解页面信息的智能算法。“该算法首先提取界面的语义和主要功能,然后以符合视障用户心理模型的方式映射到触觉盲键按钮上。因此,和现有的技术相比,Smart Touch不单提供语音交互,还提供基于界面内容理解的触觉盲键。”喻纯说。

对于界面的主要功能按钮,视障用户也不再需要通过遍历的方式去使用,通过盲键可以层次化地访问界面元素,这大大改变了视障用户现在使用手机的方式,从现在的语音交互拓展到语音加触觉交互,为视障用户提供更高效更方便的用户体验。

让智能交互代替明眼人讲解

“我们技术的核心主要有两部分:界面理解和界面交互。具体来说,界面理解指对界面语意的理解。”据喻纯介绍,界面的内容包括三层:第一层解决“未加标签”控件。目前手机界面上有很多不同的图标,大多数图标是一张图片加文字,目前的读屏软件读出来的是“未加标签”,Smart Touch 通过算法自动地将图标和文本进行关联,为图标提供标签。第二层对手机界面的逻辑区块做自动识别,形成界面元素的层级组织。第三层则对界面的交互语义做理解,将界面依据视障用户的心理模型读出来。

“我们的研究发现视障用户在使用手机的时候希望有个明眼人在旁边,把界面上的内容讲解给他/她。Smart Touch算法的长期目标是希望可以达到像用户旁边的明眼人一样转达页面内容。”喻纯说,“目前版本上不同界面的盲键是根据界面内容按规则变化的,随着我们算法的继续改进,以后界面的交互盲键也会自动生成,这样可以支持更多的手机应用。”

低成本惠及弱势人群

“视障用户去应用商店下载运行Smart Touch APP后,第一次需要先根据提示在手机界面相应位置贴上‘盲键’按钮,然后就可以使用Smart Touch 提供的功能了。”

落到实用性,赵晨表示盲键的成本非常低,“我们目前使用的是普通的硅胶膜,很便宜成本很低,这样才可以使大多数视障用户可以用得上用得起,更重要的创新是背后的AI算法。以后我们会对这个盲键进行更多的触感设计,让它有更清晰的触觉反馈,满足更多的应用程序的需要。未来可以免费发放给视障用户使用”。

触觉是人与环境、人与人交互的一个重要通道,也是视障用户主要的信息通道,赵晨表示:“希望我们的技术创新不但服务于大众用户,也可以帮助像视障用户这样的弱势或少数群体,让他们的生活更愉快些。从另外一个角度,电话发明的初衷是为了帮助聋哑人,今天成为人人不可或缺的一个设备。从长远看来,我们希望为视障用户提供的技术以后也能逐步惠及大众。”

精选 导读

埃塞俄比亚737 Max 8客机坠毁 8名中国乘客遇难

当地时间3月10日,埃塞俄比亚航空公司一架737 Max 8客机在从该国首都亚的斯亚贝巴飞往肯尼亚首都内罗毕的途中坠毁,机上149名乘客及8名机组人员全部遇难。

发布时间: 2019-03-11 09:36
要闻   2019-03-11

iPhone今年三轮降价 部分降超2000元

自今年年初开始,iPhone已经经历三轮降价。最新一轮从3月5日开始,天猫、苏宁、京东等各大电商平台纷纷加入,降价最高超过2000元。

发布时间: 2019-03-08 10:30
要闻   2019-03-08

她经济:购买者正变为创业者和公益人

这是一个新的电商平台下的“她”故事:女性用户正在从购买者、销售者转变成创业者、社会公益参与者。愈强大,更温暖,女性因变强而担负起更多社会责任。

发布时间: 2019-03-08 10:29
要闻   2019-03-08

今年减税降费清单一览 企业轻装上阵迸发活力

我国有上亿市场主体,而且还在不断增加。把市场主体的活跃度保持住、提上去,是促进经济平稳增长的关键所在。政府工作报告提出

发布时间: 2019-03-07 10:38
要闻   2019-03-07

今年移动网络流量平均资费再降20%以上

电工信部部长苗圩5日在人民大会堂“部长通道”上说,今年移动网络流量平均资费再降低20%以上,中小企业宽带平均资费再降低15%,更好满足人民群众日益增长的消费需求。

发布时间: 2019-03-06 10:39
要闻   2019-03-06

油价“四连涨” 多地92号汽油重回“7元时代”

国内油价28日迎来“四连涨”,消费者出行成本不断增加。本次调价后,云南、四川等多地92号汽油重回“7元时代”。

发布时间: 2019-03-01 10:02
要闻   2019-03-01

去年减税超万亿 增值税税制将再优化

税收关系着国家的“钱袋子”,更关系着每个纳税人的“钱包”。每一项税制改革都牵动着人们的神经。

发布时间: 2019-03-01 09:38
要闻   2019-03-01

3月新规:罕见病药品迎降税 支付宝还信用卡要收费

首批21个罕见病药品减按3%征增值税、《国家级文化生态保护区管理办法》正式施行、3月底前再取消一批税务证明事项、支付宝还信用卡要收费……

发布时间: 2019-03-01 09:36
要闻   2019-03-01

四部门为重点群体创业就业减税 明确适用方式

据国家税务总局网站消息,近日,国家税务总局、人力资源社会保障部、国务院扶贫办、教育部印发了《关于实施支持和促进重点群体创业就业有关税收政策具体操作问题的公告》。

发布时间: 2019-03-01 09:34
要闻   2019-03-01

一批新规3月起实施 这21种救命药将迎减税

首批21种罕见病药品迎来减税,取消增值税发票认证的纳税人范围扩大,四川城镇职工医保卡可与家人共享,海南将逐步禁止销售燃油汽车……即将进入3月,又有一批新规将正式实施

发布时间: 2019-02-28 13:20
要闻   2019-02-28