AI描述图片,帮视障者“看”到更多

2018-02-12 10:44:27来源:科技日报
字号:

chenying8233_b.jpg

刘彪正在使用qq空间。(信息无障碍研究会供图)

好机友

刘彪打开手机QQ空间,触摸到好友发的图片

以前,他耳边响起的是读屏提示音“图片”。现在,他听到了更多内容——“图片:一个长发女孩在夕阳下的照片。”

这是新的安卓版QQ空间客户端基于人工智能技术推出的“图片语音即时描述”功能。

“这个感觉很不一般。”刘彪是视障者,也是公益组织信息无障碍研究会的技术主管。虽然语音只是描述出了图片的主要信息,但对刘彪而言,体验从此大不相同。“以前好友发图,就只能‘绕道’。现在知道他大概发了什么,还能在评论区互动一下。”在人工智能的帮助下,视障者成功地在图片动态下刷了把存在感。

让科技在社交场所落地

很早之前,信息无障碍研究会就和QQ空间建立了合作,协助他们进行软件的无障碍优化。

所谓信息无障碍,简单来讲,就是让包括视障者、听障者、读写障碍者在内的所有用户,都能够顺畅使用互联网。它是互联网世界里的无障碍设施,就好像马路上的盲道、地铁站里的无障碍电梯。

视障者,同样也是互联网产品的用户。他们靠语音辅助程序或读屏软件,读新闻、点外卖、购物、打车……

以及社交。

刘彪说,现在越来越多的人喜欢晒图和发小视频,但他们看不见,就只能去问一句——你发了什么?“我们就跟QQ空间的工程师反馈了这个痛点——如果图片能识别出来,那多酷。”

QQ空间产品开发技术人员告诉科技日报记者,目前QQ空间用户发表的动态中,60%以上包含图片。如果无法读图,对视障人群来讲,确实是相当大的信息缺失。双方都觉得这个功能挺酷,于是说干就干,着手优化。QQ空间也和腾讯人工智能团队沟通,寻找科技解决方案。这次的图片语音即时描述功能,就用到腾讯AI Lab的技术。

“腾讯AI Lab图片描述生成技术一般都是基于编码器—解码器框架。这一技术的难点在于设计出能够充分理解图像内容的模型,进而将相应编码的图像内容再‘翻译’成自然语句。”腾讯AI Lab技术人员解释,这样的模型不仅需要深度理解图像,也需要理解自然语言,更重要的是学习图像与自然语言之间的多模态交互关系。

要真正落地,技术还要应对一大难题,那就是用户上传的图片具有高度多样性。他们发星辰大海,也发生活中的细枝末节。由于图片题材广泛,腾讯AI Lab技术人员坦言,有时图像的自然语句描述不会特别精确。“这需不断积累数据,不断提升算法的性能,两者互相促进,提升算法精确度。”

为无障碍锦上添花

其实就在几年前,对国内互联网公司来说,“信息无障碍”还是个有些陌生的概念。

当时,科技日报记者曾采访现在的信息无障碍产品联盟秘书长梁振宇。他表示,对互联网产品团队来说,每个问题都有优先级。“无障碍优化”这一看起来有些小众的需求,有时就被放在了一旁。

“这两年,社会各界对信息无障碍的关注都在提升。”刘彪介绍,信息无障碍研究会和百度、腾讯以及阿里旗下的多款产品都建立了合作关系。至少,现在主流的互联网公司都知道何为无障碍,有条件的,也愿意为此努力。

QQ空间产品团队就表示,在信息无障碍技术方面,手机QQ空间从2014年开始,持续在好友动态、消息、个人主页等核心场景优化体验,并把信息无障碍作为每一个功能发布的必备特性,坚持每个版本解决一些问题,并从内测阶段即邀请视障用户参与产品测评,再根据反馈的建议和意见,持续进行版本优化。“让QQ空间更好地服务障碍用户,为障碍者提供舒适的社交体验。”

要做到信息无障碍,其实并不需要前沿什么技术。刘彪介绍,开发者了解用户需求并按照一定规范进行APP的设计开发,产品就能实现“信息无障碍”,从而造福广大视障用户。而人工智能,则可以锦上添花。

“语音输入让我们的输入效率变得更高,OCR文字识别让我们能够‘认’出药瓶上的字。那些改变你们生活的应用,也提高了我们的生活质量。”刘彪也在用智能音箱等智能家居产品。“我们以前用空调、洗衣机等家电时,是靠记忆来按按钮,有了人工智能技术,可以进行语音控制,也省去了这些麻烦。”他提醒道,“有些智能家居有手机APP操控功能,这些APP也要注意进行无障碍优化。”(张盖伦)


责编:张阳

  • 路过

新闻热图

海外网评

文娱看点

国家频道精选

新闻排行