学生工作

当前位置: 首页» 学生工作» 创新创业

从手到嘴的连接,听障人士的桥梁

我们这个手语翻译项目的创意,来自青海大学志愿者协会多次组织的省特殊教育学校志愿者活动,在志愿活动当中,交流是一个很大的问题。面对听障儿童,说话肯定也是不可能的,又因为手语翻译的老师又太少,所以大部分的志愿者选择用笔写下来,然后给听障儿童看,但是这个方法的效率也很差强人意。一些先天的听障儿童,他们从小接收的便是手语教育,只了解基本汉语语法,但是在生活中汉语语法有很多变化,这就导致了他们并不是很能理解这些汉字真正代表的意思。于是我们就产生了一个新的想法,在这个人工智能、云计算的时代,计算机可以识别语音、可以识别人脸……为什么不能去让计算机参与其中,通过一个简单的APP将手语和语音进行双向的转换。

通意智能手语翻译团队也就在这个时候组建。我们是一个跨专业的团队,有财经学院的同学,也有计算机系的同学。所以不管是技术层面,还是项目的创业策划。我们都有足够的专业知识去应对它。经过我们多次的头脑风暴,我们整个团队也逐渐凝聚成一体,定下了我们项目和团队的名字叫“通意”,寓意着将每种语言、每个人群的意思联通,让残疾人士可以更好的理解别人的意思,让他们可以更轻松的融入社会。也将我们的创意定义为为一种人工智能手语翻译系统,主要针对对象为听障人及其周围群体,旨在解决现今社会中听障人群体和正常人之间的交流障碍这一社会现象,并可以为公开会议、课堂提供实时手语翻译服务,降低人工成本,为正常人和听障人群搭建一个更加方便的交流平台。我们未来不仅仅是做手语翻译,而是一个手语资源整合平台。我们不仅提供个人的手语翻译服务,为听障认识提供双向翻译服务,还要为开发者、团体、社会组织提供实时双向翻译服务,降低手语翻译的门槛及成本。

 

 

我们的项目前期主要运行于安卓、iOS以及微信小程序。当客户端获取到用户输入之后,会将输入的手语视频或正常人的语音音频发送至云服务器。视频进入后,云服务器通过提取和识别手部特征,将其转换为文字,再进一步转换为语音返回给客户端。当音频进入后,云服务器首先进行音频转文字,然后进行分词,查询到词语对应的所有手语视频片段后,进行拼接并返回地址给客户端。云服务器包括分布式数据库用于存储手语资源数据,支持GPU加速的手语查询、数据库维护及结果返回总线,以及视频生成、手语图像识别弹性资源池集群。

经过我们的多次商讨,我们也将这个项目定义为是一个公益类项目。因为我们发现这个项目的价值有经济价值和社会价值两方面,经济价值主要是通过有偿定制、售卖专业方面的手语翻译包以及提供实时翻译服务赚取利润,当然我们的利润也将其中的绝大多数用于新的手语数据库完善,和现有数据库的维护当中,做到取之于用户,并用之于用户。而社会价值主要体现在解决听障人士与正常人交流的鸿沟,使其能够更快的融入社会,加速小康进程。

当今社会手语翻译行业中,基本都是人工翻译,本项目则是通过计算机、云计算、人工智能的方式将这个行业的参与门槛降低,让更多人可以轻松、低成本的进行手语翻译。