让“无声世界”感受赛场魅力!带你看看冬奥手语数字人有哪些奥秘******
2022年2月4日,第24届冬季奥林匹克运动会在北京举行,让世界目光再次聚焦中国。本届北京冬奥会秉持绿色、共享、开放、廉洁的办赛理念,凝聚中国科技力量,面向世界、面向未来,向全球奉献了一场精彩、非凡、卓越的奥运盛会。
本届冬奥会运用最新科技手段,为全世界观众提供了惊艳的现场转播和全方位覆盖报道,北京冬奥会也成一场上科技含量高的奥运会。赛事活动期间,为了让各类人群都能平等地享受本届冬奥盛会,北京电视台上线了智能手语播报数字人,在《北京新闻》和《北京您早》等节目中进行冬奥专题手语播报,为听障人士带来精彩赛事报道。
最新数据显示,我国听障人群超过2700万,这部分人群与健听人一样,他们对教育、社交、娱乐等信息获取都有巨大的需求。但长期以来,传统人工手语翻译工作量大,且主持人和手语主持人配合难度极高。手语动作表情复杂,语序与正常语序差异大,正常情况下想要熟练掌握手语大约需要2年左右的时间,还要结合语境进行猜测。
受北京市科委科技冬奥专班委托,北京电视台联合凌云光、智谱AI等业内科技公司,在北京市残疾人联合会和市残联聋人协会等支持下,用3个多月时间,让手语播报数字人完成了近10万条手语语料学习,且翻译准确率高达90%。
在如此短的时间内实现这项高难度动作,智能手语数字人是如何做到,在这背后又有哪些技术创新难点?
在多位业内人士看来,近年来人工智能体系建设重点布局在算法层和应用层,数据层建设远远不足,并且针对数字人相关产业,底层数据库的数量、质量和开源程度还明显不足。尤其是国内现有的手语语料数据库数量少,且多以图像、视频等二维平面为主,无法满足AI(人工智能)训练的需求。
同时,因手语语序与中文语序差异大,方言分化更加复杂,且需要通过表情、口型、动作等方式来传达信息。除了传统的二维平面图像、视频采集,三维肢体运动、表情信息数据采集及结构化参数表达外,手语语料数据库建设对三维运动信息捕捉也十分重要。
凌云光手语数字人产品相关负责人介绍,在建设高质量手语语料库的同时,他们充分调研了2022北京冬奥专用手语术语,并联合北京市残联、聋人协会等相关组织机构,进行数据标注,建设手语语义映射关系,不仅完善了国内手语数据库的建设,也为手语推广和AI研究留下了宝贵的数据资产。
该负责人举例说,基于“悟道2.0”超大规模人工智能模型的技术支撑,手语数字脑用计算机模仿听障人士的大脑,将看到的中文文本信息转换成手语词汇序列,包括中文语义蒸馏模型和AI手语分词快编算法的研究。中文语义蒸馏模型用于从输入的文稿或文本中提取出关键的语义信息,将中文文本语义提炼和精简,形成精准匹配适合手语表达的文本;AI手语分词快编算法则用于将蒸馏得到的中文文本,根据冬奥手语语料库划分成相应的手语词汇序列,供数字人做表达输入。
该负责人还提到,数字人是冬奥手语播报的载体和展现形式,通过高精度写实数字人全流程制作方案,可实现一键数字建模,高度还原真人发肤,重新毛孔等细节,更加真实亲切。同时,通过跨模态拟人生成算法,还可以将手语词汇序列,生成相应的动作信息,驱动数字人模型做出相应的动作、手势和表情。(姚坤森)
治疗“绿色癌症”,智能细菌来帮忙******
◎实习记者 骆香茹
炎症性肠病虽然致死率较低,但长期以来,也面临着诊断困难和难以根治的问题,被称为“绿色癌症”。
近日,华东理工大学生物工程学院院长叶邦策教授及该院副教授周英团队在《细胞—宿主与微生物》上发表了一项研究成果。该团队开发了一株智能工程菌——i-ROBOT,可实现在体无创实时监测和记录炎症性肠病的发生与发展,并以自调控的给药模式缓解病症。
各色技术上阵诊断“绿色癌症”
炎症性肠病是胃肠道最常见的慢性炎症性疾病,包括克罗恩病和溃疡性结肠炎。腹痛、腹泻、便血等是炎症性肠病主要的症状表现。
当前炎症性肠病的诊断方法在临床上主要有肠镜、电子微胶囊肠镜等。论文通讯作者叶邦策介绍,肠镜检查的好处是直观,可以观察到人体整个肠道的情况。“但肠镜检查是一项有创检查,在操作过程中难免损伤肠道黏膜,造成少量出血,引起被检者的不适感,患者依从性差。”叶邦策补充道,“也有无痛肠镜,但这种方式有一定风险,做这种检查前需要患者进行全身麻醉,对患有心脏病和肺部疾病的人来说,风险较大。”
电子微胶囊肠镜是近年来新兴的检查方式,叶邦策介绍,与传统肠镜相比,其对患者造成的痛苦更小、适应性更强,能检查传统肠镜无法到达的回肠、空肠等。但胶囊在消化道运动的过程中,无法人为控制其运动轨迹,其在消化道等位置会随机翻转,产生视觉盲区,有可能导致错过病变部位、延误病情等情况发生,且电子微胶囊肠镜的检查费用更高,给患者带来的经济压力更大。
智能工程菌是炎症性肠病的新兴诊断方式之一。叶邦策介绍,他们会提前3天将智能工程菌通过口服灌胃的方式送入小鼠体内,等肠炎造模给药结束后通过分析粪便中存在的智能工程菌的荧光信号和基因组DNA突变情况,确定肠道炎症发生、发展程度。
“智能工程菌在诊断灵敏性、便捷性以及成本上都具有无法比拟的优势,但目前仍仅能通过分析粪便样品来评估疾病的有无或严重程度,而难以实施在体原位诊断。”叶邦策表示,“此外,智能工程菌的生物安全性还需进一步加强。”
治疗方法从抗炎药物到智能活菌机器人
为了攻克炎症性肠病,专家们想了不少办法。过去,炎症性肠病的主要治疗方法是使用抗炎药物和免疫调节药物。叶邦策介绍,随着肠道微生物研究的深入,过去十年间,调节肠道微生态、使用智能活菌成为炎症性肠病的研究热点,创新研究不断涌现。
叶邦策团队开发的i-ROBOT是使用大肠杆菌Nissle1917作为底盘细胞进行改造的。叶邦策介绍,i-ROBOT能够感知低浓度的炎症标志物,具有诊断早期肠炎的潜力。同时,i-ROBOT还能记录疾病发生与发展的信息,帮助监测胃肠道健康状态。
当然,i-ROBOT的功能远不止于此。叶邦策表示,i-ROBOT还可以在病灶部位根据疾病的严重程度释放相应浓度的药物,在实现有效治疗的同时,又能避免因过度用药而产生的副作用。
“我们认为智能工程菌是智能活菌机器人的一种。”叶邦策补充道,“智能工程菌具备优异的感知和收集周围环境信息的能力,能够与周围环境进行互动,并能在特定时间和地点采取特定的行动。”
近年来,“粪便也能治病”的冷知识刷新了不少人的认知,通过粪菌移植治疗炎症性肠病也受到越来越多的关注。粪菌移植是将健康人的肠道菌群植入患者肠道,重建肠道微生态系统,以此治疗肠道疾病。粪菌移植成为炎症性肠病治疗的一种新选择。然而,叶邦策提醒道:“尽管有很多阳性的结果支持粪菌移植的可行性,但是目前一些安全性、伦理性问题尚未得到很好地解决,粪菌移植疗法还存在争议。”
发展交叉学科或可破解炎症性肠病诊疗难题
叶邦策介绍,当前,许多研究证明了智能工程菌具有在活体内诊断和治疗疾病的应用潜力,且智能工程菌逐步朝着智能化和临床应用性的方向发展。其中,功能稳定性、临床效力和安全性是决定智能工程菌能否成功应用于临床的关键。
叶邦策表示:“合成生物学为智能工程菌感应疾病标志物的种类及传感性能提供了很好的策略,然而仅仅依靠合成生物学难以解决所有问题。”
叶邦策认为,交叉学科的发展为此提供了新的契机,例如将合成生物学与材料和化学科学相结合,能够增强智能工程菌的定植性、靶向性和可控性,进而实现炎症部位的在体原位成像检测。
此外,智能工程菌的安全性也是限制其临床应用的重要因素,为了应对智能工程菌可能导致的抗性转移、代谢物毒性等问题,研究者们仍在优化技术方案,通过不使用抗性基因作为筛选标记、选择更安全的益生菌作为智能工程菌的底盘、进行细菌毒力因子的敲除、对逃逸细菌进行有效的控制和清除等策略,有针对性地解决相关难题。
谈到智能工程菌的应用前景时,叶邦策表示,从诊断的角度来说,如果智能工程菌能够通过临床试验,运用到炎症性肠病的临床治疗中,将打破传统肠道疾病的诊断模式,部分替代侵入性的肠镜检测,能让受检者在没有任何痛苦的情况下,诊断出其是否罹患炎症性肠病。