2019年CCF-腾讯犀牛鸟基金项目课题介绍（三）——自然语言处理及语音识别&大数据

微信邦

CCF-腾讯犀牛鸟基金由腾讯与中国计算机学会联合发起，旨在为全球范围内最具创新力的青年学者搭建产学研合作及学术交流的平台，提供了解产业真实问题，接触业务实际需求的机会，并通过连接青年学者与企业研发团队的产学科研合作，推动双方学术影响力的提升及应用成果的落地，为科技自主研发的探索和创新储备能量。

本年度共设立9个重点技术方向，29项研究命题

申报截止时间：2019年6月15日24:00

上期我们介绍了计算机视觉及模式识别

本文将介绍

自然语言处理及语音识别&大数据&车联网

欢迎海内外青年学者关注并申报。

四、自然语言处理及语音识别

4.1 对话系统及相关技术研究

对话系统一直是一个长期的研究热点，旨在模仿人类行为来提高可用性和用户满意度。

建议研究方向：

1)单轮对话模型，包括问答模型、单轮回复生成、回复质量评估等；

2)多轮对话系统，包括多轮数据库建立，上下文感知的检索、生成式回复预测、话题插入及推荐、多模态对话系统等；

3)针对对话文本的语言理解技术，包括但不限于关键词生成、摘要、实体链接、关系抽取、语义分析、逻辑推理；

4)基于对话理解构建知识库，或在对话理解中应用知识库，包括但不限于语义知识、实体-关系知识、常识知识。

4.2 用于语音识别的多模态无监督学习

现存的语音识别系统都依赖大量的标注数据。语音数据的标注需要很高的时间和人力成本，严重限制了训练数据的覆盖度和数量级。传统的无监督学习是利用已有的模型，对无标注的数据进行识别，把识别结果认为是“真正的”标注。当已有模型很差时，生成的标注质量不高 不能进行训练。当已有模型很好时，识别结果很准，也不需要继续训练。

本课题利用海量的无字幕的视频数据，进行多模态的无监督学习。用唇语识别和语音识别交替互相学习，以期达到互相提高的目的。训练的结果可以得到两套模型，一套是唇语识别模型，一套是声学模型。预期该声学模型的embedding可以大幅提高现有系统的鲁棒性。

建议研究方向：

1)用有标注的多模态数据初始化LipNet和声学模型；

2)在海量的无标注的数据上，对LipNet和声学模型交替进行Teacher-student learning训练；

3)对有内嵌字幕的数据，进行OCR、LipNet和声学模型的同步训练；

4)训练音画同步模型SyncNet,可以挖掘更多的多模态数据。

五、大数据

5.1 精细化的城市动态感知、

分析、仿真和优化

精准实时的感知和预测城市内部动态对提升社会经济效率和人居生活品质至关重要，这需要创新的环境感知技术、大数据分析方法、预测仿真模型、和行业决策优化能力。本课题将开展相关的前沿研究和工程技术创新，腾讯将为项目提供海量数据支持和丰富的落地实践场景。

建议研究方向：

1)通过多源感知技术采集城市动态信息，比如图像视频信息的自动检测、识别和追踪，多源多尺度人文活动和出行动态位置大数据的融合，5G时代的城市数据采集和计算框架等；

2)城市动态数据的深度挖掘和规律建模，理解和解释时空动态机理和人地交互关系，提供新的行业理论、模型和方案（比如交通设计与控制、公交线路优化等）；

3)数据驱的精细化的动态系统仿真、精准预测和决策优化，比如城市发展模拟、交通仿真、路口控制微观仿真、车路协同优化等。

5.2 城市群交通多智能体控制与管理

粤港澳大湾区等世界级城市群的建设是我国经济发展的重要增长极和引领技术变革的排头兵。作为城市发展的主要动力之一，建立通畅、便捷、高效的城市间交通系统，全面提高城市间交通承载能力，对进一步增强城市群竞争力有着极其重要的意义。然而，城市间交通需求具有明显的时空动态性，如何利用海量交通数据准确的预测城市群内各城市间交通需求变化趋势，有针对性的对交通需求进行智能控制和管理，避免大规模交通拥堵并提高效率，是一项有挑战性的重要课题，其成果将有助于提高城市群交通管理的效率和效果。

建议研究方向：

1)结合多源交通大数据，对城市群内各城市间的交通需求规律进行分析，理解城市间交通需求的时空动态变化规律，并研究其影响因素和内在机理；

2)综合考虑城际多模式交通运输方式间的竞争与合作，依托多智能体系统等设计城市群内城际多模式交通系统协同控制策略；

3)基于城市群内城市间交通需求的时空动态变化规律，建立相应的城市群交通运行组织动态决策模型。

5.3 大规模用户序列行为特征表达

在腾讯平台，用户产生了海量的行为数据，如何对用户的行为序列数据进行特征表达，是一项非常重要的工作，其成果将作为特征数据用于下游的机器学习任务，进而优化产品的用户体验。

建议研究方向：

1)建立无监督embedding算法，对用户的行为序列进行特征表达；

2)挖掘用户行为之间的因果关系，构建用户行为图谱。

5.4 大规模复杂网络的表征研究

当前的社区划分是基于静态成员关系构建成的社交网络来进行的，但群聊的成员数量随时间不断变化，尤其是恶意群的对抗行为导致关系网络变化很快，传统的静态网络难以刻画实际情况。所以基于大规模复杂动态网络的嵌入表示更加符合实际，信息更丰富的动态网络也可以解决社区划分等应用，需要频繁全量计算的问题。

建议研究方向：

1)构建账号维度的动态社交网络，提出高可用的大规模动态网络嵌入表征框架，解决实际动态网络的模型训练困难的问题；

2)利用动态网络表征的丰富信息，提出更精准的社区划分算法，达到85%的社区纯净度，划分结果稳定。

六、车联网

6.1 车载时间敏感网络TSN

技术研究和平台研发

车载时间敏感网络是一种基于Ethernet Audio Video Bridging的新型网络，是一种为应对日益紧迫的带宽需求而提出的高带宽、低时延、易于配置的车载网络框架。以期实现精准时钟同步，减少网络时延，同时实现带宽预留功能。

建议研究方向：

1)搭建基于TSN车载总线网络平台，验证TSN传递车载控制信号的时延，可靠性等；

2)研究资源预约协议，包括基于Multiple Stream Reservation Protocol(MSRP)的研究和扩展；

3)研究包含车联网V2X车载通信模块OBU的TSN网络应用。