百度大脑3.0:多模态深度理解让机器听得清清楚楚

多模态深度语义理解如何在技术上实现?拥有多大的能量? #

在7月4日举行的百度人工智能开发者大会（)）上，百度高级副总裁、人工智能技术平台系统（AIG）总经理王海峰发布了百度大脑3. 0，并指出百度大脑3.0的核心是“多模态深度语义理解”，包括数据的语义、知识的语义，以及对图像、视频、声音的理解，声音和其他方面。 #

如何在技术上实现多模态深度语义理解？它有多少能量？它将如何应用于改变我们的生活？在当天下午的百度大脑论坛上，百度大脑3.0的核心技术“现身”一一亮相，为开发者带来一场技术盛宴。 #

1000人会场座无虚席，开发者们甚至坐在地板上，或者站在会场边听完完整的会议。一位开发者说：“干货太多，时间太少，回去找播放视频好好消化一下吧。”

从“看到和听到”到“理解”

“多模态深度语义理解让机器听得清清楚楚，更深入地理解背后的含义，更深入地了解现实世界，更好地支持各种应用。”王海峰说。

#

视觉语义允许机器从观看到理解视频百度大数据平台，并提取结构化的语义知识。百度视觉技术部、人脸技术部、增强现实技术部主任吴忠钦介绍，视觉语义技术首先对人、物、场景进行识别，通过序列化、数字化、结构化的方式捕捉它们之间的行为和关系。形成语义知识，最终基于领域和场景进行智能推理，实现行业应用。比如在零售领域，它可以准确判断每个人的一举一动，真正实现顾客取货即走。未来，视觉语义技术可以进一步扩展。它结合了新的传感器和AI芯片，在感知层面和计算层面都可以有很大的提升；结合手机，可以给用户带来更好的体验。未来，百度视觉语义技术将在百度AI开放平台向开发者开放。 #

语音技术的升级让机器能够更好地了解世界。百度语音技术部总监高亮表示，百度基于远场的语音语义融合技术取得重大突破，为业界提供了更先进的远场语音技术。语音和语义的融合将远场交互中中高频查询的识别准确率提高了10个点，同时保持了普通查询的识别率。行业最佳竞品降价20%；全新升级的TTS技术在业界率先将传统拼接技术与技术相结合，在保证合成质量的同时大大降低了成本，使大规模应用成为现实。此外，百度还发布了远场语音技术的低成本解决方案“度小云”，它基于语音识别技术、语音-语义融合技术和LSTM-VAD深度学习语音分割技术，实现行业-领先的五级唤醒技术，并拥有基于的精美声音库，支持远场优化的音频通信技术。未来，开发者可以同样便捷地一站式获取百度远场语音能力。 #

要让机器像人类一样智能，将语言转化为知识至关重要。百度人工智能技术平台系统执行总监吴天表示，经过多年发展，百度自然语言处理技术已形成全面、前沿的格局。百度知识图谱已经发展成为一个复杂、多样、全面的多语义知识图谱，包括实体图、行业图、事件图、焦点图、多媒体图等。实体图已经能够覆盖 90% 的实体及其一般要求的属性。 在阅读理解技术方面，百度大脑已经阅读了数千亿篇文章，相当于中国国家图书馆的6万册图书，通过“学习”积累了千亿实体知识和千亿事实的知识。实际应用程序生成的数据每天都在不断优化。在对话理解方面，百度理解与交互技术平台UNIT升级为2.0，进一步增强冷启动能力，支持像人类一样在对话中学习。建立一个门槛，让开发者无缝连接到云端。百度将继续开源新技术，提供更加灵活便捷的解决方案，推动自然语言理解技术的创新发展。 #

夯实基础：数据、算法和计算能力齐头并进

数据、算法和计算能力是影响人工智能技术发展的重要因素。主论坛上，王海峰表示，百度大脑3.0首次将芯片纳入技术体系，带动了百度大脑算力的爆发式增长。百度自主研发的中国首款云端全功能AI芯片“昆仑”也在大会上亮相。未来游戏运营，AI芯片将与百度自主研发的深度学习框架相结合，推动AI产业生态的快速发展。 #

百度于今年正式开源，是最适合中国开发者的深度学习框架。主论坛上，王海峰发布了.0，下午，百度AI技术生态部总经理余友平进行了详细讲解。 .0包含完整的核心框架，以及、、等平台，让开发者平等便捷地获得顶级AI能力。 .0的核心框架已经针对服务器版和移动版进行了全面优化。 提供丰富的API游戏引擎中的api 虚拟现实系统，满足常见主流模型构建需求，支持多种模型构建，训练可满足各类模型训练需求；可灵活适配多种预测引擎； 融合了百度移动预测的实践经验，提供多平台支持。 #

在 #

.0游戏引擎中的api 虚拟现实系统， 备受关注。据百度大数据（北京）实验室主任焕军介绍，可以更高效地自动搜索神经网络结构，开发者无需特殊硬件设备即可快速获得高质量模型。 提供多种能力，支持设计新的深度学习网络结构，优化现有的深度学习网络结构和参数，同时能够适应特定的任务场景。

#

随着海量数据的爆发式增长，挖掘数据的价值已成为众多行业的共同需求。百度大数据部总监郭燮表示，百度已经形成了从数据到数据工程、数据科学、数据产品，再到行业解决方案的大数据产品技术栈。基于大数据的特点游戏图片，从生产资料和生产工具两方面推动产业发展。 为最大程度保障数据安全，百度正式发布大数据公共情报开放平台“点石”，基于全球领先的百度AI技术，全方位保障数据安全，逐步开放工具增强行业数据安全的能力。 #

现场，百度发起了多项比赛。百度之星开发者大赛将如期回归。此外百度大数据平台，还将举办中国高校计算机大赛人工智能创意大赛、KG-提取大赛、交通预测大赛、基于的无人车系列大赛，以及商业标志的分类检测、人工智能大数据大赛比如智能加速器的应用和设计。百度表示，欢迎各界专家的挑战，通过比赛推动整个AI产业的发展。 #

业内人士评价，百度在推动技术落地的同时，不断回馈技术升级，已成为中国人工智能领域的领跑者。百度大脑升级到3.0，也标志着百度AI技术的跨越式升级。正如王海峰在开场时所强调的，“百度AI能力的核心是百度大脑，而百度大脑3.0是百度AI能力的核心。百度AI能力的巅峰之作。”基于百度大脑不断突破的技术实力，百度有能力为中国的开发者和企业提供顶尖的AI技术，让每一个开发者和企业都能平等的获得顶尖的AI能力，然后让人工智能在中国遍地开花。

#