浪潮元宇宙服务器 NVIDIA Omniverse助力构建高逼真交互型数字人

时间:2022-08-25来源:佚名

  近日,在浪潮 * NVIDIA元宇宙算力发展研讨会上,浪潮信息和NVIDIA分享了如何使用浪潮元宇宙服务器MetaEngine与NVIDIA Omniverse快速构建高逼真的交互型数字虚拟人。

  数字人生产需要强大的多元算力支撑

  虚拟数字人是元宇宙的主要实体,就像是元宇宙世界中的公民,是人类身份在虚拟世界的载体。随着2021年元宇宙风起,更高拟真、超写实,具有强交互性的新一代虚拟人开始涌现,且正在被规模化应用到不同产业场景。

  数字人生产可以拆分成人物建模、人物驱动、人物渲染和感知交互四个作业环节。AI能够加速虚拟数字人生产的每个作业环节,可以说AI正在改变数字人的生产范式,将数字人的创作周期大幅缩短,提升生产效率,推动数字人产业快速发展。

 

  这样一种新范式的背后其实是更巨量和多元的算力需求。具体而言,数字人和其他实体的建模需要众多设计师协同创作完成,这就需要底层平台具有强大虚拟化和云端协同计算能力;当数字人建模完成之后,数字人自身的运动,数字人和其所处的数字环境、以及其他实体的相互作用需要大量的结构力学、弹性力学,以及多体动力学等物理仿真算力需求;让数字人无限接近自然人,需要高逼真、沉浸感的3D渲染,例如阿丽塔高度拟真的视觉特效来源于光线追踪、光栅化、DLSS等巨量的图形图像算力支撑;在智能交互环节,由AI驱动的数字人往往需要结合语音识别、NLP、DLRM等AI算法从而实现交互能力,这些模型的背后需要强大的AI算力来支撑其训练和推理。此外,现实世界和数字世界的交互则需要超低延迟的网络数据传输,来创造更流畅的沉浸式的数字世界体验。

  由此可以看出,元宇宙的构建和运行需要强大的多元算力支撑。这也对算力基础设施提出了更高的要求,不仅是高性能、低延迟、易扩展的硬件平台,还需要有端到端、生态丰富、易用的软件栈。

  浪潮MetaEngine:元宇宙算力平台

  浪潮元宇宙服务器MetaEngine就是要打造支撑元宇宙的软硬一体化算力基础设施。为此,浪潮与英伟达联合打造业界超强软硬件生态,为数字人和数字孪生的构建提供多元算力,以及丰富的技术和工具,为用户打造高效的元宇宙协同开发体验。

 

  在硬件上,MetaEngine采用浪潮领先的异构加速服务器,支持最先进的CPU和GPU,具有强大的RDMA通信和数据存储能力,可提供强大的渲染和AI计算能力。

  在软件上,MetaEngine可以支持对应每个作业环节的各类专业软件工具,用户可以根据使用习惯灵活选择。同时系统全面支持NVIDIA Omniverse Enterprise,是经过优化的OVX系统,可提供用于构建和部署大规模数字孪生的相关功能及性能。用户可以通过Kit功能将不同的SDK进行模块化的组合,快速完成定制化App或者微服务的开发。互联插件CONNECT可以通过通用数据格式USD实现第三方专业软件工具无缝连接,目前CONNECT已经提供了20多种Plugins,支持与3DS MAX,UE, MAYA等软件互联,解决不同软件之间难以打通、互操作性弱的痛点难题。

  MetaEngine还整合了浪潮"源"大模型和浪潮AIStation智能业务创新生产平台的能力。浪潮"源"大模型参数规模高达2457亿,具备知识问答、多轮对话、中英翻译、写作古诗等零样本或小样本的推理能力,可以让虚拟人像人类一样进行自然语言交互。而针对浪潮"源"需要多GPU计算设备协同工作的问题,浪潮AIStation可实现多计算资源的智能调度管理,保证模型服务的高吞吐、低延迟。

  浪潮MetaEngine - NVIDIA Omniverse快速构建高逼真交互型数字人

  浪潮信息与NVIDIA强强联手,基于MetaEngine和NVIDIA Omniverse Enterprise推出了具备统一多软件格式、支持多人协作、支持实时驱动和实时光线追踪渲染的虚拟人解决方案,强大的算力平台及丰富的软件栈让虚拟人构建由难变易,尤其适合大规模虚拟人制作场景。

  方案集成了创建数字人的流程和技术,可以快速生成毛发、皮肤、细节都非常逼真的超写实数字人,帮助数字人制作用户更好地创建自己的数字虚拟IP。

  使用方案中的NVIDIA Ominiverse audio2face工具,通过很简短的一段音频输入,就可以驱动这段语音对应的表情,大大加速数字人的制作过程。

 

  在动作识别方面,以往采用光学和惯性动作捕捉技术,需要真人演员驱动,并使用大量的摄像头、传感器,制作难度大、成本高、周期长。现在,借助浪潮MetaEngine - NVIDIA Ominiverse方案,可以基于人体骨骼点二维运动特征向量进行动作识别,进一步映射到数字人躯体上,快速驱动数字人的表情和动作。

 

  此外,还可以实现数字虚拟人和真实人类的交互。虚拟人可以识别真实人类的动作、肢体语言和反馈,再通过NLP模型、图形图像处理软件,根据机器学习算法决定说什么话,来吸引真实的人类,和人类进行交互。

  如何使用浪潮MetaEngine和NVIDIA Ominiverse来构建高逼真的交互型虚拟数字人呢?下面按照人物建模、人物驱动、人物渲染、感知交互的作业流程来说明。

 

  首先可以使用UE metahuman等软件配合Omniverse的nucleus/connect进行3D人物形象及人脸建模。

  然后通过高精仿真,让虚拟数字人的动作和行为更加物理准确。

  接下来实时渲染环节,RTX Renderer可以提供实时渲染能力,让人物动画及其场景实时立体地展示在用户面前,通过屏幕或XR设备进行沟通交流。

  最后是智能交互,这部分需要有大量的AI模型提供支撑。用户首先通过ASR和Vision AI模型进行语音和图像识别,进一步将识别得到的结果送入全球领先的中文语言模型浪潮"源1.0"大模型来生成应答的语言文本,在这个部分AIStation推理平台会负责管理源1.0及语音模型,源回答的结果,会经过tts模型转化为语音,然后送入NVIDIA Omniverse audio2face,通过语音驱动数字人面部产生逼真的表情及面部动作,并通过RTX Renderer实时渲染能力生成动画视频作为输出与用户交互,让对话及交互更加自然真实。

 

来源:美通社

    相关阅读

    西顿照明携手简世咨询成功启动经营分析会辅导项目

    简世咨询与西顿照明签订经营分析会培训及辅导合作协议,并于9月2日启动了第一阶段的赋能培训和现状诊断工作,以现场培训 演练 团队共创的形式,对标标杆公司实践,帮助企业构建...
    2022-09-09
    西顿照明携手简世咨询成功启动经营分析会辅导项目

    欧普照明与新浪装饰在探索品质家庭健康光环境方面达成战略合作

    (jìn)日,欧普照明与新浪装饰于苏州欧普照明全球研发中心正式举行战略签约仪式,达成战略合作。双方就家装新零售合作模式进行深入沟通和交流,共同探索整装与照明的结合,打造...
    2023-12-05
    欧普照明与新浪装饰在探索品质家庭健康光环境方面达成战略合作

    海纳川海拉车灯常州新工厂正式落成

    近日,海纳川海拉车灯常州新工厂正式落成,投资额超千万欧元。海纳川海拉车灯是由海纳川和海拉于2014年共同设立的合资企业,常州的这家新的车灯工厂是该合资企业旗下在三河和天...
    2022-08-12
    海纳川海拉车灯常州新工厂正式落成

    昕诺飞宣布调整其全球范围内业务架构

    12月1日,昕诺飞(Signify)宣布对其业务部门进行重大重组,在全球范围内推动组织架构调整。 官方公告称,公司正在调整其组织结构,以提高“以客户为中心”的能力,提高执行效率,并...
    2023-12-05
    昕诺飞宣布调整其全球范围内业务架构

    昕诺飞点亮成都凤凰山体育公园专业足球场

    炎炎夏日,你熬夜看欧洲足球赛了吗?是否幻想过到球场释放激情?全新亮相的顶级赛事中心成都凤凰山体育公园专业足球场,满足你对于足球比赛的一切想象! 昕诺飞为其提供了专业的体...
    2021-07-15
    昕诺飞点亮成都凤凰山体育公园专业足球场

    2022-2023第9届北极星建筑奖获奖名单公布

    北极星建筑奖(公益性奖项),发起于2014年,聚焦全建筑领域最新设计、新技术、新产品、新材料。奖项评审团将由建筑行业各领域的权威代表组成,严格按照"评委筛选和展示资格"的标...
    2023-04-11

    立琻半导体与IPwe共推Micro LED技术专利池建设

    12月1日,立琻半导体宣布,公司与IPwe正式达成知识产权运营战略合作。本次战略合作双方就共同推进Micro LED技术领域专利池建设、光电半导体专利资产运营、知识产权跨国合作等方面开...
    2023-12-05
    立琻半导体与IPwe共推Micro LED技术专利池建设

    山东烟台芝罘湾港区开启绿色智能照明新模式

    今年以来,山东港口烟台港联合通用公司聚焦科技赋能,践行科学化、系统化节能减排建设理念,发扬“钻”“创”作风,开展技术革新,提高港区照明智能化控制管理水平,为建设绿...
    2023-12-04
    山东烟台芝罘湾港区开启绿色智能照明新模式

    网站栏目