鹏城云脑II千P级AI算力背后，华为鲲鹏昇腾的落地大幕已拉开

gooobooo · 发表于 2019-12-3 22:51:13

看点：搭载基于昇腾的AI集群Atlas 900，华为与鹏城实验室共建AI开源平台鹏城云脑Ⅱ。

在开放式创新的思维下，华为已逐步成长为电信领域的巨擘，而在被任正非视作“未来最大的产业”的人工智能建设上，这一思维刚刚又一次得到充分的例证。11月29日，以华为最强AI集群Atlas 900为算力底座的大型AI基础研究平台鹏城云脑II基本型正式发布，当前每秒可运算10亿亿次，一亮相就同深圳市四个政府机构分别签署在智慧医疗、智慧交通、智慧管理和智慧城市等应用落地的合作协议。此次距离Atlas 900发布才不到2个月。该集群第一次公开露面，就已经展示超强的计算能力，在20万颗星星中找到具备某种特征的星体，华为仅用10秒，而此前天文学家需要耗费169天。如今，再度登场的Atlas 900，从探索遥远的星空奥秘，回归到实地的AI赋能，通过云脑开源平台让千千万万深圳市民感受到智能所带来的的更高效便捷的看病、出行、政务办理等新生活。鹏城实验室打造了粤港澳大湾区的AI大脑，需要更强的AI算力集群；华为编织了一张基于鲲鹏和昇腾处理器的智能计算巨网，亟需更多开发者来壮大生态。在鹏城实验室科研楼五层的会议室中，中国工程院院士、鹏城实验室主任高文，鹏城实验室常务副主任邹鹏，华为高级副总裁、Cloud & AI产品与服务总裁侯金龙，华为Cloud & AI产品与服务CTO张顺茂，华为智能计算业务部总裁马海旭等一行人，接受智东西等媒体的采访，向我们揭秘这场面向基础科研和AI应用的联袂献礼中，鹏城云脑平台和华为Atlas 900分别交出了怎样的答卷？

▲华为高级副总裁、Cloud & AI产品与服务总裁侯金龙（左）与鹏城实验室主任高文（右）

发布即落地，智能化四大民生领域，一年突破千P级算力

回到2018年3月，鹏城实验室刚刚启动，华为智能计算战略还没有浮出水面。两个看似毫无关联的机构，却分别围绕硬件和软件基础设施，在深圳悄然布局智能时代的底座。华为的战略定位，是在未来二三十年疏导巨大的信息洪流；而鹏城实验室则承载着广东省在原始性创新科研领域蓄力的希望，汇聚22位院士和逾千人科研队伍，围绕人工智能、网络通信、网络空间安全、机器人、量子计算五大方向展开前沿科研创新。经过一年半的酝酿，鹏城实验室的AI核心武器——AI开源平台云脑，已开始支撑丰富的AI基础性研究与应用探索。华为的超强AI训练集群也终于打磨成型，在9月的华为全连接大会上重磅登场。鹏城云脑需要能打造世界级标杆的更强算力基础设施，华为需要开放共赢的AI生态合作伙伴，双方一拍即合，用搭载昇腾处理器的华为Atlas 900 AI集群作为鹏城云脑Ⅱ的底座，合力打造千P级智能算力系统。

高文院士为我们系统介绍了这一基础设施的必要性。以前超算要求精度够高、速度够快，能够应对天气预报、地质勘探等大规模超高速解方程计算。AI起势后，计算被分叉。一部分计算仍需追求更快的解方程速度，而另一部分的运算类型则不同于传统超算，比如AI计算更多做矩阵或张量运算，对浮点运算精度要求没那么高，反而对处理速度要求非常高。这使得拥有强大算力的基础设施，对于任何AI科研单位或厂家都是非常重要的工具。正是在这样的背景下，云脑应运而生。它是一个专为支持超高速AI计算的特殊计算机，具有强大的解算和分析能力，所以称之为“脑”。同时，这个超级计算机会通过网络，实现更大规模的算力整合和对外辐射，所以称之为“云”。云脑II的核心底座，就是华为鲲鹏、昇腾AI集群。当前云脑II的算力已突破100 PFLOPS，相当于云脑I算力的5倍。而这100 PFLOPS只是基础型系统的算力，经验证后将直接能拓展到1000 PFLOPS，也就是千P级算力，高文院士表示，达成这一目标预计只需一年。

▲华为Atlas 900集群入驻鹏城实验室机房这是鹏城实验室AI基础算力的大型进化，也是华为“鲲鹏+昇腾”计算产业在科研领域的重大进展。省级实验室是从事基础研究的中坚科技力量，云脑平台用于支撑各类基础研究，同时各类研究的力量汇聚在云脑上，形成更为丰富的AI生态。此前，鹏城云脑I平均每天支撑450多位科研人员日常研究，运行500多个科研任务，同时也能远程为一些协作单位提供大规模计算服务。

▲坐标粤港澳大湾区的鹏城云脑，正将AI能力向全球辐射比如，德国莱布尼斯超算中心的一些研究人员提供蛋白质分析计算服务，为加拿大滑铁卢大学提供自然语言处理模型计算服务，为一些清华大学教授提供计算测试服务，为量子中心提供量子模拟计算服务，还有部分团队正与华为探索下一代AI集群训练的优化。这些都是云脑I已经支撑的研究，而采用华为Atlas 900集群的云脑II，能将实验规模进一步扩大的10倍甚至是100倍，为AI领域的极限实验提供更为优质的环境。以前需要数天或者几个月的大型AI模型训练，现在云脑II仅用几分钟甚至几秒就能完成。云脑II发布当日，就直接官宣四项围绕民生的落地计划。它与深圳市卫健委签约，在智慧医疗领域构建“1+2+X”的医学人工智能创新发展体系；与深圳巴士集团签约，面向巴士运营调度及全程安全监控，提高调度服务质量；与深圳市龙岗区政府签约，围绕龙岗智慧政务、智慧城市建设加强合作；和深圳市交管局签约，共同建立“智能交通联合实验室”，并在光侨路展开“云脑智能交通引擎”的示范应用。在未来可见的日子里，这个凝聚了鹏城实验室软件能力和华为AI硬件能力的超级AI系统，有望催化AI以更快的速度改变深圳市民的生活轨迹。

高算力+可扩展，云脑II背后的华为硬核实力

鹏城实验室常务副主任邹鹏从云脑II中总结了三点创新：一是底座创新，华为自主研发鲲鹏、昇腾系列芯片，是中国自己的技术，满足了多种计算需求，同时峰值算力很高。二是平台创新，云脑的开源软件基础平台和AI决策应用平台，充分调度了核心底座的澎湃算力，很好实现应用场景上的生态支持。三是落地创新，云脑研究出好的实现方法，以使用前沿科技解决各行业现实问题，缩短了AI技术从实验室到市场的路径，产生社会效应。从专家们的描述中，我们可以提炼出云脑II所具备的三个主要特征：算力自由可扩展，系统可动态进化、管理调度能力完善。其中，AI计算系统的动态进化包含AI集群规模进化和AI功能进化。AI集群规模可从单集群，到异构集群，再进化到异地异构多样化；AI功能可从现有的AI训练、数据集、开发环境，拓展到自动学习、自动标注、联邦学习等功能。拥有丰富图像库的云脑II，还具备完善的管理调度能力。云脑II的硬件基础平台除了有昇腾系列处理器外，还有CPU、GPU、FPGA等多种计算架构的集群资源，云脑II已经构建了完善的管理调度系统来更好实现不同资源租户间的隔离。用户在云脑界面上单点登录，即可直接使用不同集群资源，并且只需经过一次开发，代码就能在不同集群中使用。而能自由扩展到千P级的AI算力，是实现上述两个特征的基础。

根据此前华为公布的数据，Atlas 900集群的总算力达256-1024 PFLOPS@FP16，基于ImageNet数据集训练ResNet-50模型，实测仅用时59.8秒，足足领先第二名10.4秒。然而实现这一成绩绝非易事。“AI集群和单个AI节点，相当于房子和砖头的关系。”华为云副总裁朱照生说。AI集群不仅仅是算力的堆砌，更重要的是把庞大的算力高速、无阻塞的连接起来，并用分布式集群软件协同起来。首先基础算力本身要足够强。Atlas 900由数千颗昇腾910组成，而昇腾910是华为所打造的最强云端AI芯片，单枚芯片算力就能达到256 TFLOPS。

如果说超强算力来源于昇腾910，那么华为在组网调度和散热等世界性难题上下的苦功则是能将云鹏II从P级平滑扩展到千P级AI算力的关键。将数千个单体组成一个大的集群，必然面临通信互联中的时延问题。对此，华为Atlas 900采用华为自研HCCS、最新PCle 4.0、100G RoCE等三类高速互联方式，形成高速集群网络，比业界梯度同步时延缩短10~70%。并独创iLossless 智能无损交换算法，对全网流量进行实时的学习训练，实现网络零丢包与端到端微秒级时延。

同时为了更加高效节能，Altas 900采用液冷占比超过95%的顶尖柜级密闭绝热技术，单液冷柜支持50KW超高散热功耗，系统能效比小于1.1，可将机房空间节省79%。凭借其强大算力，Atlas 900可广泛应用于天文探索、气象预测、自动驾驶、石油勘探等领域的科学研究与技术创新。强大如斯的Atlas 900，只是华为庞大AI布局中的一隅。随着华为一层层揭开其智能计算的神秘面纱，我们对华为的认识正在不断被重新定义。

智能计算，一场准备就绪的华为新战事

随着智能时代到来，联接和计算已如双生兄弟般密不可分，计算成为提速生产力的必然选择，而联接将IT系统从一个个独立的孤岛，转变为更为紧密联系的共享生态。过去几十年，华为以联接的专长，在人们心中印下了“电信巨头”的标签。过去一年，华为则在用实际行动颠覆人们对它的刻板印象。甚至，人们以为华为最核心的战略高地5G，都被华为创始人任正非称之为“小儿科”，任正非在今年7月31日签发的总裁办电邮中提到，“5G支撑的是人工智能，人工智能才是大产业，是又一次改变信息社会格局的机会”，“它需要超级计算、超大容量的数据存储和超速联接的支撑，才能实现。”计算、存储、联接，这三个词足以囊括华为智能计算重点竞逐的三大制高点。2017年年底，华为公布新愿景：“把数字世界带入每个人、每个家庭、每个组织，构建万物互联的智能世界。”2018年年底，华为宣布将其服务器产品线升级为智能计算事业部，将围绕算力、工程、云边协同、一体化解决方案四个方面，面向行业构建全栈全场景智能解决方案。2019年9月，华为宣布以鲲鹏和昇腾为根基，打造“一云（华为云）两翼（智能计算业务、智能数据与存储业务）双引擎（通用计算引擎鲲鹏、AI计算昇腾）”的技术产业布局，公布华为智能计算战略：架构创新、产品布局、商业策略、开放生态。

同年11月，华为从数据角度再度阐述其计算战略，围绕数据“采–存–算–管–用”的全生命周期，提供融合、智能、开放的数据基础设施，使能各行各业客户释放数据价值，让智能无所不及。自主创新架构、多类芯片、操作系统、数据库、AI计算框架、AI应用平台……华为面向智能计算构筑了一层又一层坚硬的技术铠甲，以高调的姿态彰显着意欲拿下通用计算和AI计算双重话语权的野心。

1、硬件开放：基于鲲鹏+昇腾，全面覆盖云边端

在多计算架构的硬件基础设施建设方面，无论是深度的技术实力，还是广度的全场景布局，华为都鲜有敌手。从历史的脉络来看，华为在2004年投资研发第一颗嵌入式处理芯片，经历了长达15年的技术和经验积累，已然成长为国内第一大集成电路设计公司。如今华为已投入超过2万名工程师，形成了以“鲲鹏+昇腾”为核心的基础芯片族，循着“量产一代、研发一代、规划一代”持续演进。

为了实现AI在多平台多场景间的协同，华为自主研发达芬奇架构，以高算力、高效率、灵活可裁剪的特性，满足小至几十毫瓦、大至几百瓦的云边端全场景算力需求。从计算架构的广度来看，华为是目前国内唯一同时拥有“CPU、AI芯片、存储控制、网络互连、智能管理”5大关键芯片的厂商。围绕通用计算和AI计算，x86、鲲鹏、昇腾是华为重点进行战略投资的三大计算平台。其中CPU鲲鹏系列是基于Arm内核而设计，自2007年起步，包括服务器处理器和PC机处理器；AI芯片昇腾系列基于统一的华为自研达芬奇架构，包括Max、Mini、Lite、Tiny、Nano五个系列，覆盖云、边、端全场景AI计算。

市面上明明有成熟且稳定的英特尔x86 CPU、有强大的英伟达GPU，华为自己也有基于x86的服务器，华为冒着风险砸巨额资金和人力做Arm架构芯片和达芬奇架构芯片的研发，除了“备胎论”外，究竟图什么？“数字世界如果只是建立到一个没有选择的上面，那也是非常危险的，”华为Cloud&AI产品与服务总裁侯金龙说，“我们整个计算战略的目的就是让世界有第二种选择。”在侯金龙看来，目前整个世界的计算产业都基于英特尔体系。现在的世界只有一种选择，就是x86，但华为希望，未来的世界是“一个生态两个根”，一个根是x86，而另一根是鲲鹏。迄今为止，华为已用数据证明了其芯片研发的硬核实力。第三代芯片鲲鹏920推出之时，性能比业界主流x86处理器高25%、内存带宽高60%；首款云端AI芯片昇腾910的半精度峰值算力达到英伟达Tesla V100 GPU的两倍；华为L4自动驾驶系统采用16颗昇腾310芯片，算力超过300 TOPS。截至目前，基于鲲鹏系列处理器，华为对内打造多款搭载鲲鹏的TaiShan服务器，对外宣布开源服务器操作系统、GaussDB OLTP单机版数据库，开放鲲鹏主板。基于昇腾系列AI处理器，华为Atlas人工智能计算平台通过模块、板卡、小站、服务器、集群等丰富的产品形态，打造面向云、边、端的全场景AI基础设施方案，覆盖深度学习领域推理和训练全流程。

2、软件开源：操作系统、数据库、AI框架集体开源，充分降低开发门槛

软件是上承应用下接硬件的关键中间件，软硬协同才能更充分地释放算力，而软件好用易用方便迁移适配，才能吸引更多应用。在鲲鹏计算体系中，华为已宣布开源服务器操作系统EulerOS、数据库Gauss、数据虚拟化引擎HetuEngine。EulerOS开源版openEuler今年12月31日全面开放，将支持华为合作伙伴来开发相应的商业版本，支持行业主流应用和软件迁移到基于openEuler的操作系统上。

Gauss数据库的开源版本openGauss将在明年6月上线，可覆盖企业70%以上的数据库业务场景，支持合作伙伴发展自己品牌的数据库产品和应用。HetuEngine开源版本openHetu同样将在明年6月上线，华为将开源内核，开发者可以基于开源代码进行定制，而不用考虑数据类型差异、地域差异、语法差异等问题，有效提升开发效率。

在昇腾计算体系中，华为打造了包括昇腾系列IP和芯片、芯片使能CANN、全场景AI计算框架MindSpore和一站式AI开发管理平台ModelArts在内的全栈式AI方案。其中，AI计算框架MindSpore预计在明年第一季度开源。MindSpore堪称“彪悍”的地方在于，它用一套框架，打通华为公有云、私有云、边缘计算、手机等不同AI应用场景，这意味着只需调校一次AI应用，就能简便地实现在这些不同场景上的独立部署。此外，根据华为披露的信息，MindSpore相比现有AI框架能显著减少模型开发时间。比如在MindSpore上处理某NLP典型网络，可将核心代码量降低20%，效率提升50%以上，开发门槛大大降低。

目前在开源AI框架领域，主流的TensorFlow、PyTorch、Caffe都来自美国，我国仅有百度飞桨在国际上稍有名气。涸泽而渔则明年无鱼，在时局动荡的今时今日，我们必须提前为种种限制我国发展的场景预先做好准备。为了预防美国在AI领域竖起“数字铁幕”，我国亟需更多像华为MindSpore这样完全独立自主且好用的开源AI平台。3、使能伙伴：五大方向构建生态护城河

华为副董事长胡厚崑说过：“这是计算产业新的大航海时代，我们期待的是千帆竞发，而不是独舟奋进。”华为基于鲲鹏和昇腾所打造的一系列软硬件产品，要想获得更大的市场蛋糕，首先需要更多企业和个人开发者愿意来使用。今年9月，华为发布沃土计划2.0，宣布未来5年将投入15亿美元，汇聚500万开发者，从五大方面进行升级。这五个方面可以基本概括华为向鲲鹏昇腾产业生态所投入的种种努力。（1）产品：重点基于鲲鹏+昇腾计算处理器，打造开源开放的计算产业生态；（2）赋能：打造360度的全方位赋能体系；（3）联盟：推动产业标准、规范、示范点、技术认证体系的建设，共同做大蛋糕；（4）社区：按行业建设应用生态，按区域建设产业生态。（5）激励：让每个开发者都能获取到鲲鹏和昇腾算力。华为已经构建了在线鲲鹏社区和昇腾社区，通过提供一系列相关工具，来帮助合作伙伴和开发者快速掌握操作系统、编译器以及应用的迁移调优等能力。据侯金龙透露，除了鹏城实验室的云脑项目外，华为的计算引擎已经进入金融、智慧城市、电力、交通、互联网等多个行业。南方电网、深圳多家银行的智能网点都是基于鲲鹏和昇腾的算力支撑。华为云上也推出了69项基于鲲鹏的云服务和43项基于昇腾的云服务，使得更多机构能通过上云获得华为的算力支持。包括交通运输部取消全国高速公路省界收费站的项目，也是基于鲲鹏和昇腾来改造，预计今年年底全部完工。这一项目完成后，未来省界收费站都不用停车，所有驾驶者能得到更高效便捷的驾驶体验。除此之外，华为也在着力通过与高校合作、培育人才发展更强大的开发者生态。11月，华为面向高校公布“鲲鹏高校人才计划”，计划2019年投入1000万人民币，通过产学合作协同培养关键核心技术领域人才，计划5年内输出人才超20万。同月，华为发布了基于昇腾的欧洲AI生态计划，宣布未来5年投入1亿欧元，与产业组织、20万开发者、500 ISV伙伴、50所研究机构与大学一起建设欧洲AI生态。通过共建联合实验室、提供基于鲲鹏和昇腾计算架构体系的课程和教材等方式，华为希望未来学生不仅懂x86，也可以懂更多基于鲲鹏和昇腾芯片的开发。侯金龙还透露，华为明年2月将在深圳举办一个开发者大会，将面向超过2万名学生及各行业开发者。结语：基础设施建设，智能时代的必备粮草

华为看似从一家电信公司变得云化、AI化，但从始至终，它从未偏离“疏导分发、存储与处理巨大信息洪流”的主航道，“在大方向上有连续性，在不同阶段有适应性”，华为加注智能计算，不过是适应时代变化，看见能为其管道持续输送活水的人工智能这片浩瀚海洋。信息时代几度历经革命，AI不是第一次，也未必会是最后一次，而每一次信息时代的突飞猛进无不是仰赖于基础设施能力的突破，但现实很残酷，我国在包括开源开放平台和硬件设备的基础设施供应方面，还不足以摆脱来自美国的桎梏。鹏城实验室与华为AI集群的联手，正是期望解决我国现有AI发展所存在的一些短板。一方面，我们看到产学研多方合作的价值，多方各展其长，从而更好地推动AI这艘巨轮驶向远方。华为打造了高性能的AI训练集群，为鹏城云脑开源开放基础研究平台提供澎湃算力，云脑软件和应用平台又能通过云远程支持世界各地的基础研究。另一方面，我们看到华为在智能计算的野心，更看到支撑起野心的硬核实力。CPU、服务器、操作系统、数据库、AI框架……这些基础软硬件都是一个国家在快速迭代的信息化大潮中最根本的安全保障，而华为的强大之处在于，不仅能纵向打造AI全栈式解决方案，而且能横向覆盖AI所依赖的计算、存储、网络基石。新的商业新契机出现的时候，随风而动的伺机者数不胜数，但能够在信息变革的风风雨雨中安稳如山笑到最后的，离不开在技术层面的稳扎实干，也离不开在具有前瞻性的战略决策。基础设施市场不是一朝一夕就能撕开的缺口，华为正是积蓄了十几年技术和人才力量，才有了今日看似的集中式爆发。

（本账号系网易新闻·网易号“各有态度”签约帐号）

AI生产力创新奖评选

来源：http://mp.weixin.qq.com/s?src=11&timestamp=1575381604&ver=2012&signature=I5RRzYXaTUyX4ezuSnAHYOKvv3oYQYqXKH02EhWsaLKtOIZ8k9YyYopD-nw93H1rlZIptxPcAFhy8aJd1XhYM*-dg5rvVmid8VpylI5kTc8NtmLhI9uu*O9ROr6EQ*CL&new=1
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

账号		自动登录	找回密码
密码			立即注册

鹏城云脑II千P级AI算力背后，华为鲲鹏昇腾的落地大幕已拉开

本帖子中包含更多资源

相关帖子

站长推荐 /6