678680.com

管家婆彩图320999解开发者之痛:微服务架构下如何用分布式 数据

时间:2019-11-02 14:54  作者:admin  来源:未知  查看:  
内容摘要:固态继电器为什么通电就损坏是输入... , www.kj950.com2019-08-2817:22此次风波再次提 ,AI、IoT、云计算等技术的不断发展,为企业提供了前所未有的发展良机。在迈向智能化的过程中,企业的创新、效率、体验等得到了大幅度的提升,但与此同时,也在面临种种...

  固态继电器为什么通电就损坏是输入...www.kj950.com2019-08-2817:22此次风波再次提,AI、IoT、云计算等技术的不断发展,为企业提供了前所未有的发展良机。在迈向智能化的过程中,企业的创新、效率、体验等得到了大幅度的提升,但与此同时,也在面临种种挑战。企业该如何实现对数据高效、稳定、持续地管理?如何避免应用系统效率低下,资源浪费严重?AI 开发者又该如何解决技术更迭迅速、高质量数据资源不足、算法能力不足、模型训练慢等问题呢?

  11 月 1 日,DevRun·选择不凡——华为云开发者沙龙走进广州,华为云的 5 位技术专家也针对 GaussDB OLAP 分布式数据库、ModelArts、华为沃土数字平台、微服务实践、NAIE平台等内容,与现场开发者交流技术难点与解决方案。

  数据库已成为信息基础设施的核心技术和重要基础。数据库的开发难度不仅体现在与其他基础器件的适配,更在于如何实现对数据高效、稳定、持续地管理。

  GaussDB OLAP 数据库是一款具备分析及混合负载能力的分布式数据库。从2011年开始,华为基于 PostgreSQL 9.2.4,对 GaussDB OLAP 数据库进行自主研发,GaussDB OLAP 数据库支持x86和华为鲲鹏硬件架构,支持行存储与列存储,提供 PB(Petabyte) 级数据分析能力、多模分析能力和实时处理能力,可用于数据仓库、数据集市、实时分析、实时决策和混合负载等场景,以及金融、政府、电信等行业核心系统。

  据华为 GaussDB OLAP 数据库技术专家李茂增老师介绍,GaussDB OLAP 数据库采用Shared-nothing(无共享)架构,具备超强的横向扩展能力,可扩展至2048节点;采用全并行计算技术和列存向量化引擎技术,可以轻松实现万亿数据关联分析秒级响应。

  其中,全并行的分布式查询处理是 GaussDB OLAP 数据库中的核心技术之一,它可以最大限度地降低查询时节点之间的数据流动,以提升查询效率。GaussDB OLAP 数据库为达成高性能数据分析目标,实现了一套高性能的分布式执行引擎,执行引擎以 SQL 引擎生成的执行计划为输入,将元组按执行计划的要求进行加工并将结果返回给客户端。

  在数字化转型的大浪潮下,并不是引入了数字技术就意味着效率的必然提升。对企业而言,基于云架构的软件体系、商业模式、咨询服务、运维体系等的同步改变才有可能将数字技术的价值发挥到最大程度。其中,数字平台正是数字化转型的关键。

  华为沃土数字平台资深架构师董鑫武老师提到,当下构建难、复制难、缺平台等问题一直让企业应用软件开发面临重重掣肘,阻碍着数字化转型的步伐。其实,企业需要的是一个能够向上支持应用快速开发、灵活部署、使能各种业务敏捷创新,向下通过无处不在的联接做到云、管、端协同优化,实现物理世界与数字世界打通的平台。

  华为沃土数字平台,是以云为基础,整合视频、物联网、大数据、视频、GIS 等新技术,基于华为数字化转型经验,创造的打通融合各类数据,使能业务协同与敏捷创新,主要包含 ROMA与 AppEngine 两个平台。

  ROMA 平台主要用于广泛的连接,收集各个厂商的系统数据,打通客户现网各个烟囱式的结构,达到所有数据共享并可调用的目的。管家婆彩图320999

  AppEngine 应用开发平台有三层技术架构,集成层集成第三方系统、物联网平台等;后端定义对象模型,使用 Flow 来提供对外的 Restful API 接口、Flow&Script 实现后台业务逻辑,存取 Object 的数据、调用第三方接口;前端提供标准和高级页面,高级页面 Widget 通过 Bridge 调用后台的 Restful API 接口,标准页面通过拖拽组件,绑定模型。经过三层架构,从定义数据模型到后台流程逻辑编排、页面组装编排到应用的一键式发布,可以高效实现应用敏捷创新。

  虽然微服务备受推崇,但鲜少有真正能够拿出来作为可实践的案例。人们很多时候看到的是这个架构的高峰,却不知具体如何攀登。高效完成遗留系统重构,提升微服务开发效率是企业向微服务架构转型的迫切需求,那么有没有相对简单且行之有效的路径?

  今年,Apache ServiceComb 在认真听取社区用户的建议和痛点后,孵化并全新发布创新项目 Apache ServiceComb Toolkit 一键式微服务开发工具。该工具提供契约、代码、文档相互转换及校验的能力,帮助用户一键式快速构建基于流行微服务框架和流行编程模型的微服务工程,降低微服务入门成本,使用户聚焦业务开发,提升遗留系统重构、开发效率。

  当AI浪潮席卷通信领域,通过AI提高网络维护的效率、资源利用率、能源效率,达到全网的自动、自优、自愈、自治成为解决之道。但是当前通信领域AI应用的开发却存在一个普遍的现象,即门槛高、效率低、效果不可控。如何解决这些问题?

  华为 NAIE 运营专家戈文敏基于NAIE网络AI开发平台提供了高效可行的解决思路。

  华为网络人工智能引擎(NAIE),主要基于公有云模式,提供数据治理相关的数据湖服务,以及模型开发相关的模型训练等服务,涵盖了网络AI业务中最复杂部分的工作。

  其中,数据集服务,解决了大部分开发者缺乏数据的困境,汇聚了华为电信领域合规数据资产和实验室构造数据样本,数据覆盖设备网元、网络状态、网络拓扑、用户体验等领域,通过专业治理和标注,为用户提供全域、高质量的电信网络数据集。

  数据生成服务,基于数据仿真和实验室模拟网络,面向开发者提供异常标注数据和仿真数据的在线生成能力,供开发者生成个性化的数据,用于模型训练和验证;同时,对于强化训练,可提供实时交互数据。

  数据资产管理服务,主要是把数据采集、集成、建模、分析、标注等数据处理相关的工具以及数据治理模板,以云服务的方式向开发者提供,帮助开发者提升数据治理的效率。

  ModelArts 是面向 AI 开发者的一站式开发平台,提供海量数据预处理及半自动化标注、大规模分布式训练、自动化模型生成,以及端 - 边 - 云模型按需部署能力,帮助用户快速创建和部署模型,管理全周期 AI 工作流。

  同时,ModelArts 能够在 AI 开发全生命周期中,从原始数据、标注数据、训练作业、算法、模型、推理服务等,提供全流程可视化管理,支持千万级模型、数据集以及服务等对象的管理,无需人工干预,自动生成溯源图,选择任一模型就可以找到对应的数据集、参数、模型部署在哪里。华为开源软件部 AI 技术专家、华为云 EI 布道师张金衡在现场带领大家动手体验了 ModelArts 的自动学习功能。

  在数据标注方面,ModelArts 提供多场景支持7种类型的数据集标注:图像分类、物体检测、声音分类、语音内容、语音分割、文本分类、命名实体。物体检测新增支持点、直线、虚线、圆、矩形框、多边形等多种标签工具。

  在训练作业部分,ModelArts 提供了30余个各领域最优秀最常用的模型,并实现了精度和速度的优化。一键训练模式,开发者仅需配置数据和日志输出路径;使用预置模型进行迁移学习;自动超参调优;自动模型压缩(量化、修剪);零编码模型训练优化。

  在模型部署部分, ModelArts 支持一键式模型部署到需要的地方,包括在线推理,批量推理以及端侧推理。端侧设备深度支持华为 HiLens Kit 设备、搭载 Ascend AI 加速芯片的 Atlas 系列硬件,以及商用摄像头如海雀摄像头等。同时可以调用生成的 API ,发布到需要的应用。

  11 月 15 日,“DevRun·选择不凡,华为云开发者沙龙 2019”将在杭州继续与开发者见面,5 位来自华为云的资深技术专家,将分别从【OLAP分布式数据查询】、【鲲鹏开发历程揭秘】、【IoT平台架构】、【分布式系统性能优化实践】以及【通信领域的AI开发】等不同角度,为开发者分享实战经验与心得体会。