?

AI专家:大数据知识图谱——实战经验总结

作为数据科学家,我想把行业最新知识图谱总结并分享给技术专家们,让大数据知识真正转化为互联网生产力!大数据与人工智能、云计算、物联网、区块链等技术日益融合,成为全球最热的战略性技术,给大数据从业者带来了前所未有的发展机遇,同时也对大数据工程师提出了高标准的技能要求。大数据具有海量性、多样性、高速性和易变性等特点,映射到大数据平台建设要求,不仅要具备海量数据采集、并行存储、灵活转发、高效调用和智能分析的通用Paas服务能力,而且能快速孵化出各种新型的Saas应用的能力。

要实现这个目标,架构设计至少要满足三个总体技术要求:

一是把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的云平台架构,运用经典设计原则和设计模式的架构之美,吸纳业内主流分布式技术的思想精髓,深耕主流平台服务模式到现代微架构的演变内涵;

二是用系统架构设计和微服务建设思想武装团队,持续撰写多维度的架构蓝图,推动团队协同作战;

三是围绕大数据全栈技术体系解决项目实战中的各类难题,制定主流技术规范和设计标准,通过平台核心组件方式快速迭代出新型业务。从设计要求来讲,大数据平台服务的整体设计要具备全面、全局、权衡的关键技术要求,不仅能全面提炼国内外优秀架构和解决方案的精华,而且要理解分布式技术的底层设计思想;不仅能全局了解上下游技术生态和业务结合的设计过程,而且要游刃有余的处理系统功能和性能问题;不仅能权衡新技术引入和改造旧系统的成本估算,而且要推动作战团队轻松驾驭新技术。

第一个总体技术要求:把分布式大数据平台的基础数据服务能力建设摆在首位。规划出支撑PB级规模数据运营能力的创新云平台架构,运用经典设计原则和设计模式的架构之美,吸纳业内主流分布式技术的思想精髓,深耕主流平台服务模式到现代微架构的演变内涵。

第二个总体技术要求:用系统架构设计和微服务建设思想武装团队,持续撰写多维度的架构蓝图,推动团队协同作战。架构师不仅要具备大型云平台架构的实战经验之外,更要有大智慧和战略思维,通过蓝图来推动和管理好每一个产品的全生命周期。

第三个总体技术要求:围绕大数据全栈技术体系解决项目实战中的各类难题,制定主流技术规范和设计标准,通过平台核心组件方式快速迭代出新型业务。针对设计规范的重要性,我们不妨用《孙子兵法》的大智慧来分析一下。

从系统整体技术能力出发,提出物联网大数据平台的八个通用微服务的技术要求,包括大数据的高并发采集服务、灵活分发服务、高可扩展海量存储服务、高并发展海量存储服务、高可靠海量存储服务、自定义迁移服务、基于机器学习的智能分析服务和基于Spark生态的实时计算服务,具体如下:

高并发采集服务:

支持多种移动终端和物联网数据的可扩展接入,并具备大规模接入并发处理能力。能够兼容主流行业通用的可扩展协议和规范,并采用高可靠的集群或者负载均衡技术框架来解决。如引入Mina或者Netty技术框架后适配各种多种移动终端接入。标准化接入要求常用的字节流、文件、Json等数据格式符合主流标准格式。

灵活分发服务:

按照分析应用需求,转发不同的数据类型和数据格式,交互方式之一是主流的消息中间件MQ或者Kafka,保证高效的转发并转换数据给数据服务运营方。交互的方式之二是Restful 方式,保证数据可以按照协议规范进行安全可靠的数据转发和传输。

高可扩展海量存储服务:

支持数据类型和数据表可扩展,对物联网大数据进行海量存储和计算,尤其适用于初创公司研发百万级用户之内的大数据平台。

高可并发海量存储服务:

支持数据类型和数据量的高速增长,对物联网大数据进行批处理,适合构建PB级数据量和千万级用户量的云平台。

高可靠海量存储服务:

支持物联网多源异构数据的统一高效和海量存储,并提供易于扩展的行业数据的离线计算和批处理架构,适合构建ZB级数据量和亿级用户量的分布式大平台。

基于Spark生态的实时计算服务:

支持对物联网大数据智能分析能力,通过企业级中间件服务框架提供安全可靠接口,实现数据实时统计和计算。

基于机器学习的智能分析服务:

支持安全高效的机器学习算法,通过支持分布式分类、聚类、关联规则等算法,为用户和物联网机构提供个性化的智能分析服务。

自定义迁移服务:

支持对物联网大数据的整体迁移和同步,通过数据转换和数据迁移工具对不同数据类型和数据格式进行整体迁移,实现数据集的自定义生成。

相关推荐
新闻聚焦
猜你喜欢
热门推荐
  • 微软AI面试题有多难?这里有一份样卷

      究竟什么样的AI人才能被微软这样的巨头聘用呢?今天,文摘君就淘来了几道微软AI 面试题,同时给出了最基本的解答......

    06-25????来源:澎湃新闻网

    分享
  • 全球最聪明的大脑怎么看AI?他们预测了

      2017年AI领域取得了诸多成果。2018年AI又将何去何从?以下是来自世界顶级研究人员和行业领军人物对2018年AI领域发展作......

    02-20????来源:虎嗅网

    分享
  • 2017JavaScript框架战报 - React分战场

      我们来看看与React有关的软件包的生态系统。当Facebook构建React时,就有许多来自开源社区的第三方软件包。为提供完......

    02-27????来源:湖北新闻网

    分享
  • 小白学数据:教你用Python实现简单监督学

      监督学习作为运用最广泛的机器学习方法,一直以来都是从数据挖掘信息的重要手段。即便是在无监督学习兴起的近......

    03-05????来源:今日头条

    分享
  • 现代编程语言Swift、Kotlin等十大有趣功能

      最近学习了一些现代编程语言,比如Reason,Swift,Kotlin和Dart。这些编程语言提供了许多新功能,本文主要分享了我认......

    04-29????来源:祁东新闻网

    分享
  • 领域场景分析的6W模型

      组成场景的要素常常被称之为6W模型,即描写场景的过程必须包含Who,What,Why,Where,When与hoW这六个要素。......

    04-30????来源:砍柴网

    分享
  • 开源应用服务器WildFly 12发新季度交付模式

      WildFly 12 Final版本现在已经可以下载了,WildFly是一款灵活的开源应用服务器,支持开发人员构建轻量级应用程序。支持......

    05-10????来源:青岛新闻网

    分享
  • 基于Spring Cloud的微服务落地

      微服务架构模式的核心在于如何识别服务的边界,设计出合理的微服务。但如果要将微服务架构运用到生产项目上,......

    06-04????来源:广西新闻网

    分享
  • 为什么阿里工程师纷纷在内网晒代码?

      前阵子,在阿里一个小黑屋里,5名对代码有着极致追求的工程师参与阿里代码领域最高荣誉“多隆奖”的最终角逐。......

    06-08????来源:四川新闻网

    分享
  • 超级大汇总!200多个最好的机器学习、

      我把这篇文章分为了四个部分:机器学习,自然语言处理,python和数学。在每个部分中我都列举了一些主题,但是因......

    09-25????来源:洛阳新闻网

    分享
返回列表
Ctrl+D?将本页面保存为书签,全面了解最新资讯,方便快捷。