Spark是什么意思

子凡 问答 2019-07-22 17:19:51 阅读(...)

Apache Spark是一个开源集群运算框架,相对于Hadoop的MapReduce会在运行完工作后将中介数据存放到磁盘中,Spark使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。

Apache Spark 是一个开源集群运算框架,最初是由加州大学柏克莱分校 AMPLab 所开发。相对于 Hadoop 的 MapReduce 会在运行完工作后将中介数据存放到磁盘中,Spark 使用了存储器内运算技术,能在数据尚未写入硬盘时即在存储器内分析运算。

Apache Spark

Spark 在存储器内运行程序的运算速度能做到比 Hadoop MapReduce 的运算速度快上 100 倍,即便是运行程序于硬盘时,Spark 也能快上 10 倍速度。Spark 允许用户将数据加载至集群存储器,并多次对其进行查询,非常适合用于机器学习算法。

使用 Spark 需要搭配集群管理员和分布式存储系统。Spark 支持独立模式(本地 Spark 集群)、Hadoop YARN 或 Apache Mesos 的集群管理。在分布式存储方面,Spark 可以和 Alluxio, HDFS、 Cassandra 、OpenStack Swift 和 Amazon S3 等接口搭载。 Spark 也支持伪分布式(pseudo-distributed)本地模式,不过通常只用于开发或测试时以本机文件系统取代分布式存储系统。在这样的情况下,Spark 仅在一台机器上使用每个 CPU 核心运行程序。

在 2014 年有超过 465 位贡献家投入 Spark 开发,让其成为 Apache 软件基金会以及大数据众多开源项目中最为活跃的项目。

特色

  • Java、Scala、Python 和 R APIs。
  • 可扩展至超过 8000 个结点。
  • 能够在存储器内缓存数据集以进行交互式数据分析。
  • Scala 或 Python 中的交互式命令行接口可降低横向扩展数据探索的反应时间。
  • Spark Streaming 对即时数据流的处理具有可扩展性、高吞吐量、可容错性等特点。
  • Spark SQL 支持结构化和关系式查询处理(SQL)。
  • MLlib 机器学习算法和 Graphx 图形处理算法的高端库。

历史

Spark 在 2009 年由 Matei Zaharia 在加州大学柏克莱分校 AMPLab 开创,2010 年透过 BSD 许可协议开源发布。2013 年,该项目被捐赠给 Apache 软件基金会并切换许可协议至 Apache2.0。2014 年 2 月,Spark 成为 Apache 的顶级项目。2014 年 11 月,Databricks 团队使用 Spark 刷新数据排序世界记录。

项目构成要素

Spark 项目包含下列几项:

Spark 核心和弹性分布式数据集(RDDs)

Spark 核心是整个项目的基础,提供了分布式任务调度,调度和基本的 I/O 功能。而其基础的程序抽象则称为弹性分布式数据集(RDDs),是一个可以并行操作、有容错机制的数据集合。 RDDs 可以透过引用外部存储系统的数据集创建(例如:共享文件系统、HDFS、HBase 或其他 Hadoop 数据格式的数据源)。或者是透过在现有 RDDs 的转换而创建(比如:map、filter、reduce、join 等等)。

RDD 抽象化是经由一个以 Scala, Java, Python 的语言集成 API 所呈现,简化了编程复杂性,应用程序操纵 RDDs 的方法类似于操纵本地端的数据集合。

Spark SQL

Spark SQL 在 Spark 核心上带出一种名为 SchemaRDD 的数据抽象化概念,提供结构化和半结构化数据相关的支持。Spark SQL 提供了领域特定语言,可使用 Scala、Java 或 Python 来操纵 SchemaRDDs。它还支持使用使用命令行界面和 ODBC/JDBC 服务器操作 SQL 语言。在 Spark 1.3 版本,SchemaRDD 被重命名为 DataFrame。

Spark Streaming

Spark Streaming 充分利用 Spark 核心的快速调度能力来运行流分析。它截取小批量的数据并对之运行 RDD 转换。这种设计使流分析可在同一个引擎内使用同一组为批量分析编写而撰写的应用程序代码。

MLlib

MLlib 是 Spark 上分布式机器学习框架。Spark 分布式存储器式的架构比 Hadoop 磁盘式的 Apache Mahout 快上 10 倍,扩展性甚至比 Vowpal Wabbit 要好。MLlib 可使用许多常见的机器学习和统计算法,简化大规模机器学习时间,其中包括:

  • 汇总统计、相关性、分层抽样、假设检定、随机数据生成
  • 分类与回归:支持向量机、回归、线性回归、逻辑回归、决策树、朴素贝叶斯
  • 协同过滤:ALS
  • 分群:k-平均算法
  • 维度约减:奇异值分解(SVD),主成分分析(PCA)
  • 特征提取和转换:TF-IDF、Word2Vec、StandardScaler
  • 最优化:随机梯度下降法(SGD)、L-BFGS

GraphX

GraphX 是 Spark 上的分布式图形处理框架。它提供了一组 API,可用于表达图表计算并可以模拟 Pregel 抽象化。GraphX 还对这种抽象化提供了优化运行。

GraphX 最初为加州大学柏克莱分校 AMPLab 和 Databricks 的研究项目,后来捐赠给 Spark 项目。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • 数据湖 data lake

    数据湖是什么

    数据湖是一个集中式存储库,允许您以任意规模存储所有结构化和非结构化数据。您可以按原样存储数据(无需先对数据进行结构化处理),并运行不同类型的分析 – 从控制面板和可视化到大数据处理、实时分析和机器学习,以指导做出更好的决策。
  • 讴歌 Acura

    讴歌是什么

    讴歌(Acura)是日本本田汽车公司旗下的高端子品牌,作为第一个日系豪华汽车品牌,讴歌以个性化和前瞻科技的“运动豪华”理念对豪华车的概念进行了重新诠释,品牌一经推出即在北美市场获得了巨大的成功。
  • 火花塞是什么

    火花塞是什么

    火花塞(spark plugs),俗称火嘴,它的作用是把高压导线(火嘴线)送来的脉冲高压电放电,击穿火花塞两电极间空气,产生电火花以此引燃气缸内的混合气体。高性能发动机的基本条件:高能量稳定的火花、混合均匀的混合气、高压缩比。
  • 百度智能云是什么

    百度智能云是什么

    百度智能云是百度提供的公有云平台。百度智能云为金融、城市、医疗、客服与营销、能源、制造、电信、文娱、交通等众多领域领军企业提供服务
  • 显卡是什么

    显卡是什么

    显卡是个人计算机最基本组成部分之一,用途是将计算机系统所需要的显示信息进行转换驱动显示器,并向显示器提供逐行或隔行扫描信号,控制显示器的正确显示,是连接显示器和个人计算机主板的重要组件,是“人机”的重要设备之一。
  • 内存溢出是什么

    内存溢出是什么

    内存溢出(OOM)是指应用系统中存在无法回收的内存或使用的内存过多,使得程序运行要用到的内存大于能提供的最大内存。此时程序就运行不了,系统会提示内存溢出,有时会自动关闭软件,重启电脑或者软件后释放掉一部分内存又可以正常运行该软件。