Kafka是什么

养乐多 问答 2019-07-22 17:05:50 阅读(...)

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

Kafka 是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

kafka

对于像 Hadoop 一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka 的目的是通过 Hadoop 的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。

Kafka 是由 Apache 软件基金会开发的一个开源流处理平台,由 Scala 和 Java 编写。

Kafka 最初是由领英开发,并随后于 2011 年初开源,并于 2012 年 10 月 23 日由 Apache Incubator 孵化出站。2014 年 11 月,几个曾在领英为 Kafka 工作的工程师,创建了名为 Confluent 的新公司,并着眼于 Kafka。根据 2014 年 Quora 的帖子,Jay Kreps 似乎已经将它以作家弗朗茨·卡夫卡命名。Kreps 选择将该系统以一个作家命名是因为,它是“一个用于优化写作的系统”,而且他很喜欢卡夫卡的作品。

Kafka 存储的消息来自任意多被称为“生产者”(Producer)的进程。数据从而可以被分配到不同的“分区”(Partition)、不同的“Topic”下。在一个分区内,这些消息被索引并连同时间戳存储在一起。其它被称为“消费者”(Consumer)的进程可以从分区查询消息。Kafka 运行在一个由一台或多台服务器组成的集群上,并且分区可以跨集群结点分布。

Kafka 高效地处理实时流式数据,可以实现与 Storm、HBase 和 Spark 的集成。作为聚类部署到多台服务器上,Kafka 处理它所有的发布和订阅消息系统使用了四个 API,即生产者 API、消费者 API、Stream API 和 Connector API。它能够传递大规模流式消息,自带容错功能,已经取代了一些传统消息系统,如 JMS、AMQP 等。

Kafka 架构的主要术语包括 Topic、Record 和 Broker。Topic 由 Record 组成,Record 持有不同的信息,而 Broker 则负责复制消息。Kafka 有四个主要 API:

  • 生产者 API:支持应用程序发布 Record 流。
  • 消费者 API:支持应用程序订阅 Topic 和处理 Record 流。
  • Stream API:将输入流转换为输出流,并产生结果。
  • Connector API:执行可重用的生产者和消费者 API,可将 Topic 链接到现有应用程序。

相关术语

  • Topic 用来对消息进行分类,每个进入到 Kafka 的信息都会被放到一个 Topic 下
  • Broker 用来实现数据存储的主机服务器
  • Partition 每个 Topic 中的消息会被分为若干个 Partition,以提高消息的处理效率
  • Producer 消息的生产者
  • Consumer 消息的消费者
  • Consumer Group 消息的消费群组

Kafka 的性能

由于其广泛集成到企业级基础设施中,监测 Kafka 在规模运行中的性能成为一个日益重要的问题。监测端到端性能,要求跟踪所有指标,包括 Broker、消费者和生产者。除此之外还要监测 ZooKeeper,Kafka 用它来协调各个消费者。当前有一些监测平台可以跟踪卡夫卡的性能,有开源的,如领英的 Burrow;也有付费的,如 Datadog。除了这些平台之外,收集 Kafka 的数据也可以使用工具来进行,这些工具一般需要 Java,包括 JConsole。

0个人收藏 收藏

评论交流

泪雪默认头像 请「登录」后参与评论
  1. 加载中..

相关推荐

  • Kafaka

    Kafaka是什么

    Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。
  • flume vs kafka

    flume和kafka区别

    kafka和flume都是日志系统,kafka是分布式消息中间件,自带存储;flume每一部分都是可以定制。kafka更合适做日志缓存,flume数据采集部分做的很好,可以定制很多数据源,减少开发量。
  • QQ 邮箱 QQ E-mail

    QQ邮箱如何发邮件

    电脑上登录自己的QQ账号,在QQ页面最上方找到邮箱符号并点击,进入邮箱页面点击页面中写信,选择收件人,填好主题,在正文中写好邮件内容,点击发送按钮,当页面跳转到您的邮件已发送,这样就已经发送成功了。
  • 华为手机 Huawei Mobile

    华为手机隐藏相册怎么找出来

    进入到华为手机照片界面中找到相册选项并点击,切换至相册界面之后,点击右上方四个小点图标进入,找到隐藏相册并点击,找到华为手机隐藏的照片或视频点击进入,选择需要找回的照片并点击,找到取消隐藏并点击,即可查看隐藏的照片已显示到照片界面。
  • 微信 WeChat

    微信视频号点赞怎么取消

    进入微信视频号后,点击右上角的人物小标志,进入后点击一下上方的赞过的动态选项,找到需要取消点赞的内容并点击打开,打开视频后点击一下右下角的爱心,这样即可成功取消点赞。
  • WPS

    WPS怎么创建共享文件

    首先点击文件选项卡,然后点击分享,在弹出菜单中选择开启共享,即可启动文件共享功能,点击文件选择分享,选择添加共享人员,输入共享人员的电子邮件地址,并选择共享权限(如可编辑、只读等),发送邀请即可。