成功案例
您当前的位置:主页 > 成功案例 >

Kafka教程之使用案例

更新时间:2020-04-16

  很众人应用Kafka来替换日记荟萃办理计划。 日记荟萃体例凡是从任职器网罗物理日记文献,并将其置于一个核心体例(不妨是文献任职器或HDFS)举行措置。 Kafka 从这些日记文献中提铲除息,并将其笼统为一个加倍显露的音尘流。 如此能够完成更低的延迟措置且易于扶助众个数据源及散布式数据的破费。 与Scribe或Flume等以日记为核心的体例比拟,Kafka具备同样隽拔的职能、更强的耐用性(由于复制效用)和更低的端到端延迟。

  Kafka 很好地替换了古板的message broker(音尘代劳)。 Message brokers 可用于各式场地(如将数据天生器与数据处通晓耦,缓冲未措置的音尘等)。 与大无数音尘体例比拟,Kafka具有更好的含糊量、内置分区、具有复制和容错的效用,这使它成为一个绝顶理念的大型音尘措置操纵。

  Event sourcing是一种操纵次第安排派头,按岁月来记实形态的更改。 Kafka 能够存储绝顶众的日记数据,为基于 event sourcing 的操纵次第供给强有力的扶助。

  Kafka 能够从外部为散布式体例供给日记提交效用。 日记有助于记实节点和作为间的数据,采用从头同步机制能够从凋谢节点收复数据。 Kafka的日记压缩效用扶助这一用法。 这一点与Apache BookKeeper 项目形似。

  Kafka 的初始用例是将用户勾当跟踪管道重修为一组及时揭橥-订阅源。 这意味着网站勾当(浏览网页、寻找或其他的用户操作)将被揭橥到核心topic,个中每个勾当类型有一个topic。 这些订阅源供给一系列用例,征求及时措置、及时监督、对加载到Hadoop或离线数据货仓体例的数据举行离线措置和陈述等。

  很众Kafka用户通过管道来措置数据,有众个阶段: 从Kafka topic中消费原始输入数据,然后荟萃,化妆或通过其他体例转化为新的topic, 以供进一步消费或措置。 比方,一个举荐信息作品的措置管道能够从RSS订阅源抓取作品实质并将其揭橥到“作品”topic; 然后对这个实质举行模范化或者反复的实质, 并将措置完的作品实质揭橥到新的topic; 最终它会试验将这些实质举荐给用户。 这种措置管道基于各个topic创修及时数据流图。从0.10.0.0初步,正在Apache Kafka中,Kafka Streams 能够用来践诺上述的数据措置,它是一个轻量但效用壮大的流措置库。除Kafka Streams外,可供替换的开源流措置器材还征求Apache Storm 和Apache Samza.

  按照咱们的体验,凡是音尘传达应用较低的含糊量,但不妨央浼较低的端到端延迟,Kafka供给壮大的历久性来知足这一央浼。

  Kafka 凡是用于监控数据。这涉及到从散布式操纵次第中汇总数据,然后天生可操作的蚁合数据源。

400-123-4567
地图
地址:广东省广州市天河区88号
电话:400-123-4567
传真:+86-123-4567
邮箱:admin@jshtss.com
网站地图
地址:广东省广州市天河区88号    电话:400-123-4567    传真:+86-123-4567
Copyright © 2019 人人彩票天然有机料有限公司 版权所有