小小千想和您聊一聊

当前位置: 首页> 技术分享> 大数据教程之Kafka与ActiveMQ区别

大数据教程之Kafka与ActiveMQ区别

背景分析

消息队列这个类型的组件一直是非常重要的组件,当经过两家企业后我就很坚信这个结论了。队列这种东西,最广泛的作用还是在于解耦,宽泛一点的说,它可以将不同部门的工作内容进行有效的整合,基于一个约定好的格式,就可以两头互相不干扰的进行开发。可以说这个生产消费的思想不仅仅适用于程序也适用于非常多的地方。
目前对于我看到的来说,kafka更多的还是做为一个数据源,数据桥梁的作用,不同业务之间的沟通。比如需要实时接入A部门的业务数据的话,就会有这样的手段:

落地到HDFS的数据会用来进行一些算法上的离线处理,而kafka端则是给需要实时性的消费方。其实数据的消费方式无非也就实时和离线两种方式。


Kafka和activemq对比

相比过去经常使用的activemq,kafka确实非常的不同,做一个对比来深化印象

说到底,主要还是做为kafka的消费方,能感受到最大的不同还是在于几个:

1. 吞吐量确实非常高

2.可以重读历史数据

但是也有一些缺点:

概念上比较复杂,相对于AMQ只需要知道ip和队列名你就能获得数据,Kafka使用起来非常繁琐


Kafka的基本概念(摘录)

1.Broker:消息中间件处理结点,一个Kafka节点就是一个broker,多个broker可以组成一个Kafka集群。
      2.Topic:一类消息,例如page view日志、click日志等都可以以topic的形式存在,Kafka集群能够同时负责多个topic的分发。
      3.Partitiontopic物理上的分组,一个topic可以分为多个partition,每个partition是一个有序的队列。
      4.Segmentpartition物理上由多个segment组成。
      5.offset:每个partition都由一系列有序的、不可变的消息组成,这些消息被连续的追加到partition中。partition中的每个消息都有一个连续的序列号叫做offset,用于partition唯一标识一条消息.


Kafka消费端的常用参数

        Properties props = new Properties();

                //zk服务器的地址  xxxx:2181

        props.put("zookeeper.connect", zookeeper);

                //组的名称,区别于其他group否则会接收不到数据

        props.put("group.id", groupId);

        props.put("zookeeper.session.timeout.ms", "8000");

        props.put("zookeeper.connection.timeout.ms", "20000");

        props.put("zookeeper.sync.time.ms", "2000");

        props.put("auto.commit.interval.ms", "5000");

        props.put("rebalance.max.retries", "5");

        props.put("rebalance.backoff.ms", "60000");

        props.put("auto.commit.enable", "true");

                //重点参数,是否每次都从offset最前面开始读起

        props.put("auto.offset.reset", "smallest");

上一篇:大数据教程之mysql与redis区别

下一篇:大数据教程之Ambari和ClouderaManager对比

QQ技术交流群

千锋大数据锋迷群
935119571

加入群聊

用户登录

手机号:

密码:

图形验证码:

点击切换

用户注册

手机号:

登录密码:

图形验证码:

点击切换

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

手机号:

图形验证码:

短信验证码:

获取验证码

忘记密码

1安全验证

2重置密码

新密码:

确认新密码:

获取课程

添加小千老师微信,获取课程信息

如何获取课程?

一、需拥有此本教材

如没有,可点击下方入口购买当当购买入口京东购买入口

二、添加小千老师,发送拥有凭证,解锁课程资源

1.购买该教材的订单信息
2.拥有的实体书信息等

更换手机号

新手机号:

图形验证码:

短信验证码:

获取验证码