【博学谷学习记录】超强总结，用心分享 | 初识kafka()

【博学谷IT技术支持】
什么是消息队列

  • 同步转异步
  • 应用解耦合
  • 流量削峰
  • 消息驱动系统

消息队列的两种消费模式

  • 点对点:一个数据只能被一个消费方来消费数据
  • 发布订阅模式： 可以被多个消费方同事接收到

kafka的使用场景

 数据传递工作，需要将数据从一端传递到另一端，不限与两端的程序，在实时领域，主要是用于流式数据处理工作

kafka的特点

  • 可靠性：分布式，分区，复制和容错等
  • 可扩展性：kafka消息传递系统松放，无需停机
  • 耐用性: kafka使用分布式提交日志，消息持久保存在磁盘上
  • 性能：kafka对于发布和订阅消息都具有高吞吐量，即使存储了很多TB的消息，也非常稳定，保证零停机和零数据丢失
    Kafka的架构
- kafka Cluster: kafka集群
- broker: kafka的节点
- producer: 生产者
- consumer: 消费者
- Topic: 主题/话题 理解就是一个大的逻辑容器（管道）
    - shard: 分片，分片数据与节点数据没有关系，一个topic可以分为N个分片
    - replicas: 副本，可以对一个分片构建多个副本，副本数据量最多和节点数据一致
- zookeeper: 存储管理集群的元数据信息

kafka启动

- 启动zookeeper集群
- 启动kafka集群
    - 单节点: 每个节点都需要执行
        cd /export/server/kafka_2.12-2.4.1/bin
        前台启动:
                ./kafka-server-start.sh ../config/server.properties
        后台启动:
                nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

临时数据存储容器需要具备什么特性呢？

  • FIFO（先进先出）
  • 支持重复读取，支持容错
  • 具备高效读取
————————

【博学谷IT技术支持】
什么是消息队列

  • 同步转异步
  • 应用解耦合
  • 流量削峰
  • 消息驱动系统

消息队列的两种消费模式

  • 点对点:一个数据只能被一个消费方来消费数据
  • 发布订阅模式： 可以被多个消费方同事接收到

kafka的使用场景

 数据传递工作，需要将数据从一端传递到另一端，不限与两端的程序，在实时领域，主要是用于流式数据处理工作

kafka的特点

  • 可靠性：分布式，分区，复制和容错等
  • 可扩展性：kafka消息传递系统松放，无需停机
  • 耐用性: kafka使用分布式提交日志，消息持久保存在磁盘上
  • 性能：kafka对于发布和订阅消息都具有高吞吐量，即使存储了很多TB的消息，也非常稳定，保证零停机和零数据丢失
    Kafka的架构
- kafka Cluster: kafka集群
- broker: kafka的节点
- producer: 生产者
- consumer: 消费者
- Topic: 主题/话题 理解就是一个大的逻辑容器（管道）
    - shard: 分片，分片数据与节点数据没有关系，一个topic可以分为N个分片
    - replicas: 副本，可以对一个分片构建多个副本，副本数据量最多和节点数据一致
- zookeeper: 存储管理集群的元数据信息

kafka启动

- 启动zookeeper集群
- 启动kafka集群
    - 单节点: 每个节点都需要执行
        cd /export/server/kafka_2.12-2.4.1/bin
        前台启动:
                ./kafka-server-start.sh ../config/server.properties
        后台启动:
                nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

临时数据存储容器需要具备什么特性呢？

  • FIFO（先进先出）
  • 支持重复读取，支持容错
  • 具备高效读取