IT人生

  • 首页
  • 归档
  • kafka
  • Java
  • Spring
  • Golang
  • SQL
  • Spark
  • ElasticSearch
  • 关于

  • 搜索
Phoenix HBase Kudu ElasticSearch Spring 数据结构 操作系统 Kettle Azkaban Sqoop Hive Yarn Redis Mybatis Impala Cloudera 大数据 HDFS mycat shell Linux 架构 并发 mysql sql golang java 工具 spark kafka 人生

Apache Kafka系列(六)Kafka Repartition重新分区

发表于 2018-12-11 | 分类于 kafka | 0 | 阅读次数 2159

Kafka提供了重新分区的命令,但是只能增加,不能减少

我的kafka安装在/usr/local/kafka_2.12-1.0.2目录下面,

[root@i-zk1 kafka_2.12-1.0.2]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test      PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: test     Partition: 0    Leader: 0       Replicas: 0 Isr: 0

查看当前topic test为一个分区,一个Repli

执行如下

bin/kafka-reassign-partitions.sh --zookeeper localhost:2181 --reassignment-json-file repartion_config/test.json --execute
test.json

其中test.json内容如下

[root@i-zk1 kafka_2.12-1.0.2]# cat repartion_config/test.json 
{"version":1,"partitions":[{"topic":"test","partition":0,"replicas":[0,1,2]},{"topic":"test","partition":1,"replicas":[0,1,2]},{"topic":"test","partition":2,"replicas":[0,1,2]}]}

再次查看test topic如下

[root@i-zk1 kafka_2.12-1.0.2]# bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test
Topic:test      PartitionCount:3        ReplicationFactor:3     Configs:
        Topic: test     Partition: 0    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: test     Partition: 1    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
        Topic: test     Partition: 2    Leader: 0       Replicas: 0,1,2 Isr: 0,1,2
  • 本文作者: Randy
  • 本文链接: http://www.itrensheng.com/archives/apache-kafka-repartition
  • 版权声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 3.0 许可协议。转载请注明出处!
# Phoenix # HBase # Kudu # ElasticSearch # Spring # 数据结构 # 操作系统 # Kettle # Azkaban # Sqoop # Hive # Yarn # Redis # Mybatis # Impala # Cloudera # 大数据 # HDFS # mycat # shell # Linux # 架构 # 并发 # mysql # sql # golang # java # 工具 # spark # kafka # 人生
Apache Kafka系列(五) Kafka Connect及FileConnector示例
Apache Kafka系列(七) Kafka Stream介绍
  • 文章目录
  • 站点概览
Randy

Randy

技术可以暂时落后,但任何时候都要有上进的信念

80 日志
27 分类
31 标签
RSS
Github E-mail
Creative Commons
© 2021 备案号:沪ICP备19020689号-1
Randy的个人网站