Tag: apache zookeeper

连接到Apache Kafka多节点群集中的Zookeeper: 我按照以下说明设置了多节点kafka群集。现在，如何连接到zookeeper？是否可以从JAVA中的生产者/消费者端连接到一个zookeeper，或者有没有办法连接所有zookeeper节点？设置多节点Apache ZooKeeper集群在群集的每个节点上，将以下行添加到文件kafka / config / zookeeper.properties server.1=zNode01:2888:3888 server.2=zNode02:2888:3888 server.3=zNode03:2888:3888 #add here more servers if you want initLimit=5 syncLimit=2 在群集的每个节点上，在dataDir属性表示的文件夹中创建名为myid的文件（默认情况下，文件夹为/ tmp / zookeeper）。 myid文件应该只包含znode的id（zNode01为’1’，ZNode02为’2’等等）设置多代理Apache Kafka集群在集群的每个节点上，修改文件kafka / config / server.properties中的属性zookeeper.connect： zookeeper.connect=zNode01:2181,zNode02:2181,zNode03:2181 在集群的每个节点上，从文件kafka / config / server.properties修改属性host.name：host.name = zNode0x 在集群的每个节点上，从文件kafka / config / server.properties修改属性broker.id（集群中的每个代理都应具有唯一的ID）

从0.7升级到0.8.1.1后生成嵌入式kafka队列时出错: 我找不到任何可以直接处理我所遇到的问题的东西，所以我在这里发帖。我有JUnit / JBehave测试，它们启动了嵌入式ZooKeeper服务器，嵌入式Kafka服务器以及kafka生产者和消费者。将kafka从0.7升级到0.8.1.1后，我遇到以下类型的错误： ERROR [kafka-request-handler-5] state.change.logger – Error on broker 1 while processing LeaderAndIsr request correlationId 7 received from controller 1 epoch 1 for partition [topicName,8] java.lang.NullPointerException: null at kafka.log.Log.(Log.scala:60) ~[kafka_2.10-0.8.1.1.jar:na] at kafka.log.LogManager.createLog(LogManager.scala:265) ~[kafka_2.10-0.8.1.1.jar:na] at kafka.cluster.Partition.getOrCreateReplica(Partition.scala:90) ~[kafka_2.10-0.8.1.1.jar:na] at kafka.cluster.Partition$$anonfun$makeLeader$2.apply(Partition.scala:175) ~[kafka_2.10-0.8.1.1.jar:na] at kafka.cluster.Partition$$anonfun$makeLeader$2.apply(Partition.scala:175) ~[kafka_2.10-0.8.1.1.jar:na] at scala.collection.immutable.Set$Set1.foreach(Set.scala:74) ~[scala-library-2.10.4.jar:na] at kafka.cluster.Partition.makeLeader(Partition.scala:175) ~[kafka_2.10-0.8.1.1.jar:na] at kafka.server.ReplicaManager$$anonfun$makeLeaders$5.apply(ReplicaManager.scala:305) ~[kafka_2.10-0.8.1.1.jar:na] at […]

Kafka – 经纪人：集团协调员不可用: 我有以下结构： zookeeper: 3.4.12 kafka: kafka_2.11-1.1.0 server1: zookeeper + kafka server2: zookeeper + kafka server3: zookeeper + kafka 使用kafka-topics shell脚本创建具有复制因子3和分区3的主题。 ./kafka-topics.sh –create –zookeeper localhost:2181 –topic test-flow –partitions 3 –replication-factor 3 并使用group localConsumers。当领导没事的时候它工作正常。 ./kafka-topics.sh –describe –zookeeper localhost:2181 –topic test-flow Topic:test-flow PartitionCount:3 ReplicationFactor:3 Configs: Topic: test-flow Partition: 0 Leader: 3 Replicas: 3,2,1 Isr: 3,2,1 Topic: test-flow Partition: […]

Solrcloud Zookeper设置：等待4000毫秒后没有找到注册的领导者，收集：c1切片：shard2: 使用solr 4.10.3，我通过java中的嵌入式jetty服务器启动solr。我试图用2个分片（领导者）配置solrcloud。我有一个外部的zookeeper设置，我指向zookeeper实例，同时启动这样的solr。 System.setProperty(“zkHost”, “192.168.2.21:2111”); System.setProperty(“numShards”, “2”); System.setProperty(“collection.configName”, “configuration1”); System.setProperty(“bootstrap_confdir”,”/conf/zooconf”); 我有两个运行的solr实例，一个在8983端口，另一个在8984.问题是，我不确定两个solr节点是否都被识别为leader。由于我通过java启动solr，我无法在solr管理界面中查看状态。以下是我的solr.xml： 192.168.2.21 ${hostPort:8984} ${hostContext:solr} ${solr.zkclienttimeout:30000} ${genericCoreNodeNames:true} ${socketTimeout:120000} ${connTimeout:15000} 在main方法中，我连接到其中一个solr实例（8983）并使用以下代码片段创建核心。 CloudSolrServer server = new CloudSolrServer(“192.168.2.21:2111”); server.setZkConnectTimeout(15*60*1000); server.setZkClientTimeout(15*60*1000); server.setParser(new BinaryResponseParser()); server.setRequestWriter(new BinaryRequestWriter()); server.setDefaultCollection(“C1”); Create adminRequest = new Create(); adminRequest.setAction(CoreAdminAction.CREATE); adminRequest.setCoreName(“C1”); adminRequest.setCollection(“C1”); adminRequest.setCollectionConfigName(“configuration1”); adminRequest.setDataDir(“c:\\setup\somelocation”); adminRequest.setInstanceDir(“c:\\setup\somelocation\C1”); adminRequest.process(solrServer); 当我执行此操作时，C1仅在一个solr实例中创建（8983）。（不是应该在两个solr实例的数据目录中创建的核心。？）。在添加文档时，抛出以下exception。等待4000毫秒后没有找到注册的领导者，收集：c1切片：shard2 这是添加文档时的clusterState： live nodes:[192.168.2.21:8984_solr, […]

Apache Kafka：无法更新Metadata / java.nio.channels.ClosedChannelException: 我刚刚开始使用Apache Kafka / Zookeeper，并且在尝试在AWS上设置集群时遇到了问题。目前我有三台服务器：一个正在运行的Zookeeper和两个正在运行的Kafka。我可以毫无问题地启动Kafka服务器，并可以在这两个服务器上创建主题。然而，当我尝试在一台机器上启动一个生产者而在另一台机器上启动一个消费者时遇到了麻烦：在卡夫卡制片人： kafka-console-producer.sh –broker-list :9092,:9092 –topic samsa 关于卡夫卡消费者： kafka-console-consumer.sh –zookeeper :2181 –topic samsa 我在制作人（“hi”）上输入一条消息，暂时没有任何反应。然后我收到这条消息： ERROR Error when sending message to topic samsa with key: null, value: 2 bytes with error: Failed to update metadata after 60000 ms. (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback) 在消费者方面，我收到此消息，该消息会定期重复： WARN Fetching topic metadata with correlation id # […]

org.apache.zookeeper.KeeperException $ InvalidACLException：KeeperErrorCode = / f的InvalidACL: 我正在使用zookeeper 3.4.6，我正在使用acl以便使用zookeeper服务器进行身份validation。我有自己的实现ZooKeeperSupport ，它支持创建，删除和validationznode。我正在尝试使用acl创建一个znode ，但在代码zooKeeperSupport.create(“/f”, DATA_F);这一部分中失败抛出InvalidACLException zooKeeperSupport.create(“/f”, DATA_F); 我基于这个项目来做zookeeper-acl-sample ，但我想使用digest auth因为使用user和password BasicMockZookeeperSecurity public class BasicMockZookeeperSecurity { @Resource (name = “zooKeeperSupportFactory”) protected ZooKeeperSupportFactory zooKeeperSupportFactory; public static final byte[] DATA_F = “data for znode /f”.getBytes(Charsets.UTF_8); public static final byte[] DATA_B = “data for znode /b”.getBytes(Charsets.UTF_8); @Before public void setup() throws Exception { System.setProperty(“curator-dont-log-connection-problems”, “true”); System.setProperty(“zookeeper.security.user”, “user”); […]

Zookeeper没有启动，nohup错误: 我已经下载了zookeeper-3.4.5.tar.gz，在解压后我写了conf / zoo.cfg as tickTime=2000 dataDir=/var/zookeeper clientPort=2181 现在我尝试通过bin / zkServer.sh启动zookeeper mohit@mohit:~/zookeeper-3.4.5/bin$ sudo sh zkServer.sh start [sudo] password for mohit: JMX enabled by default Using config: /home/mohit/zookeeper-3.4.5/bin/../conf/zoo.cfg Starting zookeeper … STARTED 但 $ echo ruok | nc localhost 2181 没有提供任何输出。我检查了zookeeper.out，它给出了 mohit@mohit:~/zookeeper-3.4.5/bin$ cat zookeeper.out nohup: failed to run command ‘java’: No such file or directory mohit@mohit:~/zookeeper-3.4.5/bin$ […]

Storm KafkaSpout停止使用来自Kafka Topic的消息: 我的问题是Storm KafkaSpout在一段时间后停止使用来自Kafka主题的消息。在storm中启用调试时，我得到如下日志文件： 2016-07-05 03：58：26.097 oasdtask [INFO] Emitting：packet_spout __metrics [#object [org.apache.storm.metric.api.IMetricsConsumer $ TaskInfo 0x2c35b34f“org.apache.storm.metric.api.IMetricsConsumer $ TaskInfo @ 2c35b34f“] [#object [org.apache.storm.metric.api.IMetricsConsumer $ DataPoint 0x798f1e35”[__ack-count = {default = 0}]“] #object [org.apache.storm.metric.api.IMetricsConsumer $ DataPoint 0x230867ec“[__sendqueue = {sojourn_time_ms = 0.0，write_pos = 5411461，read_pos = 5411461，overflow = 0，arrival_rate_secs = 0.0，capacity = 1024，population = 0}]”] #object [org.apache.storm.metric。 api.IMetricsConsumer $ DataPoint 0x7cdec8eb“[__ complete-latency […]

连接并坚持使用HBase: 我只是尝试使用java客户端连接到hbase，它是cloudera-vm的一部分。（192.168.56.102是vm的inet ip）我使用虚拟盒与主机网络设置。所以我可以访问hbase master的webUI @ http://192.168.56.102:60010/master.jsp 我的java客户端（在vm本身运行良好）也建立了与192.168.56.102:2181的连接但是当它调用getMaster我得到连接被拒绝时看到log： 11/09/14 11:19:30 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=192.168.56.102:2181 sessionTimeout=180000 watcher=hconnection 11/09/14 11:19:30 INFO zookeeper.ClientCnxn: Opening socket connection to server /192.168.56.102:2181 11/09/14 11:19:30 INFO zookeeper.ClientCnxn: Socket connection established to cloudera-vm/192.168.56.102:2181, initiating session 11/09/14 11:19:30 INFO zookeeper.ClientCnxn: Session establishment complete on server cloudera-vm/192.168.56.102:2181, sessionid = 0x13267157f930009, negotiated […]