Tag: cluster computing

连接到Apache Kafka多节点群集中的Zookeeper: 我按照以下说明设置了多节点kafka群集。现在，如何连接到zookeeper？是否可以从JAVA中的生产者/消费者端连接到一个zookeeper，或者有没有办法连接所有zookeeper节点？设置多节点Apache ZooKeeper集群在群集的每个节点上，将以下行添加到文件kafka / config / zookeeper.properties server.1=zNode01:2888:3888 server.2=zNode02:2888:3888 server.3=zNode03:2888:3888 #add here more servers if you want initLimit=5 syncLimit=2 在群集的每个节点上，在dataDir属性表示的文件夹中创建名为myid的文件（默认情况下，文件夹为/ tmp / zookeeper）。 myid文件应该只包含znode的id（zNode01为’1’，ZNode02为’2’等等）设置多代理Apache Kafka集群在集群的每个节点上，修改文件kafka / config / server.properties中的属性zookeeper.connect： zookeeper.connect=zNode01:2181,zNode02:2181,zNode03:2181 在集群的每个节点上，从文件kafka / config / server.properties修改属性host.name：host.name = zNode0x 在集群的每个节点上，从文件kafka / config / server.properties修改属性broker.id（集群中的每个代理都应具有唯一的ID）

在群集配置中进行Hibernate搜索？: 我正在开发一个Java Web应用程序，使用JBoss Seam作为应用程序框架。我想利用Hibernate Search来提供实体搜索function。集成进展顺利，我正在接近部署。生产中的应用程序的设置将是： 2（或更多）Tomcat应用服务器，负载均衡后端的PostgreSQL数据库我的问题是，如何在App Server＃1上保留实体时，如何配置Hibernate Search以便在App Server＃2上更新本地Lucene索引，反之亦然？ Hibernate Search是否支持任何类型的群集配置？由于持久性可能发生在任何一个负载均衡的应用服务器上，因此设置必须在某种程度上是master-master。有没有人有任何关于如何解决这个问题的建议？感谢您的帮助！

如何在群集中为一个节点和所有节点运行预定方法？: 我有一个在集群和EJB 3.1应用程序中运行的Glassfish 3.1.2。我的应用程序中需要两种计划方法：一种每天只运行一次（在单个节点上）和其他在所有节点上运行的类型（每1-2分钟） – 它们不需要运行同步方式！要求只是在每个节点上运行。我不知道如何从这个集群开始 – 问题，这可能是@Schedule （以及如何）或者我还需要别的吗？

集群环境中的Spring Singleton: 正如本文所讨论的，不适合在集群环境中使用单例（因为不同JVM中有多个单例对象），对于Spring框架创建的单例，这一点必须如此。如果这是正确的，那么我们必须非常小心使用Spring框架来使用单例类。你能否告诉我这是否正确理解？

在Hadoop中，框架在正常的Map-Reduce应用程序中保存Map任务的输出？: 我试图找出Map任务的输出在Reduce任务可以使用之前保存到磁盘的位置。注意： – 使用的版本是带有新API的Hadoop 0.20.204 例如，在Map类中覆盖map方法时： public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { String line = value.toString(); StringTokenizer tokenizer = new StringTokenizer(line); while (tokenizer.hasMoreTokens()) { word.set(tokenizer.nextToken()); context.write(word, one); } // code that starts a new Job. } 我有兴趣找出context.write（）最终写入数据的位置。到目前为止，我遇到了： FileOutputFormat.getWorkOutputPath(context); 这给了我在hdfs上的以下位置： hdfs://localhost:9000/tmp/outputs/1/_temporary/_attempt_201112221334_0001_m_000000_0 当我尝试将它用作另一个作业的输入时，它会给我以下错误： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://localhost:9000/tmp/outputs/1/_temporary/_attempt_201112221334_0001_m_000000_0 […]

在tomcat实例之间共享会话（不使用粘滞会话）: 我将有3个Tomcat服务器和一个负载均衡器，可以在不使用“ 粘性会话 ”的情况下调度请求。我想在服务器之间共享会话数据，我正在考虑将它们保存在数据库中。我想在我的数据库前面使用memcached作为一个层来更快地提供请求，并且不要让我的数据库负载很重。我正在考虑提供我的自定义tomcat管理器，它在获取/持久化会话数据到DB之前使用memcached，因为我没有看到这样做的透明方式（这意味着我将不得不再次管理它）我切换到另一个应用程序服务器）。这是一个很好的解决方案还是你看到了更好的方法？

在集群环境中使用Quartz: 我希望在我的应用程序中使用quartz调度程序，因为我有一个集群环境，并且希望保证每小时只运行一个我的作业实例。我的问题是……我是否必须使用JDBC作业存储或作业数据的某种“外部”存储来保证我的集群中只有一个实例在任何给定的时间运行该作业，或者对Quartz来说是否有更多魔力我知道吗？

Quartz Scheduler：在每个集群节点上触发一些作业，每个集群只触发一些作业: 我在集群环境中使用Quartz Scheduler作为Spring bean。我有一些使用@NotConcurrent注释的作业，它们每个集群运行一次（即仅在一个节点中，仅在一个线程中）。现在我需要在集群的每个节点上运行一个作业。我删除了@NotConcurrent注释，但它只在一台机器上的每个线程上运行。它不会在其他节点上被触发。我应该用什么来诠释这份工作？示例：Job1 NotConcurrent annotated安排在午夜=>它每隔午夜只在一台机器上触发。 Job2注释安排在午夜=>它每隔午夜在每台机器上启动。谢谢。

Tomcat的群集/会话复制无法正确复制: 我正在本地计算机上的Tomcat 7上设置群集/复制，以评估它是否与我的环境/代码库一起使用。建立我在不同端口上运行的兄弟目录中有两个相同的tomcat服务器。我有httpd监听另外两个端口并连接到两个tomcat实例作为VirtualHosts。我可以在配置的端口上访问和交互两个环境; 一切都按预期工作。 tomcat服务器在server.xml中启用了这样的集群：我将distributable标记添加到web.xml的最开头： (lots more…) 什么工作当服务器启动时，它们会记录 Sep 16, 2013 1:44:23 PM org.apache.catalina.ha.tcp.SimpleTcpCluster startInternal INFO: Cluster is about to start Sep 16, 2013 1:44:23 PM org.apache.catalina.tribes.transport.ReceiverBase getBind FINE: Starting replication listener on address:10.0.0.100 Sep 16, 2013 1:44:23 PM org.apache.catalina.tribes.transport.ReceiverBase bind INFO: Receiver Server Socket bound to:/10.0.0.100:4001 Sep 16, 2013 […]