Tag: 集群计算
是否有用于Tomcat 6群集配置的useDirtyFlag选项？
在Tomcat 5.0.x中，您可以设置useDirtyFlag =“false”以在每次请求后强制复制会话，而不是检查set / removeAttribute调用。 … server.xml中的注释表明这可以用于进行以下工作： 即更改已放入会话的对象的状态，并确保此对象仍可复制到群集中的其他节点。 根据Tomcat 6文档，您只有两个“管理器”选项 – DeltaManager和BackupManager ……这些选项似乎都不允许此选项或任何类似选项。 在我的测试中默认设置： 默认情况下，你得到DeltaManager，它肯定表现为useDirtyFlag =“true”（正如我所料）。 所以我的问题是 – Tomcat 6中是否有相同的内容？ 查看源代码，我可以看到一个管理器实现“org.apache.catalina.ha.session.SimpleTcpReplicationManager”，它确实有useDirtyFlag，但javadoc注释在这种状态下它是“Tomcat会话复制为Tomcat 4.0”…我不知道知道这是否可以使用 – 我猜不是因为主集群配置文档中没有提到它。
自动选择节点集群中的领导者
知道节点在任何时候上下都可以选择节点集群中的主导节点的最佳方法/算法是什么？ 如果Java中提供了实现，那么这是一个优势。
Hadoop：将多个IP地址绑定到群集NameNode
我在Softlayer上有一个四节点的Hadoop集群。 主（NameNode）具有用于外部访问的公共IP地址和用于群集访问的专用IP地址。 从节点（datanode）具有私有IP地址，我正在尝试连接到主节点，而无需为每个从节点分配公共IP地址。 我已经意识到将fs.defaultFS设置为NameNode的公共地址允许外部访问，除了NameNode只侦听传入连接的地址，而不是私有地址。 所以我在datanode日志中得到ConnectionRefusedexception，因为他们试图连接NameNode的私有IP地址。 我认为解决方案可能是将公共和私有IP地址都设置为NameNode，以便保留外部访问并允许我的从属节点也连接。 那么有没有办法可以将这两个地址绑定到NameNode，以便它们同时监听？ 编辑：Hadoop版本2.4.1。
跨群集共享Java同步块，还是使用全局锁？
我有一些代码，我只想允许一个线程访问。 我知道如何使用synchronized块或方法完成此操作，但这是否适用于集群环境？ 目标环境是WebSphere 6.0，在集群中有2个节点。 我觉得synchronized不起作用，因为每个节点上的每个应用程序实例都有自己的JVM，对吧？ 我在这里尝试做的是在系统启动时对数据库记录执行一些更新。 它将查找比代码版本更旧的任何数据库记录，并执行特定任务以更新它们。 我只希望一个节点执行这些升级，因为我想确保每个工作项只升级一次，并且这些升级的性能不是一个大问题，因为它只发生在应用程序启动时，它只是真正做任何事情自上次启动以来代码更改的时间。 数据库是DB2v9，我通过JNDI直接访问它（没有ORM层）。 有人建议全球锁定可能是这里的方式，但我不知道如何做到这一点。 有没有人在这个舞台上有任何指针？ 谢谢！
Java EE应用程序范围的变量在集群环境（Websphere）中？
Java EE应用程序（在Websphere上运行）是否有任何简单的方法在整个集群中的应用程序范围内共享对象？ 某些东西可能类似于Servlet Context参数，但它在整个集群中共享。 例如，在服务器“A”和“B”的集群中，如果在服务器A上设置了值（key = value），则该值应该立即（或几乎如此）对服务器B上的请求可用。 （注意：如果可能，请避免使用分布式缓存解决方案。这实际上不是缓存方案，因为存储的对象是相当动态的）
Apache Helix vs YARN
Apache Helix和Hadoop YARN（MRv2）有什么区别。 有没有人有这两种技术的经验？ 有人可以向我解释一下Helix在YARN上的优缺点，以及LinkedIn为什么开发自己的集群管理而不是使用YARN？ 在此先感谢Tobi
群集共享缓存
我正在寻找一个允许我在多个JVM之间共享缓存的java框架。 我需要的是Hazelcast，但没有“分布式”部分。 我希望能够在缓存中添加一个项目，并让它自动同步到另一个“组成员”缓存。 如果可能的话，我希望通过可靠的多播（或类似的东西）来同步缓存。 我看过Shoal，但遗憾的是“分布式状态缓存”似乎不能满足我的需求。 我已经看过了JBoss Cache，但对于我需要做的事情来说似乎有些过分。 我看过JGroups ，它似乎是我需要做的最有前途的工具。 有没有人有JGroups的经验？ 如果它被用作共享缓存，最好是？ 还有其他建议吗？ 谢谢 ！ 编辑 ：我们正在开始测试以帮助我们在Hazelcast和Infinispan之间做出决定，我很快就会接受答案。 编辑 ：由于需求突然变化，我们不再需要分布式地图了。 我们将使用JGroups作为低级信令框架。 谢谢大家的帮助。
YarnException：未经授权的启动容器的请求
我在3个集群上设置了hadoop2.2.0。 一切都很顺利。 NodeManager和Datanode在每个集群中启动。 但是，当我运行wordcount示例时，会发生100％映射，并给出以下exception： map 100% reduce 0% 13/11/28 09:57:15 INFO mapreduce.Job: Task Id : attempt_1385611768688_0001_r_000000_0, Status : FAILED Container launch failed for container_1385611768688_0001_01_000003 : org.apache.hadoop.yarn.exceptions. YarnException: Unauthorized request to start container. This token is expired. current time is 1385612996018 found 1385612533275 at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) 我已经通过互联网找出解决方案。 但我无法找到。 帮帮我。
ORA-01654：无法扩展索引
致电所有Oracle大师！ 我正在将经过充分测试的应用程序集群到WebSphere上。 有问题的应用程序使得在发生这种情况之前从队列中处理1k个JMS消息的过程中已经过了一半。 —- Begin backtrace for Nested Throwables java.sql.SQLException: ORA-01654: unable to extend index DABUAT.INDEX1 by 128 in tablespace DABUAT_TBLSP at oracle.jdbc.driver.DatabaseError.throwSqlException(DatabaseError.java:112) at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:331) at oracle.jdbc.driver.T4CTTIoer.processError(T4CTTIoer.java:288) at oracle.jdbc.driver.T4C8Oall.receive(T4C8Oall.java:745) 我已经在网上快速浏览了一下，并找到了一些可能的建议，为什么会发生这种情况，如果有人能够清楚地解释为什么现在我的应用程序已经集群，我将非常感激。 关心卡尔
Spark spark-submit –jars参数需要逗号列表，如何声明jar的目录？
在Spark文档中提交应用程序时，从1.6.0及更早版本开始 ，目前尚不清楚如何指定–jars参数，因为它显然不是冒号分隔的类路径而不是目录扩展。 文档说“捆绑jar的路径，包括你的应用程序和所有依赖项.URL必须在集群内部全局可见，例如，hdfs：//路径或所有节点上都存在的file：//路径。 “ 问题：在$ SPARK_HOME / bin的spark-submit脚本中使用–jars提交类路径的所有选项有哪些？ 任何未记录的内容都可以作为文档的改进提交？ 我问，因为当我测试 – 今天的时候，我们必须明确地提供每个jar的路径： /usr/local/spark/bin/spark-submit –class jpsgcs.thold.PipeLinkageData —jars=local:/usr/local/spark/jars/groovy-all-2.3.3.jar,local:/usr/local/spark/jars/guava-14.0.1.jar,local:/usr/local/spark/jars/jopt-simple-4.6.jar,local:/usr/local/spark/jars/jpsgcs-core-1.0.8-2.jar,local:/usr/local/spark/jars/jpsgcs-pipe-1.0.6-7.jar /usr/local/spark/jars/thold-0.0.1-1.jar 我们选择在每个worker上的/ usr / local / spark / jars中使用所有jar预填充集群，似乎如果没有提供local：/ file：/或hdfs：，则默认为file：/并且驱动程序使驱动程序运行的Web服务器上的jar可用。 我选择了本地，如上所述。 而且似乎我们不需要将主jar放在–jars参数中，我还没有测试过最后一个参数中的其他类（application-jar arg per docs，即/ usr / local / spark / jars / thold-0.0.1-1.jar）被发送到工作者，或者如果我需要将application-jar放在-jars路径中以获取未在–class之后命名的类。 （并且使用–deploy-mode客户端授予Spark独立模式，您还必须在每个worker上放置驱动程序的副本，但您不知道哪个worker会运行驱动程序）
