数码资讯
使用ZooKeeper解决Hadoop单点故障(single point of failure)
选购提示
关注价格、性能、续航、售后和真实使用场景,理性比较后再下单。
1、目前Hadoop版本只支持一个主节点,存在单点故障的问题,即如果主节点异常,任务执行情况会丢失,数据可能会损坏。目前通常的建议是,客户端编码时进行异常判断和处理,比如多次请求执行任务。
2、ZooKeeper是Hadoop的正式子项目,它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、分布式同步、组(Group)服务等。
3、ZooKeeper能够用来leader选举,配置信息维护等。在一个分布式的环境中,我们需要一个Master实例或存储一些配置信息,确保文件写入的一致性等。
4、目前ZooKeeper解决Hadoop的单点故障实现的是主备机方式。今后还需要看Hadoop是否能实现多主节点的负载均衡方式,或者在另一台机器上做Namenode故障转移的功能。
声明:本文内容用于数码产品信息整理与选购参考,具体价格、库存、售后政策以官方渠道和电商页面实时信息为准。