3 Конфигураций кластеров usoop

3 Конфигурации кластеров в кластере - макеты

1 3

Развертывание Hadoop с одной стойкой

Развертывание с одной стойкой является идеальной отправной точкой для кластера Hadoop.

Здесь кластер довольно автономный, но поскольку он все еще имеет относительно мало подчиненных узлов, истинные преимущества отказоустойчивости Hadoop еще не очевидны.

2 3

Развертывание Hadoop с тремя стойками

В кластере среднего размера есть несколько стеллажей, где три главных узла распределены по стойкам.

Устойчивость Hadoop начинает становиться очевидной: даже если вся стойка была сбой (например, оба переключателя ToR в одной стойке), кластер все равно будет функционировать, хотя и на более низком уровне производительности. Ошибка подчиненного узла едва заметна.

3 3

Крупномасштабное развертывание Hadoop

В больших кластерах со множеством стеллажей, как показано на примере, требуемая сетевая архитектура довольно сложна.

Независимо от того, сколько кластеров Hadoop расширяется, подчиненные узлы с любой стойки должны быть способны эффективно разговаривать ??? к любому ведущему узлу.

Поскольку количество подчиненных узлов увеличивается до точки, где у вас более трех стоек, дополнительные стойки состоят только из подчиненных узлов, кроме переключателей ToR. Если вы активно используете HBase в своем кластере, вы можете добавить мастер-узлы для размещения дополнительных сервисов HMaster и Zookeeper.

Если вы закончите выпускник в действительно массовом масштабе, где у вас сотни подчиненных узлов, вам может понадобиться использовать возможности федерации HDFS, так что большая часть ваших наборов данных управляется разными службами NameNode.

Для каждого дополнительного Active NameNode вам понадобится соответствующий Standby NameNode и два основных узла для размещения этих серверов. С федерацией HDFS небо действительно является пределом в плане того, насколько вы можете масштабировать свои кластеры.

Назад Далее