Ao iniciar o cluster Hadoop, é comum enfrentar problemas de acesso à interface web, especialmente na porta padrão do NameNode. Se a porta 50070 não está respondendo, a causa mais provável é a configuração incorreta do protocolo de comunicação.
A configuração inicial pode estar definida para HTTPS, como demonstrado abaixo:
<property>
<name>dfs.namenode.https-address.mycluster.nn1</name>
<value>master01:50070</value>
</property>
<property>
<name>dfs.namenode.https-address.mycluster.nn2</name>
<value>master02:50070</value>
</property>
Para resolver o problema de acesso via web, a propriedade deve ser alterada para usar o protocolo HTTP. Modifique a configuração para:
dfs.namenode.http-address
É importante notar que a porta padrão para a interface web HTTP do Hadoop pode variar dependendo da versão. Em muitas configurações recentes, a porta 9870 é utilizada por padrão para o HTTP. Se a alteração acima não surtir efeito, tente acessar a interface através da porta 9870.
Tabela de Portas do Ecossistema Hadoop
O ecossistema Hadoop utiliza diversos componentes, cada um com suas portas específicas para comunicação entre daemons, acesso RPC e interfaces web. Manter um registro dessas portas é essencial para o gerenciamento e a solução de problemas.
| Componente | Serviço | Porta Padrão | Propriedade de Configuração | Descrição |
|---|---|---|---|---|
| HDFS | DataNode | 50010 | dfs.datanode.address | Porta do serviço DataNode para transferência de dados. |
| HDFS | DataNode | 50075 | dfs.datanode.http.address | Porta do serviço HTTP do DataNode. |
| HDFS | DataNode | 50475 | dfs.datanode.https.address | Porta do serviço HTTPS do DataNode. |
| HDFS | DataNode | 50020 | dfs.datanode.ipc.address | Porta do serviço IPC do DataNode. |
| HDFS | NameNode | 50070 | dfs.namenode.http-address | Porta do serviço HTTP do NameNode (Interface Web). |
| HDFS | NameNode | 50470 | dfs.namenode.https-address | Porta do serviço HTTPS do NameNode. |
| HDFS | NameNode | 8020 | fs.defaultFS | Porta RPC para conexões de cliente, usada para metadados do sistema de arquivos. |
| HDFS | JournalNode | 8485 | dfs.journalnode.rpc-address | Serviço RPC do JournalNode. |
| HDFS | JournalNode | 8480 | dfs.journalnode.http-address | Serviço HTTP do JournalNode. |
| HDFS | ZKFC | 8019 | dfs.ha.zkfc.port | ZooKeeper Failover Controller, usado em alta disponibilidade do NameNode (HA). |
| YARN | ResourceManager | 8032 | yarn.resourcemanager.address | Gerenciador de Aplicações (ASM) do ResourceManager. |
| YARN | ResourceManager | 8030 | yarn.resourcemanager.scheduler.address | Porta IPC do componente de agendamento (scheduler). |
| YARN | ResourceManager | 8031 | yarn.resourcemanager.resource-tracker.address | Porta IPC para rastreamento de recursos. |
| YARN | ResourceManager | 8033 | yarn.resourcemanager.admin.address | Porta IPC para administração do ResourceManager. |
| YARN | ResourceManager | 8088 | yarn.resourcemanager.webapp.address | Porta do serviço web do ResourceManager. |
| YARN | NodeManager | 8040 | yarn.nodemanager.localizer.address | Porta IPC do localizador de recursos do NodeManager. |
| YARN | NodeManager | 8042 | yarn.nodemanager.webapp.address | Porta do serviço web do NodeManager. |
| YARN | NodeManager | 8041 | yarn.nodemanager.address | Porta do gerenciador de contêineres no NodeManager. |
| YARN | JobHistory Server | 10020 | mapreduce.jobhistory.address | Porta IPC do JobHistory Server. |
| YARN | JobHistory Server | 19888 | mapreduce.jobhistory.webapp.address | Porta do serviço web do JobHistory Server. |
| HBase | Master | 60000 | hbase.master.port | Porta IPC do HBase Master. |
| HBase | Master | 60010 | hbase.master.info.port | Porta do serviço web do HBase Master. |
| HBase | RegionServer | 60020 | hbase.regionserver.port | Porta IPC do HBase RegionServer. |
| HBase | RegionServer | 60030 | hbase.regionserver.info.port | Porta do serviço web do HBase RegionServer. |
| HBase | HQuorumPeer | 2181 | hbase.zookeeper.property.clientPort | Porta do cliente ZooKeeper gerenciado pelo HBase. Não utilizada se um cluster ZooKeeper dedicado for empregado. |
| HBase | HQuorumPeer | 2888 | hbase.zookeeper.peerport | Porta de comunicação entre seguidores e líder ZooKeeper (HBase-managed ZK). Não utilizada com ZooKeeper dedicado. |
| HBase | HQuorumPeer | 3888 | hbase.zookeeper.leaderport | Porta para eleição de líder ZooKeeper (HBase-managed ZK). Não utilizada com ZooKeeper dedicado. |
| Hive | Metastore | 9083 | PORT em /etc/default/hive-metastore | Porta padrão do serviço Hive Metastore. |
| Hive | HiveServer | 10000 | HIVE_SERVER2_THRIFT_PORT em /etc/hive/conf/hive-env.sh | Porta padrão para HiveServer2 via Thrift. |
| ZooKeeper | Server | 2181 | clientPort em /etc/zookeeper/conf/zoo.cfg | Porta para clientes se conectarem ao serviço ZooKeeper. |
| ZooKeeper | Server | 2888 | Porta de follower/leader em /etc/zookeeper/conf/zoo.cfg | Porta utilizada por seguidores para se conectar ao líder. Escuta apenas no líder. |
| ZooKeeper | Server | 3888 | Porta de eleição em /etc/zookeeper/conf/zoo.cfg | Porta usada para o processo de eleição de líder (quando applicable). |