各组件版本

  • Hadoop 3.3.0
  • ZooKeeper 3.5.8
  • HBase 2.2.6
  • Hive 3.1.2

HDFS

core-site.xml

hdfs-site.xml

节点 默认端口 配置项 用途说明
NameNode 9000 hadoop/etc/hadoop/core-site.xml中的fs.defaultFS 接收Client连接的RPC端口,用于获取文件系统metadata信息
NameNode 9870 hadoop/etc/hadoop/hdfs-site.xml中的dfs.namenode.http-address http服务的端口
DataNode 9866 hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.address datanode服务端口,用于数据传输
DataNode 9867 hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.ipc.address datanode ipc服务的端口
DataNode 9864 hadoop/etc/hadoop/hdfs-site.xml中的dfs.datanode.http.address datanode http服务的端口
SecondaryNameNode 9868 hadoop/etc/hadoop/hdfs-site.xml中的dfs.namenode.secondary.http-address SecondaryNameNode的http服务的端口

目前开放端口:

NameNode:9000

DataNode:9866、9867

YARN

yarn-site.xml

mapred-site.xml

组件 节点 默认端口 配置项 用途说明
YARN JobHistoryServer 10020 hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.address JobHistoryServer的IPC端口
YARN JobHistoryServer 19888 hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.webapp.address JobHistoryServer的Web UI端口
YARN JobHistoryServer 10033 hadoop/etc/hadoop/mapred-site.xml中的mapreduce.jobhistory.admin.address HistoryServer的admin端口
YARN ResourceManager 8030 hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.scheduler.address scheduler组件的IPC端口
YARN ResourceManager 8031 hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.resource-tracker.address IPC
YARN ResourceManager 8032 hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.address RM的applications manager(ASM)端口
YARN ResourceManager 8033 hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.admin.address admin IPC
YARN ResourceManager 8088 hadoop/etc/hadoop/yarn-site.xml中的yarn.resourcemanager.webapp.address http服务端口
YARN NodeManager 8040 hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.localizer.address NM的localizer IPC
YARN NodeManager 8042 hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.webapp.address http服务端口
YARN NodeManager 13562 hadoop/etc/hadoop/mapred-site.xml中的mapreduce.shuffle.port ShuffleHandler的运行端口
YARN NodeManager 随机端口(已统一改成13579) hadoop/etc/hadoop/yarn-site.xml中的yarn.nodemanager.address NM的container manager端口

目前开放端口:

JobHistoryServer :10020、10033

ResourceManager:8030、8031、8032、8033

NodeManager:8040、13562、13579

HBase

官方配置文档

组件 节点 默认端口 配置项 用途说明
HBase HMaster 16000 hbase/conf/hbase-site.xml中的hbase.master.port HMaster绑定的端口
HBase HMaster 16010 hbase/conf/hbase-site.xml中的hbase.master.info.port Http服务端口,访问HMaster的Web UI
HBase HRegionServer 16020 hbase/conf/hbase-site.xml中的hbase.regionserver.port HRegionServer绑定的端口
HBase HRegionServer 16030 hbase/conf/hbase-site.xml中的hbase.regionserver.info.port Http服务端口,访问HRegionServer的Web UI

目前开放端口:

HMaster:16000

HRegionServer:16020

ZooKeeper

官方配置文档

组件 节点 默认端口 配置项 用途说明
ZooKeeper Server 2181 zookeeper/conf/zoo.cfg中的clientPort 对客户端提供服务的端口
ZooKeeper Server 2888 zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn] Follower与集群中的 Leader交换信息的端口,只在Leader上监听该端口。(但是三个节点都要开,因为不知道重新选举后Leader会是谁)
ZooKeeper Server 3888 zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn] 万一集群中的Leader服务器挂了,需要一个端口来重新进行选举,选出一个新的Leader,而这个端口就是用来执行选举时服务器相互通信的端口。
ZooKeeper Server 8080 zookeeper/conf/zoo.cfg中的admin.serverPort Zookeeper3.5的新特性,Zookeeper AdminServer默认使用8080端口
ZooKeeper Server 随机生成 参考1参考2 JMX端口,建议关闭,参考官方JMX文档

目前开放端口:

ALL:2181、2888、3888、8080

Hive

官方配置文档

组件 节点 默认端口 配置项 用途说明
Hive HiveServer2 10000 hive/conf/hive-site.xml中的hive.server2.thrift.port 对客户端提供服务的TCP监听端口
Hive HiveServer2 10002 hive/conf/hive-site.xml中的hive.server2.webui.port HiveServer2访问Web UI的端口

目前开放端口:10000、10002

目前进程

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
[hadoop@cpu-node1 ~]$ jps
3216 NameNode
22451 Jps
3861 NodeManager
4967 HMaster
3384 DataNode
4269 QuorumPeerMain
5197 HRegionServer
4125 JobHistoryServer

[hadoop@cpu-node2 ~]$ jps
31936 ResourceManager
32098 NodeManager
675 HRegionServer
19027 Jps
31657 DataNode
10713 QuorumPeerMain

[hadoop@cpu-node3 ~]$ jps
30769 SecondaryNameNode
31779 HRegionServer
30581 DataNode
552 Jps
31357 QuorumPeerMain
30926 NodeManager

参考

hadoop大数据各个组件常用的端口

Linux防火墙开发端口命令