Para instalar o Apache Spark e o Apache HBase em um cluster com um nó mestre e dois nós trabalhadores, siga os passos detalhados abaixo. Os nomes dos nós utilizados são master, worker1 e worker2.

1. Instalação do Scala (pré‑requisito para o Spark)

Crie o diretório de instalação e extraia o pacote:

mkdir -p /opt/scala
tar -xzf /opt/packages/scala-2.11.11.tgz -C /opt/scala/

Configure as variáveis de ambiente no arquivo /etc/profile:

export SCALA_HOME=/opt/scala/scala-2.11.11
export PATH=$SCALA_HOME/bin:$PATH

Atualize o ambeinte e verifique a instalação:

source /etc/profile
scala -version

Distribua a instalação para os nós trabalhadores:

scp -r /opt/scala root@worker1:/opt/
scp -r /opt/scala root@worker2:/opt/

2. Instalação do Spark

Crie o diretório e extraia o Spark:

mkdir -p /opt/spark
tar -xzf /opt/packages/spark-2.4.3-bin-hadoop2.7.tgz -C /opt/spark/

Adicione as variáveis do Spark ao /etc/profile:

export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH

Atualize o ambiente:

source /etc/profile

Configure o arquivo spark-env.sh:

cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

Adicione as seguintes linhas:

export SPARK_MASTER_HOST=master
export SCALA_HOME=/opt/scala/scala-2.11.11
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/usr/java/jdk1.8.0_221
export HADOOP_HOME=/opt/hadoop/hadoop-2.7.7
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

Defina os nós trabalhadores no arquivo workers:

cp workers.template workers
echo -e "worker1\nworker2" > workers

Copie a instalação do Spark para os trabalhadores:

scp -r /opt/spark root@worker1:/opt/
scp -r /opt/spark root@worker2:/opt/

Repita a configuração do spark-env.sh e do arquivo workers em cada nó trabalhador (lembre‑se de atualizar o ambiente).

Para iniciar o cluster Spark, execute no mestre:

$SPARK_HOME/sbin/start-all.sh

3. Instalação do HBase

Crie o diretório e extraia o HBase:

mkdir -p /opt/hbase
tar -xzf /opt/packages/hbase-1.2.4-bin.tar.gz -C /opt/hbase/

Entre no diretório de configuração e edite hbase-env.sh:

cd /opt/hbase/hbase-1.2.4/conf
vim hbase-env.sh

Adicinoe:

export HBASE_MANAGES_ZK=false
export JAVA_HOME=/usr/java/jdk1.8.0_171
export HBASE_CLASSPATH=/opt/hadoop/hadoop-2.7.3/etc/hadoop

Edite hbase-site.xml:

vim hbase-site.xml

Adicione as seguintes propriedades:

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
  <name>hbase.master</name>
  <value>hdfs://master:6000</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master,worker1,worker2</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/opt/zookeeper/zookeeper-3.4.14</value>
</property>

Configure os region servers no arquivo regionservers:

echo -e "worker1\nworker2" > regionservers

Copie os arquivos de configuração do Hadoop para o HBase:

cp /opt/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml .
cp /opt/hadoop/hadoop-2.7.7/etc/hadoop/core-site.xml .

Distribua a instalação do HBase para os trabalhadores:

scp -r /opt/hbase root@worker1:/opt/
scp -r /opt/hbase root@worker2:/opt/

Repita a configuração do hbase-site.xml em cada nó (ajustando o caminho do ZooKeeper, se necessário).