Para obter este conteúdo estruturado, clique aqui.

Uma pessoa pode ir rápido, mas uma equipe vai mais longe! Se você é um profissional da área de TI ou está interessado no setor, entre em nosso grupo (troca de tecnologia, recursos de estudo, discussão de carreiar, indicações para empresas grandes e orientação de entrevista), e aprenda juntos!

Salve e saia do .bashrc, use source ~/.bashrc para aplicar as configurações. Use java -version para verificar se o Java foi configurado com sucesso.

Segundo, instale o Hadoop em modo pseudo-distribuído

Endereço de download do Hadoop: https://dlcdn.apache.org/hadoop/common/, baixe o hadoop-3.3.6.tar.gz de 696M.

1. Use o comando tar para descompactar o pacote Hadoop no diretório /usr/local. 3. Use o chown para alterar as permissões do Hadoop e verifique as informações da versão. 5. Modifique os arquivos de configuração na pasta /usr/local/hadoop/etc/hadoop:

• core-site.xml

hadoop.tmp.dir file:/usr/local/hadoop/tmp Abase for other temporary directories.
fs.defaultFS hdfs://localhost:9000

11. hdfs-site.xml

dfs.replication 1
dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name
dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data

4. Formate o nó NameNode.

cd /usr/local/hadoop
./bin/hdfs namenode -format

7. Inicie o Hadoop, execute os processos como daemon e verifique com o comando jps, que deve mostrar 4 processos.

cd /usr/local/hadoop
./sbin/start-dfs.sh

10. Verifiuqe no navegador acessando localhost:9870 (ou ip:9870). Terceiro, instale o Spark em modo local

Endereço de download: https://archive.apache.org/dist/spark/, baixe o spark-3.4.2-bin-without-hadoop.tgz.

1. Use o comando tar para descompactar o pacote Spark no diretório /usr/local. 3. Renomeie a pasta descompactada para spark e altere o proprietário e o grupo. 5. Modifique o arquivo ./conf/spark-env.sh (use cp para copiar o modelo antes de modificar).

cd /usr/local/spark
cp ./conf/spark-env.sh.template ./conf/spark-env.sh

```

export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)

![Descrição da imagem](https://img-blog.csdnimg.cn/direct/f5eac9e267ea428fa79b8ac2c2748055.png)10. Verifique se o Spark foi instalado corretamente.

cd /usr/local/spark bin/run-example SparkPi 2>&1 | grep "Pi is"

O resultado pode não ser exatamente 3.14...

![Descrição da imagem](https://img-blog.csdnimg.cn/direct/03cf75960a1b4509a7ff6c2a5428d355.png)
![Descrição da imagem](https://img-blog.csdnimg.cn/img_convert/1bb789517344dd0b1a0cf98d8439b6de.png)![Descrição da imagem](https://img-blog.csdnimg.cn/img_convert/54296c8312c1204f8b8bd1bbf0723dce.png)Se a informação aprendida não estiver estruturada, é difícil atingir um nível técnico mais profundo quando surgem problemas.

[Clique aqui para obter este conteúdo estruturado.](https://bbs.csdn.net/topics/618545628)

Uma pessoa pode ir rápido, mas uma equipe vai mais longe! Se você é um profissional da área de TI ou está interessado no setor, entre em nosso grupo (troca de tecnologia, recursos de estudo, discussão de carreira, indicações para empresas grandes e orientação de entrevista), e aprenda juntos!

</div></div>