Doido Dev

Compatibilidade de Versões e Arquitetura A partir da versão 3.2.3, o ecossistema Hadoop passou a exigir obrigatoriamente o JDK 11. No entanto, o Apache Hive 3.1.3 ainda apresanta dependências críticas do JDK 1.8. Para viabilizar a execução conjunta e estável de ambos os componentes, este guia detalha a implantação do Hadoop 3.2.2 em conjunto co ...

O Pentaho Data Integration (PDI), também conhecido pelo nome histórico Kettle, é uma ferramenta de ETL visual amplamente utilizada para movimentação, transformação e carga de dados. O ambiente gráfico Spoon permite construir fluxos de dados por meio de componentes arrastáveis, reduzindo a necessidade de codificação manual. Principais capacidade ...

Em análise de dados, problemas que envolvem "sequências consecutivas" são desafios clássicos em processos seletivos de empresas de tecnologia. Este artigo aborda como resolver um problema comum: encontrar o motorista com a maior sequência ininterrupta de avaliações de 5 estrelas dentro de cada semana. O Problema Considere uma tabela q ...

A concepção de "tabela de corrente" (ou "scd - slowly changing dimension" tipo 2, em inglês) é uma abordagem de modelagem de dados em data warehousing focada em como os dados históricos são armazenados. Essencialmente, ela visa registrar todas as alterações de um registro ao longo do tempo, desde sua criação até o estado atu ...

Aqruitetura e Dependências do Sistema Para construir um data warehouse analítico baseado no ecossistema Hadoop, é frequentemente necessário ingerir dados transacionais de bancos de dados relacionais em tempo real. O Tungsten Replicator atua como uma solução robusta para catpurar alterações no MySQL e aplicá-las no HDFS, formatando-as para consu ...