IT-Swarm.Net

hadoop

Como copiar o arquivo do HDFS para o sistema de arquivos local

Diferença entre porco e colméia? Por que ambos?

Quando usar o Hadoop, o HBase, o Hive e o Pig?

Apache Spark: o número de núcleos versus o número de executores

O nó nome está no modo de segurança. Não é capaz de sair

Falha ao localizar o binário winutils no caminho binário do hadoop

Qual é a diferença entre particionar e distribuir uma tabela no Hive?

Diferença entre tabelas internas do Hive e tabelas externas?

Tecnicamente, qual é a diferença entre s3n, s3a e s3?

Como saber as versões do Hive e do Hadoop no prompt de comando?

Como verificar se o ZooKeeper está sendo executado ou ativado no prompt de comando?

Como excluir e atualizar um registro no Hive

O contêiner está sendo executado além dos limites de memória

Avro vs. Parquet

Diferença entre HBase e Hadoop / HDFS

Parquet vs ORC vs ORC com Snappy

Hive: como mostrar todas as partições de uma tabela?

Como corrigir arquivos HDFS corruptos

Qual é a diferença entre os comandos shell "hadoop fs" e "hdfs dfs" Comandos shell?

Não existe uma forma de obter o mesmo nome da informação junto de uma pessoa que não seja consultada?

O que é o Hive: Return Code 2 de org.Apache.hadoop.Hive.ql.exec.MapRedTask

Uma faísca do Apache pode ser executada sem hadoop?

Uma maneira de verificar um tamanho de arquivo HDFS?

Onde o arquivo armazena arquivos no HDFS?

Encadeando Vários Jobs MapReduce no Hadoop

PIG como contar um número de linhas no alias

Namenode não está começando

Hive carregar CSV com vírgulas nos campos entre aspas

Definir o número de tarefas do mapa e reduzir tarefas

Hbase conta rapidamente o número de linhas

mesclar arquivos de saída após reduzir a fase

Cluster de colméia por ordem vs por classificar por

Não é possível ler um arquivo do HDFS usando o Spark

Porta padrão Namenode do HDFS é 50070. Mas eu já vi em alguns lugares 8020 ou 9000

Processo de datanode não executado no Hadoop

Salvar o dataframe do Spark como uma tabela particionada dinâmica no Hive

Como carregar um arquivo de texto em uma tabela do Hive armazenada como arquivos de seqüência

Como excluir arquivos do HDFS?

Selecione as 2 primeiras linhas no Hive

http: // localhost: 50070 não funciona HADOOP

Como sobrescrever os arquivos existentes usando o comando hadoop fs -copyToLocal

Consulta do Hive para localizar rapidamente o tamanho da tabela (número de linhas)

Como obter o nome do arquivo de entrada no mapeador em um programa do Hadoop?

SparkSQL vs Hive on Spark - Diferença e prós e contras?

Como faço para copiar dados de um HDFS para outro HDFS?

Nenhum nó de dados é iniciado

Hadoop 2.2 Instalação `. ' Não existe tal arquivo ou diretório

Hadoop: A conexão ao ResourceManager falhou

Tabela Alter Hive adicionar ou largar coluna

Hadoop Java.io.IOException: Mkdirs não conseguiu criar/algum/caminho

Causado por: ERRO XSDB6: Outra instância do Derby pode já ter inicializado o banco de dados

Como calcular a diferença de data no Hive

Como saber qual é a razão para ClosedChannelException com spark-shell no modo cliente YARN?

Como excluir/truncar tabelas do Hadoop-Hive?

Diferença entre hadoop fs -put e hadoop fs -copyFromLocal

Como transpor/dinamizar dados na colmeia?

O envio de ignição não funciona quando o jar do aplicativo está em hdfs

Como se conectar a um metastore Hive programaticamente no SparkSQL?

Como encontrar o tamanho de um arquivo HDFS

O aplicativo falhou 2 vezes devido ao Contêiner de AM: saiu com exitCode: 1

Por que o relatório do Hadoop "Local-dirs e log-dirs do nó não íntegro está ruim"?

O que é um contêiner no YARN?

Pyspark: obter lista de arquivos/diretórios no caminho HDFS

Como reiniciar o fio no AWS EMR

Como obtenho nomes de esquemas/colunas do arquivo parquet?

Qual é a diferença entre -hivevar e -hiveconf?

Como especificar o ID de chave de acesso da AWS e a chave de acesso secreta como parte de um URL do Amazon s3n

Podemos carregar o arquivo Parquet diretamente no Hive?

Desativar diretório HDFS iterativo

Excluindo arquivo/pasta do Hadoop

Como listar todos os bancos de dados do Hive em uso ou criados até agora?

java.net.URISyntaxException ao iniciar o HIVE

HDFS_NAMENODE_USER, HDFS_DATANODE_USER e HDFS_SECONDARYNAMENODE_USER não definidos

O que o comando "hadoop namenode -format" fará

apache spark - verifique se o arquivo existe

Como navegar pelos diretórios no Hadoop HDFS

Como escrever trabalhos de hadoop "mapear apenas"?

Não é possível iniciar o serviço cygwin sshd

Hadoop - namenode não está iniciando

A saída do comando Hive INSERT OVERWRITE DIRECTORY não é separada por um delimitador. Por quê?

issue Executando o Spark Job no Yarn Cluster

Hadoop: ... ser replicado para nós em vez de minReplication (= 1). Há 1 datanode (s) em execução e nenhum nó (s) é (são) excluído (s) nesta operação

Como obter o hadoop put para criar diretórios se eles não existirem

Como remover arquivos dentro do diretório hadoop de uma só vez?

Como adicionar partição usando o Hive por uma data específica?

como escrever subconsulta e usar a cláusula "In" no Hive

Jobs MapReduce ficam presos no estado Aceito

Hive 2.1.1 MetaException (message: informação da versão não encontrada no metastore).

o mapa do hadoop reduz a classificação secundária

Como o Hadoop executa divisões de entrada?

Erro de section: parseexception ausente EOF

Hadoop copiar um diretório?

Thrift, Avro, Protocolbuffers - Eles estão todos mortos?

Como faço para remover corretamente nós no Hadoop?

LeaseExpiredException: nenhum erro de lease no HDFS

Erro de replicação de dados no Hadoop

Onde está o arquivo de configuração do HDFS no Hadoop 2.2.0?

Pig Latin: Carrega vários arquivos de um intervalo de datas (parte da estrutura de diretórios)

Por que "hadoop fs -mkdir" falha com permissão negada?

Bom tutorial sobre como instalar o Hadoop 2.2.0 (Yarn) como cluster de nó único no MacOS