Программа сжатия данных. Первоначально утилита GNU это было клонировано большинством вариантов Unix.
Hadoop предоставляет Высоконадежные услуги путем распределения обработки больших наборов данных через кластеры машин.
Hadoop от Apache, включает модули:
- Распространенный Hadoop: утилиты поддержки
- Распределенная файловая система Hadoop (HDFS)
- Hadoop YARN: планирование задания и управление ресурсами
- MapReduce Hadoop: параллельная обработка больших наборов данных
Это используется такими тяжеловесами как Facebook и Твиттер.
Проекты Apache на основе Hadoop должны, вероятно, использовать свой собственный тег, а именно, Кенаф, Avro, Cassandra, Chukwa, HBase, Hive, Mahout, Свинья, Spark, Tez и ZooKeeper.
2
ответа
mount.nfs: сбой системного вызова mount
Я пытаюсь смонтировать hdfs на моем локальном компьютере под управлением Ubuntu с помощью следующей команды: --- sudo mount -t nfs -o vers = 3, proto = tcp, nolock 192.168.170.52:/ / mnt / hdfs_mount / Но я получаю это ...
28.06.2017
1
ответ
Mac OS ssh :Сброс соединения узлом
Для работы с Hadoop я отредактировал файл hosts и удалил несколько строк (эти строки мешали корректной работе ). При запуске ssh localhost я столкнулся с ошибкой :kex _обмен _идентификация :чтение :сброс соединения пиром hosts.allow :сшд
22.11.2021
1
ответ
Я не знаю, почему SSH и Hadoop подключаются не к тому месту
У меня есть 3 виртуальные машины :master@master -virtualbox worker1@worker1 -виртуальный бокс worker2@worker2 -virtualbox Когда я пытаюсь скопировать ssh id с worker1 на master, запрашивается пароль, который я не знаю какой...
02.03.2021
1
ответ
Невозможно обновить python на hdfs cloudera
Не удалось обновить Python в Cloudera, так как он показывает ошибку всякий раз, когда я запускаю приведенную ниже команду :$ sudo yum установить python27 ошибка :Нет доступного пакета python27. $ sudo yum установить python36u ошибка :Нет...
05.10.2020
1
ответ
Кластер Hadoop + проектирование количества дисков на машине узла данных и минимальных требований
мы используем версию HDP — 2.6.5, а репликация блока HDFS — 3, мы пытаемся понять минимальные требования к дискам узлов данных для производственного режима и в соответствии с тем, что блочная репликация = 3 ...
19.01.2020
1
ответ
Какой правильный mkfs cli для создания файловой системы xfs на огромном диске
Нам нужно создать файловую систему xfs на диске kafka Особенностью диска kafka является диск размер диска kafka имеет размер 20 ТБ в нашем случае. Я не уверен насчет следующих mkfs, но мне нужен совет, чтобы ...
16.12.2019
1
ответ
bash :pig :команда не найдена
Я пытаюсь выяснить, какую версию свиньи я использую. Я думал, что уже установил его #yum install hadoop\ *mahout\ *oozie\ *hbase\ *hive\ *hue\ *pig\ *zookeeper\ *Когда я пытаюсь ввести свинью...
10.04.2019
1
ответ
как запустить CLI из root с пользователем hdfs
когда я запускаю следующий cli от пользователя hdfs, он работает хорошо # su hdfs $ hadoop fs -du -s / home / test / * | awk '{sum + = $ 1} END {print sum}' 4182692 но когда я запускаю его от root, ...
05.03.2019
1
ответ
Почему когда-то нужно прекратить процесс убить -9
у нас есть машины KAFKA в кластере Hadoop сценарий, который остановит процесс KAFKA, выполняет следующее kill PID, но мы замечаем, что скрипт, который остановит кафка Не Союзни убить процесс, поэтому мы ...
07.01.2019
1
ответ
Как лучше управлять очисткой / TMP на машинах Hadoop
как все знают, что содержимое / TMP следует удалить через некоторое время. В моем случае у нас есть машины (Redhat версия 7.2), которые настраиваются в следующем. Как мы можем видеть, как срабатывает на службе ...
19.12.2018
1
ответ
Hadoop: Найдите имя хоста или IP-адреса на основе идентификатора процесса
. Можно ли найти IP-адрес или имя хоста, который представил работу на основе PlexiD? У нас есть несколько рабочих мест Hadoop для сотен часов. Нам нужно знать, с какого локальной машины это ...
20.08.2018
1
ответ
Можем ли мы смешивать значения MTU в кластере
у нас есть хаду-пастер (все машины - это машины linux redhat версии 7.x) на машинах ВМ, которые мы установили MTU=8900, а все остальные машины, которые мы установили MTU=9000, мы установили на VM MTU=8900, потому что мы видели некоторые ...
25.06.2018
1
ответ
как найти правильное значение MTU Jumbo frame [закрыто]
Мы приняли решение установить jumbo-кадры на всех наших Linux-машинах. У нас есть кластер hadoop с главными машинами, рабочими машинами и машинами Kafka. Наши коммутаторы (Cisco) подходят для Jumbo ...
06.03.2018
1
ответ
install hadoop_2_6_1_0_129-hdfs
попытался установить сервер временной шкалы приложений кластера Hadoop. Установка вернула ошибку: 2018-02-26 19: 31: 49,406 - Установка пакета hadoop_2_6_1_0_129- hdfs ('/ usr / bin / yum -d 0 -e 0 -y install ...
04.03.2018
1
ответ
Ambari и Spark не запускаются из интерфейса командной строки
Из графического интерфейса Ambari мы не можем запустить службу Spark. Итак, мы хотим запустить его из командной строки следующим образом: [spark @ mas01 spark2] $ ./sbin/start-thriftserver.sh --master yarn-client --executor -...
02.03.2018
1
ответ
systemd - определить службу без ExecStop и иметь возможность остановить ее без сбоев
Я использую CentOS 7, и я хочу запустить автономный производитель Kafka (File Connector) в качестве службы. Команда: /opt/kafka/bin/connect-standalone.sh /opt/kafka/config/connect-standalone.properties /...
02.03.2018
1
ответ
Кластер Hadoop с Ambari - лучший способ изменить конфигурации
У нас есть кластер Hadoop, клиенты устанавливаются на машины Linux Red Hat и централизованное управление через Apache Ambari . список вкусняшек | grep ambari-server
ambari-server.x86_64 2.5.0.3-7 ...
02.03.2018
1
ответ
RPC: Ошибка сопоставителя портов - Невозможно получить: errno 113 (Нет маршрута к хосту)
Я пытаюсь смонтировать hdfs на моем локальном компьютере (ubuntu) с помощью nfs, перейдя по следующей ссылке: - https: / /www.cloudera.com/documentation/enterprise/5-2-x/topics/cdh_ig_nfsv3_gateway_configure.html # ...
28.06.2017
1
ответ
copyFromLocal Hadoop No such file or directory error
У меня есть следующий код из командного терминала Fedora : [root@localhost python_code]# pwd
/root/python_code
[root@localhost python_code]# cd ...
[root@localhost ~]# ls
anaconda-ks.cfg ...
30.04.2016
1
ответ
Unexpected EOF while looking for matching ' " '
Я пытаюсь настроить hadoop с помощью cygwin. Я впервые использую unix-окружение, но при настройке hadoop-env.sh я получаю эту ошибку EOF # Licensed to the Apache Software Foundation (...
26.03.2016
1
ответ
сбой привязки, адрес используется: Unable to use a TCP port for both source and destination?
Я отлаживаю Hadoop DataNodes, которые не запускаются. Мы используем saltstack, а также elasticsearch на машинах. Ошибка Hadoop DataNode довольно ясна: java.net.BindException: Problem binding ...
14.12.2015
0
ответов
Скопируйте файлы из папки hdfs в другое место hdfs, отфильтровав по дате изменения с помощью сценария оболочки.
У меня есть данные за 1 год в моем местоположении hdfs, и я хочу скопировать данные за последние 6 месяцев в другое место hdfs.
Можно ли скопировать данные только за 6 месяцев непосредственно из команды hdfs или нам нужно...
19.07.2019
0
ответов
Невозможно выйти из интерактивного режима для команды yarn top
У меня есть сценарий bash, который находится на serverA. Этот сценарий отправляет ssh на serverB и запускает команду yarn top, извлекает метрики и помещает их в файл (test.txt) на serverA. Ниже представлена команда, которую я использую: ...
14.08.2018
0
ответов
Сделать виртуальный бокс другим IP-адрес, отличный от моего ноутбука
Я пытаюсь настроить 2-узловой кластер Hadoop (следуя этому руководству), где главным будет мой ноутбук с Ubuntu, а подчиненным - виртуальный бокс, работающий под управлением Ubuntu. Я также читал о сети i n ...
13.04.2017
0
ответов
Как переместить каталог?
У меня есть каталог в HDFS с подкаталогами, которые содержат файлы part-xxxxx, созданные Spark. Я хочу переместить этот каталог (и все, что в нем) в новый каталог. Инструкции? Моя попытка: [...
15.09.2016
0
ответов
mv: target 'hadoop/' is not a directory
Я использую Fedora 23, которая установлена на Oracle VM. Я нахожусь на этапе загрузки Hadoop в документации здесь. Когда я выполняю следующую команду в Fedora, я вижу пользователя hadoop в списке: [...
06.04.2016
0
ответов
sqoop2 не запускается
Мой sqoop2 внезапно умирает и не может запуститься 2 дня назад, я не менял никаких настроек на sqoop2, я проверил журнал каталины / var / log / sqoop2, в нем говорится: 14 марта 2016 г. 14:06:17 org.apache.catalina ....
14.03.2016
0
ответов
Подключить символическую ссылку к программе или сценарию, который возвращает файл
Я хотел знать, могу ли я сделать символическую ссылку на файл, скажем, в базе данных. Это дикая догадка, но можно ли перехватить ссылку, скажем, с помощью функции C, а затем позволить функции вернуть ...
27.12.2015
0
ответов
Оптимальная конфигурация мощности ЦП в BIOS для высокопроизводительного Hadoop?
Я нахожусь в процессе настройки кластера Hadoop и пока что {{ 1}} не удалось найти хороший ответ о том, как настроить мощность процессора
в BIOS для Linux. В моем BIOS есть множество опций с ...
05.09.2015