Вопросы по теме 'mapreduce'

Ограничить Hadoop MapReduce определенным расширением файла
Я пытаюсь запустить задание MapReduce в своем кластере, которое работает только с определенным расширением файла. У нас есть куча разнородных данных, которые находятся в кластере, и для этого конкретного задания я хочу выполнить только .jpg. Есть ли...
437 просмотров
schedule 18.03.2024

Программа Hadoop Java всегда работает в автономном режиме
Я написал программу на Java, которая использует Hadoop. Я запускаю свою программу из командной строки, используя «java -jar prog.jar», и вижу, что она работает в автономном режиме. Я могу это сказать, потому что демоны JobTracker и TaskTracker не...
1548 просмотров
schedule 14.04.2024

XMLParser в MapReduce Ошибка программы с сообщением: Имя объекта должно следовать сразу за символом «&» в ссылке на объект.
Я выполнял распределенный анализ XML в кластере Hadoop. Я использую этот XmlInputFormat в своих программах уменьшения карты. Это сработало довольно хорошо, и я искренне благодарю этого участника. Но вот проблема, с которой я столкнулся: При...
537 просмотров
schedule 11.04.2024

mapreduce: следует ли избегать создания объектов внутри картографа/редуктора?
В моей компании разработчики идут на многое, чтобы не создавать объекты внутри мапперов/редюсеров. Например, работа с базовой записью avro (с использованием позиций), работа с байтовыми массивами и потоками вместо объектов и т.д. Для меня это...
319 просмотров
schedule 07.05.2024

Pig Map уменьшить сбой с отказом в разрешении
Я попытался включить сервер истории, используя ссылку, я мог сделать это только до тех пор, пока hdfs dis -mkdir -p / app-logs не работал, и я не мог продолжить. Теперь, когда я запускаю скрипт свиньи, который создает уменьшение карты, он не...
144 просмотров
schedule 31.03.2024

Подзапрос и конкатенация в улье
Я пытаюсь объединить строку и вывод подзапроса в улье. при использовании канала для конкатенации возникает ошибка. Мой вопрос таков. select id, ('hello:' || (select distinct(name) from abc c1 where c1.id=c2.id and balanc=(select max(balanc) from...
477 просмотров
schedule 22.03.2024