Вопросы по теме 'mapreduce'
Ограничить Hadoop MapReduce определенным расширением файла
Я пытаюсь запустить задание MapReduce в своем кластере, которое работает только с определенным расширением файла. У нас есть куча разнородных данных, которые находятся в кластере, и для этого конкретного задания я хочу выполнить только .jpg. Есть ли...
437 просмотров
schedule
18.03.2024
Программа Hadoop Java всегда работает в автономном режиме
Я написал программу на Java, которая использует Hadoop. Я запускаю свою программу из командной строки, используя «java -jar prog.jar», и вижу, что она работает в автономном режиме. Я могу это сказать, потому что демоны JobTracker и TaskTracker не...
1548 просмотров
schedule
14.04.2024
XMLParser в MapReduce Ошибка программы с сообщением: Имя объекта должно следовать сразу за символом «&» в ссылке на объект.
Я выполнял распределенный анализ XML в кластере Hadoop. Я использую этот XmlInputFormat в своих программах уменьшения карты. Это сработало довольно хорошо, и я искренне благодарю этого участника.
Но вот проблема, с которой я столкнулся:
При...
537 просмотров
schedule
11.04.2024
mapreduce: следует ли избегать создания объектов внутри картографа/редуктора?
В моей компании разработчики идут на многое, чтобы не создавать объекты внутри мапперов/редюсеров. Например, работа с базовой записью avro (с использованием позиций), работа с байтовыми массивами и потоками вместо объектов и т.д.
Для меня это...
319 просмотров
schedule
07.05.2024
Pig Map уменьшить сбой с отказом в разрешении
Я попытался включить сервер истории, используя ссылку, я мог сделать это только до тех пор, пока hdfs dis -mkdir -p / app-logs не работал, и я не мог продолжить.
Теперь, когда я запускаю скрипт свиньи, который создает уменьшение карты, он не...
144 просмотров
schedule
31.03.2024
Подзапрос и конкатенация в улье
Я пытаюсь объединить строку и вывод подзапроса в улье. при использовании канала для конкатенации возникает ошибка. Мой вопрос таков.
select id, ('hello:' || (select distinct(name) from abc c1 where c1.id=c2.id and balanc=(select max(balanc) from...
477 просмотров
schedule
22.03.2024