Pig Map уменьшить сбой с отказом в разрешении

Я попытался включить сервер истории, используя ссылку, я мог сделать это только до тех пор, пока hdfs dis -mkdir -p / app-logs не работал, и я не мог продолжить.

Теперь, когда я запускаю скрипт свиньи, который создает уменьшение карты, он не работает с ошибкой ниже. Любая идея? также, когда я говорю ls -l / mr-history /, он не говорит об отсутствии такого файла или каталога.

Вызванный:

org.apache.hadoop.security.AccessControlException: В разрешении отказано: user = mapred, access = READ, inode = "/ mr-history / tmp / hdfs / job_1459806783854_0001-1459807556718-hdfs-PigLatin% 3ADefaultJobName- 1459807582179-1-1-SUCCEEDED-default-1459807564263.jhist ": hdfs: hdfs: -rwxrwx --- at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check (FSPermissionChecker.java:319)


hadoop mapreduce apache-pig
person Amit Sharma    schedule 04.04.2016    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы должны выполнять свою команду с пользователем ОС mapred, у которого есть разрешение только на чтение файла / каталога.

В доступе отказано: пользователь = mapred, доступ = READ

Вам следует попробовать с hdfs пользователем, так как у него есть доступ для чтения и записи.

org.apache.hadoop.security.AccessControlException: В разрешении отказано: user = mapred, access = READ, inode = "/ mr-history / tmp / hdfs / job_1459806783854_0001-1459807556718-hdfs-PigLatin% 3ADEefaultJob SUName-1459ED-182CC -default-1459807564263.jhist ": hdfs: hdfs: - rwxrwx --- at

Вы также можете chmod файла / каталога для других пользователей, если у вас есть права sudo / root на узле hdfs.

person Mahendra    schedule 07.04.2016
comment
Привет, спасибо за ответ. Я запускал его только с пользователем hdfs, но я считаю, что задание по уменьшению карты всегда запускается пользователем Mapred, и по этой причине он не удался, я дал разрешение пользователю, и теперь он работает нормально. - person Amit Sharma; 08.04.2016