Свинья латинская загрузка из S3 (расширение папки)

Я пытаюсь использовать нагрузку с источником данных в качестве корзины S3.

load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader()

не работает.

load s3n://hourly-logprocessing/{201309????}/??????_0.gz using some loader()

не работает.

Я получаю это исключение.

Вызвано: java.lang.IllegalArgumentException: невозможно создать путь из пустой строки в org.apache.hadoop.fs.Path.checkPathArg(Path.java:91) в org.apache.hadoop.fs.Path.(Path .java:99) в org.apache.hadoop.fs.Path.(Path.java:58) в org.apache.hadoop.fs.s3native.NativeS3FileSystem.listStatus(NativeS3FileSystem.java:498) в org.apache.hadoop .fs.FileSystem.listStatus(FileSystem.java:1341) в org.apache.hadoop.fs.FileSystem.listStatus(FileSystem.java:1418) в org.apache.hadoop.fs.FileSystem.globPathsLevel(FileSystem.java:1602) ) в org.apache.hadoop.fs.FileSystem.globStatusInternal(FileSystem.java:1539)

Это работает только тогда, когда я использую одну папку.

load s3n://some-folder/2013090100/??????_0.gz

Как свинья расширяется. Любая помощь будет оценена по достоинству.


amazon-s3 apache-pig
person user2832729    schedule 30.10.2013    source источник

Ответы (1)


arrow_upward
0
arrow_downward

  • Прежде всего, я не пробовал ваши примеры, о лень, но это работает для моих операторов «загрузки»: 's3n://SOME_BUCKET/20[0-9][0-9]-[0-9] [0-9]-[0-9][0-9]-23-*.mystuff_v14*'

  • не забудьте одинарные кавычки после команды загрузки (которой нет в ваших примерах)

person Amit    schedule 05.11.2013