Вопросы по теме 'apache-pig'
Apache Pig: дополнительные параметры запроса из веб-журнала
Я работаю над анализом журналов доступа к AWS CloudFront.
У меня есть код для загрузки строк файла
raw_logs2 =LOAD 'file:///home/ec2-user/ENWRZAC68E00M.2011-02-28-18.72jA8eGh'
USING PigStorage('\t')
AS (
date: chararray, time:...
927 просмотров
schedule
10.05.2024
Свинья латинская загрузка из S3 (расширение папки)
Я пытаюсь использовать нагрузку с источником данных в качестве корзины S3.
load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader()
не работает.
load s3n://hourly-logprocessing/{201309????}/??????_0.gz...
664 просмотров
schedule
13.04.2024
Flatten восстанавливает только первый элемент в chararray
У меня есть следующие данные (загруженные в переменную A):
(a1:a2:a3|a4:a5:a6)
(b1:b2:b3)
(c1:c2:c3|c4:c5:c6|c7:c8:c9)
Я хочу, чтобы мой окончательный результат был следующим:
(a1:a2:a3)
(a4:a5:a6)
(b1:b2:b3)
(c1:c2:c3)
(c4:c5:c6)...
203 просмотров
schedule
12.06.2024
Pig Map уменьшить сбой с отказом в разрешении
Я попытался включить сервер истории, используя ссылку, я мог сделать это только до тех пор, пока hdfs dis -mkdir -p / app-logs не работал, и я не мог продолжить.
Теперь, когда я запускаю скрипт свиньи, который создает уменьшение карты, он не...
144 просмотров
schedule
31.03.2024
Как извлечь отдельные из набора кортежей?
поэтому у меня есть следующая структура данных в свинье после описания:
--------------------------------------------------------------------------------------------------------------------------------------------------------
|...
227 просмотров
schedule
01.06.2024
сканировать таблицу hbase для строки, где значение поля столбца пусто
Я хотел бы выполнить быстрое сканирование с фильтрацией в оболочке hbase, чтобы получить любые записи, в которых определенное значение столбца равно нулю или пусто. Мне сказали, что я могу сделать это и в PIG, но тоже не знаю, как это сделать. Может...
1088 просмотров
schedule
05.05.2024