Вопросы по теме 'apache-pig'

Apache Pig: дополнительные параметры запроса из веб-журнала
Я работаю над анализом журналов доступа к AWS CloudFront. У меня есть код для загрузки строк файла raw_logs2 =LOAD 'file:///home/ec2-user/ENWRZAC68E00M.2011-02-28-18.72jA8eGh' USING PigStorage('\t') AS ( date: chararray, time:...
927 просмотров
schedule 10.05.2024

Свинья латинская загрузка из S3 (расширение папки)
Я пытаюсь использовать нагрузку с источником данных в качестве корзины S3. load s3n://hourly-logprocessing/{2013090100,2013100501}/??????_0.gz' using some loader() не работает. load s3n://hourly-logprocessing/{201309????}/??????_0.gz...
664 просмотров
schedule 13.04.2024

Flatten восстанавливает только первый элемент в chararray
У меня есть следующие данные (загруженные в переменную A): (a1:a2:a3|a4:a5:a6) (b1:b2:b3) (c1:c2:c3|c4:c5:c6|c7:c8:c9) Я хочу, чтобы мой окончательный результат был следующим: (a1:a2:a3) (a4:a5:a6) (b1:b2:b3) (c1:c2:c3) (c4:c5:c6)...
203 просмотров
schedule 12.06.2024

Pig Map уменьшить сбой с отказом в разрешении
Я попытался включить сервер истории, используя ссылку, я мог сделать это только до тех пор, пока hdfs dis -mkdir -p / app-logs не работал, и я не мог продолжить. Теперь, когда я запускаю скрипт свиньи, который создает уменьшение карты, он не...
144 просмотров
schedule 31.03.2024

Как извлечь отдельные из набора кортежей?
поэтому у меня есть следующая структура данных в свинье после описания: -------------------------------------------------------------------------------------------------------------------------------------------------------- |...
227 просмотров
schedule 01.06.2024

сканировать таблицу hbase для строки, где значение поля столбца пусто
Я хотел бы выполнить быстрое сканирование с фильтрацией в оболочке hbase, чтобы получить любые записи, в которых определенное значение столбца равно нулю или пусто. Мне сказали, что я могу сделать это и в PIG, но тоже не знаю, как это сделать. Может...
1088 просмотров
schedule 05.05.2024