Вопросы по теме 'apache-pig'
Выполнение Pig на другом фреймворке
Я понимаю, что Pig Latin — это язык потока данных. В этом смысле теоретически должно быть возможно выполнить Pig Latin в любой среде, хотя в настоящее время он предназначен для выполнения в среде Hadoop. Насколько сложно было бы переключить Pig...
173 просмотров
schedule
25.10.2023
Объявление переменной и схемы в PIG
как объявить переменную в PIG? предположим, я хочу, чтобы целое число имело значения 10, как я могу объявить его в сценарии? и как схема может быть повторно использована?
19944 просмотров
schedule
11.10.2022
Проецирование сгруппированных кортежей в Pig
У меня есть набор кортежей формы (t, a, b), которые я хочу сгруппировать по b на Pig. После группировки я хочу отфильтровать b из кортежей в каждой группе и создать пакет отфильтрованных кортежей для каждой группы.
В качестве примера предположим,...
2882 просмотров
schedule
11.12.2022
pig-0.9.0.pom не содержит всех своих зависимостей времени выполнения, таких как pig-0.8.1-cdh3u1.pom
maven noob, наберитесь терпения... Я обновляюсь с cdh3u1 до apache hadoop 0.20.203.0 и pig 0.9.0. Раньше, у меня был:
<dependency>
<groupId>org.apache.hadoop</groupId>...
1809 просмотров
schedule
19.10.2022
Наиболее часто появлялся поиск между определенным временем
У меня есть журнал поиска с полями, а именно время, место и запрос. Я хочу найти наиболее запрашиваемое слово из определенного места в определенное время. Все поля, а именно дата, время, query_String, являются chararrays. У меня есть приведенный...
59 просмотров
schedule
15.05.2024
Исключение Pig-Scala UDF - ScalaObject не найден
У меня есть файл scala .class, который я конвертирую в банку и пытаюсь register использовать сценарий свиньи. Теперь он может найти этот класс, НО выдает ClassNotFoundException вместо scala.ScalaObject .
Я заметил, что в банке scala-library...
320 просмотров
schedule
15.10.2022
Ошибка присоединения к таблице hbase в свинье: нет файловой системы для схемы: hbase
Я пытаюсь присоединиться к таблице hbase с некоторой информацией из файла hdfs. Я относительно новичок в hbase и pig.
set hbase.zookeeper.quorum 'mprhdp2-dev.local'
set hbase.zookeeper.property.clientPort 5100
A = LOAD '/raw/JoinTest2.txt' USING...
1731 просмотров
schedule
09.11.2023
Соответствие регулярному выражению Hadoop Pig Latin
У меня есть следующий фильтр Pig Latin:
filtered = FILTER raw BY year >= 1960 AND string MATCHES '(?!.*[0-9].*|.{1}|.*@.*|.*www.*|.*http.*)';
Я намеревался получить следующие результаты для следующих строк:
a #false .{1}...
4942 просмотров
schedule
20.01.2024
Как включить FileName в Pig Latin Script с помощью XMLLoader?
Я использую XMLLoader для загрузки XML в мой свиной латинский скрипт. А затем анализирую его с помощью своего UDF. Проблема в том, что я хочу включить имя входного файла в свой UDF.
Что-то типа
имя_файла = (строка) input.get(1);
Вот мой...
581 просмотров
schedule
05.10.2022
Свинья-фильтр, если отношение содержится во втором отношении
Обычная вещь, которую я нахожу в свиньях, - это небольшое отношение к таким данным, как
A = id, attribute1:int, attribute2:double...
и большое отношение с такими данными, как
B = id, differentattribute:chararray...
и я хочу...
351 просмотров
schedule
13.03.2024
Ошибка при выполнении UDF в PIG
Я пытаюсь запустить свою первую UDF на примере
http://wiki.apache.org/pig/UDFManual . Теперь у меня есть файлы FirstUdf.jar и myscript.pig в одной папке.
Мой myscript.pig выглядит следующим образом
REGISTER FirstUdf.jar; A = LOAD...
136 просмотров
schedule
06.12.2022
Обработка обновленных записей в Hadoop
Каждый день пользовательская таблица из оракула сбрасывается в HDFS. Дамп содержит только последние изменения (вставки и обновления), которые были сделаны после предыдущего дампа. Теперь я хотел загрузить все ежедневные дампы, используя PIG, в...
427 просмотров
schedule
01.12.2023
проблема свинки и хауопа: сервер IPC версии 7 не может обмениваться данными с клиентом версии 4
Я пытаюсь запустить свинью и терплю неудачу:
$ pig
2013-05-10 18:03:22,972 [main] INFO org.apache.pig.Main - Apache Pig version 0.11.1 (r1459641) compiled Mar 22 2013, 02:13:53
2013-05-10 18:03:22,972 [main] INFO org.apache.pig.Main - Logging...
8488 просмотров
schedule
18.11.2022
когда я пытаюсь запустить свинью + появляется ошибка Кассандры? нужна помощь пожалуйста
[root@SudeepMangu pig]# bin/pig_cassandra -x local example-script.pig
Используя /home/sudeep/pig-0.9.2/pig-0.9.2-без hadoop.jar. 2013-05-30 14:22:20,007 [main] INFO org.apache.pig.Main — запись сообщений об ошибках в:...
77 просмотров
schedule
25.12.2023
Ошибка JAVA_HOME при запуске PIG
После того, как я установил JAVA_HOME в своей среде, я получил это при запуске PIG:
ubuntu@XXXXXX:~/pig/pig-0.11.1/bin$ export JAVA_HOME=/usr/lib/jvm/java-6-sun
ubuntu@ip-10-117-89-198:~/pig/pig-0.11.1/bin$ ./pig
Exception in thread "main"...
1793 просмотров
schedule
15.12.2023
почему группа в свинье ведет себя нечетного порядка
В hadoop, если вы хотите сгруппировать и упорядочить что-то и написать java , в результате групповые ключи также будут сортироваться по умолчанию в лексикографическом порядке, все выполняется с одним заданием MR, так что вы избавляетесь от другого...
187 просмотров
schedule
09.03.2024
События дедупликации свиньи происходят в течение 1 минуты друг от друга
Мы используем pig-0.11.0-cdh4.3.0 с кластером CDH4, и нам нужно дедуплицировать некоторые веб-журналы. Идея решения (выраженная в SQL) выглядит примерно так:
SELECT
T1.browser,
T1.click_type,
T1.referrer,
T1.datetime,...
644 просмотров
schedule
08.12.2022
Проблема с безопасным режимом HDFS
Столкнулся с проблемой HDFS. Ошибка приведена ниже:
Проблема с доступом к /nn_browsedfscontent.jsp. Причина:
Невозможно выдать токен делегирования. Узел имени находится в безопасном режиме. Сообщенные блоки 428 нуждаются в...
3089 просмотров
schedule
17.01.2024
Банк безопасности отсутствует в HDP2.0 для hbase
Мы обновили наш кластер с HDP 1.3 до HDP 2.0. Из-за этой миграции мы столкнулись с определенной проблемой с кодом, который раньше работал.
Массовая загрузка для Hbase с помощью команды Importtsv : jar безопасности, который был в HDP 1.3,...
210 просмотров
schedule
19.05.2024
Удаление непечатаемых символов с помощью Hadoop Map-Reduce
Я пытаюсь обработать файл HDFS с непечатаемыми символами. Я хочу удалить эти символы с помощью MapReduce.
Я пытался использовать Pig TextLoader и MR TextInputFormat (программа IN MR), и это приводит к разделению записи на несколько из позиции, где...
1290 просмотров
schedule
25.10.2022
