Вопросы по теме 'sqoop'
Почему sqoop терпит неудачу в NumberFormatException для числового столбца во время экспорта из улья в mysql
У меня есть простой запрос улья
INSERT OVERWRITE DIRECTORY '/tmp/test'
SELECT
flight,
SUM(CASE WHEN ev=2 THEN 1 ELSE 0 END) AS req
from data_table
group by flight;
Вывод выглядит нормально (разделенные ^A в редакторе) двумя числовыми...
4323 просмотров
schedule
19.05.2024
Драйверы CDH4, Sqoop2 и JDBC: не найден подходящий драйвер
Я пытаюсь использовать Sqoop 2 для импорта данных из базы данных MySQL в HDFS, в основном следуя инструкциям здесь . Однако сервер Sqoop не может подключиться к базе данных MySQL из-за того, что не найдены соответствующие драйверы.
Настраивать:...
3235 просмотров
schedule
08.12.2022
Как получить метаданные исходной БД с помощью sqoop
Sqoop считывает метаданные исходной БД перед сохранением данных в HDFS/HIVE.
Есть ли какой-либо метод, с помощью которого мы можем получить эту информацию о метаданных из sqoop?
1115 просмотров
schedule
30.11.2022
Массовая загрузка в Cassandra
У меня есть требование, когда мне нужно загружать объемные данные в Cassandra. Я выполнил поиск в Google и обнаружил, что загрузчик SSTABLE можно использовать для загрузки больших объемов данных в cassandra. Я использую DataStax и хотел узнать, могу...
1821 просмотров
schedule
09.12.2023
Таблица улья исчезла
Я импортировал данные из MySQL в Hive с помощью команды Sqoop. sqoop import --connect jdbc:mysql://mysql_server/db1 --username userid --password passwd --query 'select col1, col2, sum(col3), sum(col4), sum(col5), sum(col6) from table1 WHERE...
1194 просмотров
schedule
02.10.2022
Настройте формат вывода Sqoop2 TEXT_FILE
Я использую Sqoop2 (Sqoop 1.99.3-cdh5.1.0) для импорта данных из базы данных postgresql. Задание успешно завершается и создает текстовые файлы в HDFS. Выходные файлы представляют собой CSV с одинарными кавычками, я хотел бы настроить вывод так,...
503 просмотров
schedule
07.11.2022
auxService:mapreduce_shuffle не существует
Когда я пытаюсь запустить следующую команду:
# sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1
для импорта данных из базы данных mysql в HDFS я получаю сообщение об ошибке:...
4323 просмотров
schedule
25.10.2023
Обновление значений в экспорте Sqoop
Я использую команду экспорта Sqoop для периодического экспорта данных из HDFS в базу данных sql. Вот мои столбцы и образцы данных
Date source count
01-Feb-2015 xxxx 100
В чем я сомневаюсь. Если у меня есть следующие...
347 просмотров
schedule
26.11.2022
Когда использовать Sqoop --create-hive-table
Кто-нибудь может сказать разницу между методами create-hive-table и hive-import ? Оба создадут таблицу кустов, но все же, каково значение каждого из них?
20003 просмотров
schedule
22.02.2024
Есть ли ограничение sqoop.export.records.per.statement для задания Sqoop Export?
Кто-нибудь знает, есть ли ограничение на значение sqoop.export.records.per.statement для задания пакетного экспорта Sqoop?
У меня очень большой объем данных, например, 200 000 000 строк данных для экспорта из Impala в Vertica. Я получу...
1437 просмотров
schedule
14.12.2023
Задание Sqoop для передачи данных из Netezza в HDFS
Я написал задание sqoop для импорта данных из таблицы в Netezza в HDFS. Задание успешно создано, а также при выполнении запускает задание «Сокращение карты». Задание выполняется до тех пор, пока карта 100% не уменьшится на 0% и застревает. Задание...
1760 просмотров
schedule
03.10.2022
Действие оболочки Oozie — запуск команды sqoop и необходимость ведения журнала
Я работаю с Oozie, shell action и sqoop.
Я использую oozie для запуска многих команд sqoop. Я настроил действие оболочки, и в этой оболочке я разместил много команд sqoop. Теперь запускается действие оболочки, и даже происходит sqoop.
Однако...
1675 просмотров
schedule
17.05.2024
Sqoop Импорт Java-клиента
Я сделал java-класс sqoop importer для импорта данных оракула в мою HDFS. Но я получаю сообщение об ошибке java.lang.ClassCastException: java.lang.Integer cannot be cast to java.math.BigDecimal . Кто-нибудь знает, почему это происходит и какое...
496 просмотров
schedule
22.05.2024
Основной класс [org.apache.oozie.action.hadoop.SqoopMain], код выхода [1]
когда я пытаюсь запустить рабочий процесс sqoop в cloudera CDH-5.3, он дает следующую ошибку
Основной класс [org.apache.oozie.action.hadoop.SqoopMain], код выхода [1]
Я пытаюсь вставить данные в hdfs из базы данных Mysql. Я скопировал...
1215 просмотров
schedule
30.10.2023
Внутри HIVE таблицы не создаются, но данные создаются внутри hdfs
Я новичок в HDFS и пытаюсь импортировать данные из базы данных oracle 12c. У меня есть таблица EMP, ее нужно импортировать в hdfs, а также в таблицы hive.
Мои данные создаются внутри hdfs («/user/hdfs» создается папка «EMP»). Но когда я открываю...
380 просмотров
schedule
09.03.2024
Как sqoop определяет, что поместить в $CONDITIONS
Я смотрю на некоторый существующий код, написанный в sqoop. Я вижу такие запросы, как
select * from table where $CONDITIONS
Этот код работает, и sqoop извлекает данные только для определенного диапазона дат.
Это хорошо, но как sqoop...
169 просмотров
schedule
12.11.2023
Разница между командами --warehouse-dir и --target-dir в sqoop
Я не мог понять разницу между следующими командами в sqoop. Было бы лучше, если бы кто-то мог объяснить с небольшими примерами.
--warehouse-dir and --target-dir
Спасибо
18078 просмотров
schedule
08.06.2024
Можем ли мы использовать Sqoop в Cloudera для импорта данных в Cassandra?
Одной из многих частей экосистемы Hadoop является SQOOP, который должен получать данные из СУБД и загружать их в Hadoop. Я вижу, что компонент sqoop также присутствует в Cassandra для импорта данных, поэтому мне было интересно, можем ли мы...
84 просмотров
schedule
13.06.2024
Sqoop Неверный URL-адрес подключения SQL Server
Когда я пытаюсь запустить sqoop, я получаю следующую ошибку:
java.lang.IllegalArgumentException: Invalid connection URL url jdbc:sqlserver://{host}:{port}
Моя команда:
sqoop list-databases \
--connect jdbc:sqlserver://{host}:{port}...
301 просмотров
schedule
05.03.2024
Варианты импорта данных из MySql DB в MapR DB/HBase
У меня есть одна таблица в MySql, которая содержит около 24000000 записей. Мне нужен способ импортировать эти данные в таблицу в базе данных MapR с несколькими семействами столбцов. Сначала я выбрал Sqoop в качестве инструмента для импорта данных,...
615 просмотров
schedule
10.01.2024
