Свързани въпроси 'sqoop'

Cloudera sqoop съпоставя определени колони с нулеви стойности при импортиране
Кой би бил най-добрият начин да преобразувате някои колони в просто нулеви заместители при импортирането? Би ли било възможно да се използва функцията за колона на карта? Argument Description --map-column-java <mapping> Override...
244 изгледи
schedule 27.09.2022

Таблицата на кошера изчезна
Импортирах данните от MySQL в Hive с помощта на командата Sqoop. sqoop import --connect jdbc:mysql://mysql_server/db1 --username userid --password passwd --query 'select col1, col2, sum(col3), sum(col4), sum(col5), sum(col6) from table1 WHERE...
1194 изгледи
schedule 02.10.2022

Работа на Sqoop за прехвърляне на данни от Netezza към HDFS
Имам писмено задание за sqoop за импортиране на данни от таблица в Netezza към HDFS. Заданието е създадено успешно и също така, когато бъде изпълнено, стартира задание за намаляване на картата. Заданието се изпълнява, докато карта 100% намали 0% и...
1760 изгледи
schedule 03.10.2022

CDH4, Sqoop2 и JDBC драйвери: не е намерен подходящ драйвер
Опитвам се да използвам Sqoop 2 за импортиране на данни от MySQL база данни в HDFS, основно следвайки инструкциите тук . Сървърът на Sqoop обаче не може да осъществи връзка с базата данни MySQL поради ненамерени подходящи драйвери. Настройвам:...
3235 изгледи
schedule 08.12.2022

Как да получите метаданни на изходната база данни с помощта на sqoop
Sqoop чете метаданните на изходната DB, преди да съхрани данните в HDFS/HIVE. Има ли някакъв метод, чрез който можем да получим тази информация за метаданни от sqoop?
1115 изгледи
schedule 30.11.2022

Масово зареждане в Cassandra
Имам изискване, при което трябва да заредя групови данни в Cassandra. Направих търсене в Google и открих, че SSTABLE loader може да се използва за зареждане на групови данни в cassandra. Използвам DataStax и исках да знам дали мога да използвам...
1821 изгледи
schedule 09.12.2023

Конфигуриране на Sqoop2 TEXT_FILE изходен формат
Използвам Sqoop2 (Sqoop 1.99.3-cdh5.1.0) за импортиране на данни от база данни postgresql. Задачата завършва успешно и създава текстови файлове в HDFS. Изходните файлове са CSV с единични кавички, бих искал да конфигурирам изхода да бъде разделен с...
503 изгледи
schedule 07.11.2022

auxService:mapreduce_shuffle не съществува
Когато се опитвам да изпълня командата по-долу: # sqoop import --connect jdbc:mysql://IP Address/database --username root --password PASSWORD --table table_name --m 1 за импортиране на данните от mysql база данни в HDFS, получавам грешката:...
4323 изгледи
schedule 25.10.2023

Актуализиране на стойности в Sqoop експорт
Използвам команда за експортиране на Sqoop, за да експортирам периодично данни от HDFS към sql база данни. Ето моите колони и примерни данни Date source count 01-Feb-2015 xxxx 100 Какво е моето съмнение, ако имам данни,...
347 изгледи
schedule 26.11.2022

Качванията работеха преди два дни. Днес качванията се сриваха. Актуализиран Xcode от 6.3 на 6.3.2. Изтрита папка за компилация и възстановено всичко от нулата с 6.3.2. Качването все още се срива. Имате две самоличности/акаунти, свързани с Xcode....
163 изгледи
schedule 22.11.2022

Кога да използвате Sqoop --create-hive-table
Може ли някой да каже разликата между метода create-hive-table и hive-import ? И двете ще създадат кошерна маса, но все пак какво е значението на всяка от тях?
20003 изгледи
schedule 22.02.2024

Защо sqoop се проваля при NumberFormatException за числова колона по време на експортиране от кошер към mysql
Имам простата заявка за кошер INSERT OVERWRITE DIRECTORY '/tmp/test' SELECT flight, SUM(CASE WHEN ev=2 THEN 1 ELSE 0 END) AS req from data_table group by flight; Резултатът изглежда като добре (разделени с ^A в редактора) две цифрови...
4323 изгледи
schedule 19.05.2024