У меня есть одна таблица в MySql, которая содержит около 24000000 записей. Мне нужен способ импортировать эти данные в таблицу в базе данных MapR с несколькими семействами столбцов. Сначала я выбрал Sqoop в качестве инструмента для импорта данных, но позже обнаружил, что не могу использовать Sqoop для прямого импорта данных, поскольку Sqoop пока не поддерживает импорт нескольких семейств столбцов. Я заполнил данные в MapR FS, используя Sqoop из базы данных MySql. Каковы мои варианты импорта этих данных из MapR FS в таблицу MapR DB с 3 семействами столбцов? Кажется, для массового импорта у меня есть два варианта:
- Инструмент ImportTSV: для этого, вероятно, требуется, чтобы исходные данные были в формате TSV. Но данные, которые я импортировал в MapR FS из MySql с помощью Sqoop, похоже, в формате CSV. Каково стандартное решение для этого подхода?
- Напишите пользовательскую программу Map Reduce для преобразования данных из MapR FS в HFile и загрузки их в MapR DB.
Я просто хотел убедиться, что это единственные два варианта загрузки данных. Это кажется немного ограничительным, учитывая тот факт, что такое требование является основным в любой системе. Если пользовательский Map Reduce — это то, что вам нужно, пример или рабочий образец будет действительно полезен.
