Вопросы по теме 'amazon-data-pipeline'

Конвейер данных AWS — извлекать данные из внешнего источника?
Я пытаюсь использовать конвейер данных AWS для извлечения данных из внешнего источника данных MySQL в экземпляр RDS MySQL. Это вообще возможно? Как это можно настроить? Я не могу найти ничего об этом в документации. Если это невозможно, есть...
832 просмотров

Как перенести много данных из экземпляра AWS Oracle RDS в S3?
У меня есть огромное количество данных в одной таблице (~ 7 миллиардов строк) в экземпляре AWS Oracle RDS. Конечным результатом является то, что я хочу, чтобы эта таблица хранилась в S3 в виде значений, разделенных вертикальной чертой, чтобы я мог...
1724 просмотров

Как запустить ShellCommandActivity на моем собственном экземпляре EC2?
Я пытаюсь запустить простую команду для тестирования ShellCommandActivity с конвейером данных из AWS. >>> /usr/bin/python /home/ubuntu/script.py Этот скрипт должен создать файл на S3, я знаю, что могу создать файл S3, используя тот...
251 просмотров
schedule 15.12.2023

Конвейер данных AWS: Tez не работает с простой HiveActivity
Я пытаюсь запустить простой конвейер данных AWS для своего POC. Случай, который у меня есть, следующий: получить данные из CSV, хранящиеся на S3, выполнить для них простой запрос куста и вернуть результаты обратно на S3. Я создал очень простое...
1078 просмотров

Конвейер данных AWS; Ошибка RedshiftLoadCopy; ошибка схемы
Я создал свою схему в Redshift и хочу использовать Конвейер данных для заполнения таблицы файлом csv в S3 . . В параметрах для поля: myRedshiftTableName : Если я использую только свое tableName без указания Schema , тогда возникает...
432 просмотров

Скопируйте таблицу DynamoDB при изменении атрибута ключа
У меня есть таблица DynamoDB с сотнями тысяч данных, которые мне нужно продублировать, с одним уловом, что нужно изменить ключ. Текущий ключ представляет собой комбинацию двух полей, например. attr1:attr2 . Мне нужно, чтобы в новой таблице ключ...
25 просмотров

Как раскрутить кластеры EMR с парками экземпляров из конвейера данных?
Я использую конвейеры данных для планирования заданий emr. До сих пор я использовал единые группы экземпляров для кластеров emr. Я хотел попробовать группы инстансов, чтобы уменьшить зависимость от определенного типа инстанса и зоны доступности. Но...
145 просмотров

«m3.xlarge» не поддерживается в AWS Data Pipeline
Я новичок в AWS, пытаюсь запустить конвейер данных AWS, загружая данные из DynamoDB в S3. Но я получаю ошибку ниже. Пожалуйста помоги Не удалось создать ресурс для @EmrClusterForBackup_2020-05-01T14:18:47 по следующей причине: тип экземпляра...
430 просмотров