«m3.xlarge» не поддерживается в AWS Data Pipeline

Я новичок в AWS, пытаюсь запустить конвейер данных AWS, загружая данные из DynamoDB в S3. Но я получаю ошибку ниже. Пожалуйста помоги

Не удалось создать ресурс для @EmrClusterForBackup_2020-05-01T14:18:47 по следующей причине: тип экземпляра m3.xlarge не поддерживается. (Сервис: AmazonElasticMapReduce; код состояния: 400; код ошибки: ValidationException; идентификатор запроса: 3bd57023-95e4-4d0a-a810-e7ba9cdc3712)


person NikRED    schedule 01.05.2020    source источник
comment
Типы экземпляров m3 устарели в EMR, что может быть причиной проблемы. Вы пробовали использовать m4.xlarge или m5.xlarge?   -  person Mark B    schedule 01.05.2020


Ответы (3)


Всегда хорошо использовать инстансы последнего поколения. Они технологически более совершенны, а в некоторых случаях даже дешевле.

Таким образом, нет причин начинать со старых поколений. Они предназначены только для людей, у которых уже есть инфраструктура на этих машинах.. чтобы обеспечить обратную совместимость.

person Deepak Singhal    schedule 01.05.2020
comment
Почти всегда дешевле эквивалентных характеристик предыдущих поколений. - person jordanm; 01.05.2020
comment
Спасибо всем!!. Он по-прежнему выдает ту же ошибку (с указанием m3.xlarge) даже после изменения ее на m4.xlarge. Ниже часть определения. {имя: EmrClusterForBackup, coreInstanceType: m4.xlarge, coreInstanceCount: 1, masterInstanceType: m4.xlarge, releaseLabel: emr-5.23.0, id: EmrClusterForBackup, регион: #{myDDBRegion}, тип: EmrCluster}, - person NikRED; 02.05.2020
comment
Пожалуйста, попробуйте m5 .. это последнее поколение .. если все еще не работает; я попытаюсь воспроизвести проблему со своей стороны .. также какой регион вы используете? - person Deepak Singhal; 02.05.2020
comment
Спасибо Дипак за быстрый ответ. Я получаю ту же ошибку (m3) даже после изменения ее на m5. Я пытаюсь загрузить данные из DynamoDB (регион Мумбаи) в S3... Конвейер данных находится в us-east-1 - person NikRED; 02.05.2020
comment
Похоже, что Pipleline захватил регион Мумабай согласно #{myDDBRegion}. Я изменил его на us-east-1 в графическом интерфейсе конвейера. Текущий статус WAITING_ON_DEPENDENCIES в течение некоторого времени... не уверен в причине - person NikRED; 02.05.2020
comment
Я думаю, что это связано с этой ошибкой: Запрошенный ресурс не найден: Таблица: MyDynamoDBTable не найден (Сервис: AmazonDynamoDBv2; Код состояния: 400; Код ошибки: ResourceNotFoundException; Идентификатор запроса: 74MTIJLJEKC2N68P40B0T1OMMFVV4KQNSO5AEMVJF66Q9ASUAAJG). Но я вижу, что моя таблица DynamoDB существует в регионе Мумбаи (активное состояние). Вы знаете причину? - person NikRED; 02.05.2020
comment
так что проблема больше не в типе экземпляра. Это больше связано с другими конфигурациями. не уверен в точной проблеме сейчас. попробуйте создать эту таблицу и в другом регионе.. и если получится. вы будете знать, что он занимает другой регион - person Deepak Singhal; 02.05.2020

Я думаю, это должно тебе помочь. AWS заставит вас использовать m3, если вы используете DynamoDBDataNode или resizeClusterBeforeRunning.

https://aws.amazon.com/premiumsupport/knowledge-center/datapipeline-override-instance-type/?nc1=h_ls

person Thinking    schedule 24.06.2020

Я столкнулся с той же проблемой, когда у меня была таблица DynamoDB и корзина s3, созданные в регионе us-east-2, и конвейер в регионе us-east-1, поскольку мне не разрешили создать конвейер в регионе us-east-2.

Но после того, как я создал таблицу DynamoDB и корзину s3, созданную в регионе us-east-1, а затем конвейер также в том же регионе, он работал хорошо даже с типом экземпляра m3.xlarge.

person Ankur Aeran    schedule 03.09.2020