Как раскрутить кластеры EMR с парками экземпляров из конвейера данных?

Я использую конвейеры данных для планирования заданий emr. До сих пор я использовал единые группы экземпляров для кластеров emr. Я хотел попробовать группы инстансов, чтобы уменьшить зависимость от определенного типа инстанса и зоны доступности. Но просматривая документацию по конвейеру данных (https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-object-emrcluster.html), не удалось найти ни одного параметра для конфигурации парка экземпляров.

Как мы можем указать конфигурацию парка экземпляров для кластеров emr в конвейере данных?


person sashas    schedule 29.11.2019    source источник


Ответы (1)


Для тех, кто ищет то же самое: https://medium.com/@sid_sharma/event-driven-serverless-architecture-for-supporting-emr-spot-instance-fleet-in-aws-datapipeline-2272995022d1 . Короче говоря, нельзя сделать это напрямую, просто используя конвейер данных.

person sashas    schedule 04.12.2019