Я хочу загрузить некоторые файлы в двоичном формате (например, jpeg, но это может быть любой двоичный формат), как-то обработать его и записать обратно. Я хочу сделать это на хаупе, и я хотел бы написать это поверх каскадной структуры. Существуют...

У меня есть mrjob, который состоит из 3 шагов. Второй шаг ожидает в качестве входных данных результатов первого шага, а также еще некоторого контента из S3. Я понимаю, что я всегда могу «пропустить» его через первый шаг, то есть эммит как есть, и...

Я нашел причину, по которой кластер MAPR M7 EMR не заполняет HBASE .META. стол. Я также пытался исправить с помощью команды hbck, но безуспешно. Любая помощь будет высоко оценена

Я хотел бы отфильтровать все строки, содержащие внутренние, но данные не фильтруются. В моих скриптах свиньи у меня есть: preload = load '$INPUT' as (textline:chararray); filterdata = FILTER preload BY SIZE(textline) > 100; filterInternal =...

Я запускаю задание Hadoop для набора входных файлов, сжатых с помощью gzip. Hadoop должен легко справиться с этим... mapreduce в java - входные файлы gzip К сожалению, в моем случае входные файлы не имеют расширения .gz . Я использую...

В приложении spark мы создаем два контекста spark: 1) Для чтения данных из файловой системы. 2) Для подключения и загрузки данных в Cassandra. В одном приложении мы можем запустить только один контекст искры искры, поэтому мы останавливаем...

Я использую s3disctcp для копирования 31 16 886 файлов (300 ГБ) с S3 в HDFS, и мне потребовалось 4 дня, чтобы просто скопировать 10 48 576 файлов. Я убил задание, и мне нужно понять, как я могу сократить это время или что я делаю неправильный....

Здравствуйте, я новичок в облачных вычислениях, поэтому прошу прощения за (возможно) глупый вопрос. Мне нужна помощь, чтобы узнать, действительно ли то, что я делаю, выполняется на кластере или только на мастере (бесполезная вещь). ЧТО Я МОГУ...

У меня проблема, которая сводит меня с ума отчасти потому, что она такая простая. Итак, у меня есть задание ETL, которое я хотел бы выполнить с помощью pySpark в EMR. Проблема в том, что мне нужно установить пакеты, такие как: numpy,...

Я новичок в PySpark и EMR. Я пытаюсь получить доступ к Spark, работающему в кластере EMR, через ноутбук Jupyter, но возникают ошибки. Я создаю SparkSession, используя следующий код: spark = SparkSession.builder \ .master("local[*]")\...

Я использовал s3-dist-cp для перемещения сжатых файлов JSON из S3 в HDFS в рамках более крупной работы. Я начал с EMR 5.4 и обновился до большинства версий 5.x. В настоящее время я без проблем запускаю кластер из 32 машин с EMR 5.7. Когда я...

Итак, у меня возникла проблема с выполнением запросов Presto через AWS EMR. Я запустил EMR с запущенным hive / presto и использую AWS Glue в качестве хранилища метаданных. Когда я подключаюсь по SSH к главному узлу и запускаю куст, я могу...

Я создаю внешнюю таблицу ORC куста (файл ORC, расположенный на S3). Команда CREATE EXTERNAL TABLE Table1 (Id INT, Name STRING) STORED AS ORC LOCATION 's3://bucket_name' После выполнения запроса : Select * from Table1;...