среда автоматизации системного тестирования для кластеров Hadoop

Я ищу систему тестирования системы для кластеров Hadoop. Поддерживаемые варианты использования должны включать системный тест для HDFS, задания сокращения карт и запросы кустов. Я нашел один из apache, который называется herriot, но я не уверен, он все еще находится на обслуживании. Вы, ребята, знаете о какой-либо существующей структуре?


frameworks hadoop hdfs hive mapreduce
person zhutoulala    schedule 13.11.2013    source источник

Ответы (3)


arrow_upward
1
arrow_downward

Взгляните на 1 и 2 для бенчмаркинг кластера. У него есть и код, и данные для тестов. Автоматизация их не должна быть большой задачей.

person Praveen Sripati    schedule 13.11.2013
comment
большое спасибо, 2 не удалось посетить, но 1 определенно информативен, если я хочу построить AF самостоятельно, но я все же хочу сначала поискать другие существующие - person zhutoulala; 14.11.2013

arrow_upward
1
arrow_downward

Ознакомьтесь с HadoopTest, средой тестирования надежности для Hadoop.

person stupid    schedule 21.11.2013

arrow_upward
0
arrow_downward

У Hadoop уже есть эталонные тесты и они хранятся в файлах test.jar и example.jars, которые вам просто нужно найти и автоматизировать. Из О'Райли и других книг

  % hadoop jar $HADOOP/hadoop-*-test.jar

Для теста DFSIO: TestDFSIO проверяет производительность ввода-вывода HDFS.

Это достигается за счет использования задания MapReduce как удобного способа параллельного чтения или записи файлов.

 % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO

 command: TestFDSIO -read | -write | -clean [-nrFiles N] [-fileSize MB]
 [-resFile resultFileName] [-bufferSize Bytes] 

 ex1: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -write -nrFiles
         10 -fileSize 10000 
 ex2: % hadoop jar $HADOOP/hadoop-*-test.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

для тестирования уменьшить карту

   ex3: % hadoop jar  $HADOOP/hadoop-*-examples.jar randomwriter random-data

   ex4: % hadoop jar` $HADOOP/hadoop-*-examples.jar sort random-data sorted-data

где $HADOOP = путь к вашей установке Hadoop, где хранятся эти банки

person Rocky111    schedule 20.11.2013
comment
спасибо, но это уже упоминалось в ответе Правина выше. И я думаю, что TestDFSIO использует MiniFSCluster, верно? - person zhutoulala; 20.11.2013