Свързани въпроси 'apache-storm'
използвайки AsyncHttpClient на Apache в буря
Имам болт, който прави API извикване (HTTP Get) за всеки кортеж. за да избегна необходимостта да чакам отговора, исках да използвам apache HttpAsyncClient.
след инстанциране на клиента в метода за подготовка на болта, методът за изпълнение...
3177 изгледи
schedule
21.09.2022
работещ storm crawler в локален режим без зависимост от zookeeper, nimbus
Съхранявам URL адреси в mysql и индексираните данни в lucene. Пускам storm crawler като сървър за приложения в множество машини, използващи tomcat. всъщност имам ли нужда от zookeeper, nimbus и storm за разпространение на url адреси (от mysql) между...
159 изгледи
schedule
20.09.2022
как да използвам apache storm за намиране на последователни времеви серии от данни от сензори?
Използваме Apache storm, за да извършим предварителна обработка на някои сензорни данни. Данните са нещо подобно.
Едно от нашите изисквания е да откриваме последователни времеви серии. например, имаме 4 данни, T1,T2,T3,T4, където T4-T3 е...
400 изгледи
schedule
24.09.2022
Как да съхранявате стойности от Trident/Storm в списък (използвайки Java API)
Опитвам се да създам няколко Unit Tests, за да проверя дали определени части от моята топология Trident правят това, което трябва.
Бих искал да мога да извлека всички стойности, получени след стартиране на топологията, и да ги поставя в списък, за...
268 изгледи
schedule
11.10.2022
Еластична топология на буря/Съвместно съществуване на Storm-Hadoop
Оценяваме преследването на Storm за разгръщане, но съм малко загрижен. В момента изпълняваме Hadoop MapReduce и бихме искали да прехвърлим някои от нашите процеси от MapReduce към Storm процеси. Имайте предвид, че това са някои, но не всички. Все...
2567 изгледи
schedule
04.11.2022
Докато изпълняваме топология в буря, получаваме грешка като тази
Докато изпълняваме топология в буря, получаваме грешка като тази,
8983 [Thread-6] INFO com.netflix.curator.framework.imps.CuratorFrameworkImpl -
Starting
9144 [main] INFO **backtype.storm.daemon.nimbus** - Shutting down master
9199...
951 изгледи
schedule
17.11.2022
@JohnStephen трябва да работи, можете ли да публикувате частта, която ви създава проблем? Може да е нещо просто,
167 изгледи
schedule
07.11.2022
Как Storm обработва групирането на полета, когато добавите повече възли?
Просто четох повече подробности за storm и се натъкнах на способността му да прави групиране на полета, така че например, ако броите туитове на потребител и имате две задачи с групиране на полета на потребителски идентификатор, същите потребителски...
4798 изгледи
schedule
17.12.2023
Паралелна обработка на XML данни на Wikipedia със Storm
Опитвам се да обработя дъмпа на wikipedia, намерен тук . Конкретно с файла - enwiki-latest-pages-articles-multistream.xml.bz2. Това са около 46 GB некомпресирани. В момента използвам анализатора STAX в Java (xerces) и мога да извличам 15K елемента...
653 изгледи
schedule
29.11.2022
Буря: Възможно е да се настрои topology.message.timeout.secs много по-високо за един болт
Част от моята топология зависи от работата с API на трета страна, който ограничава скоростта на определени обаждания в 15-минутни прозорци. В най-лошия случай ограничението на скоростта ще кацне и болтът ще трябва да заспи за 15 минути. За съжаление...
3457 изгледи
schedule
07.01.2024
Apache Storm - използване на множество чучури?
Така че се опитвам да конфигурирам моя(те) чучур(и) да четат от опашка на Amazon SQS. Сега искам ситуация, в която мога да споделя товара между множество чучури.
Разбирам, че е възможно да имам множество нишки, но мога ли да имам два или повече...
2741 изгледи
schedule
08.01.2024
Може ли някой да ми предложи как мога да тествам или сравним apache storm?
Трябва да тествам производителността на Apache storm, инсталиран в клъстер с множество възли. Имам нужда от съвет как мога да направя това? Какви аспекти трябва да вземем предвид? има ли налични инструменти в документацията?
Аз съм съвсем нов в...
501 изгледи
schedule
21.01.2024
Буря: Грешка при инициализация на сървъра mk-supervisor- Задължително поле 'serialized_parts' е ненастроено грешка
Опитах се да инсталирам най-новата версия на storm, storm 0.10.beta1 apache-storm-0.10.0-beta1.tar.gz
И използвайте следния скрипт на supervisord, за да стартирате supervisor, но получих грешката TProtocolException: Required field...
1322 изгледи
schedule
05.11.2022
как да разпозная дали всички емисии са достигнали болта?
Имам чучур за kafka, кажете KafkaSpout , който чете съобщение, кажете msg от темата за kafka, и излъчва към болт, кажете Bolt1 . Bolt1 разделя това съобщение на множество съобщения msg1 , msg2 ,.., msgN и изпраща към друг болт, кажете болт2...
125 изгледи
schedule
10.12.2022
Задайте строго един специален болт на всяка машина в storm cluster
Бих искал да стартирам специален болт на всяка машина в моя клъстер.
Storm има включен планировчик, но документацията е много оскъдна. Има само един разбираем пример от xumingming. Как може да се приложи този модел с помощта на IScheduler ?...
194 изгледи
schedule
17.02.2024
Как да създам един JAR за изходен код, обхващащ множество проекти в Eclipse и друг JAR само със зависимостите, използвайки Maven
Опитвам се да създам един JAR от множество проекти в eclipse, използвайки Maven. Моето изискване е да направя два JAR файла, 1. един JAR с изходния код за всички проекти 2. един JAR с всички зависимости без изходния код.
Внедрявам това в Storm...
51 изгледи
schedule
06.03.2024
как мога да получа източник на данни за болт?
Аз съм нов в storm environment и имам въпрос! Имам 2 накрайника (накрайник A и накрайник B), които излъчват данни към болт (болт1). Определих този болт по следния начин:
builder.setBolt("bolt1",...
76 изгледи
schedule
10.04.2024
Как мога да профилирам топологии на Apache Storm, без да използвам уеб таблото?
Заглавието до голяма степен казва всичко, имам някои топологии на Storm и бих искал да измеря техните закъснения, тоест времето между съобщението, идващо от Kafka, и последния бит свързано изпълнение в последния болт. Бонус точки, ако мога да разбия...
1917 изгледи
schedule
08.05.2024
Формат на потока на Apache Storm
Нов съм в Apache Storm, но разбира се знам, че целта е да обработвам данни от поток. Въпросът ми е: какви са изискванията на "потока", за да може да се обработва от Storm с помощта на кълнове? В моя случай имам приложение, написано на C++, което...
93 изгледи
schedule
27.05.2024
Не може да се изпрати топология на буря
Опитвам се да изпратя топология на Storm на отдалечен хост, използвайки Eclipse.
Ето моят код:
Config conf = new Config();
conf.setDebug(false);
conf.setNumWorkers(1);
conf.put(Config.NIMBUS_HOST, "hostName");...
1207 изгледи
schedule
31.03.2024
