Вопросы по теме 'apache-storm'
Эластичная топология Storm / сосуществование Storm и Hadoop
Мы оцениваем возможность развертывания преследования Storm, но меня это немного беспокоит. В настоящее время мы запускаем Hadoop MapReduce и хотели бы перенести часть нашей обработки с процессов MapReduce на процессы Storm. Обратите внимание, что...
2567 просмотров
schedule
04.11.2022
Storm: можно установить topology.message.timeout.secs намного выше для одного болта.
Часть моей топологии зависит от работы со сторонним API, который ограничивает скорость определенных вызовов в 15-минутных окнах. В худшем случае ограничение скорости сработает, и болту нужно будет заснуть на 15 минут. К сожалению, похоже, что я не...
3457 просмотров
schedule
07.01.2024
Как Storm обрабатывает группировку полей при добавлении дополнительных узлов?
Просто прочитал более подробную информацию о storm и наткнулся на его способность группировать поля, например, если вы подсчитываете твиты для каждого пользователя и у вас есть две задачи с группировкой полей идентификатора пользователя, одни и те же...
4798 просмотров
schedule
17.12.2023
При запуске топологии в storm мы получаем такую ошибку
При запуске топологии в storm мы получаем такую ошибку,
8983 [Thread-6] INFO com.netflix.curator.framework.imps.CuratorFrameworkImpl -
Starting
9144 [main] INFO **backtype.storm.daemon.nimbus** - Shutting down master
9199...
951 просмотров
schedule
17.11.2022
Как я могу профилировать топологии Apache Storm без использования веб-панели?
Название в значительной степени говорит само за себя, у меня есть несколько топологий Storm, и я хотел бы измерить их задержки, то есть количество времени между сообщением, поступающим от Kafka, и последним битом связанного выполнения в финальном...
1917 просмотров
schedule
08.05.2024
использование Apache AsyncHttpClient в штормовом болте
У меня есть болт, который делает вызов API (HTTP Get) для каждого кортежа. чтобы избежать необходимости ждать ответа, я хотел использовать apache HttpAsyncClient.
после создания экземпляра клиента в методе подготовки болта метод execute создает...
3177 просмотров
schedule
21.09.2022
как я могу получить источник данных болта?
Я новичок в штормовой среде, и у меня есть вопрос! У меня есть 2 носика (spoutA и spoutB), которые передают данные болту (bolt1). Я определил этот болт следующим образом:
builder.setBolt("bolt1",...
76 просмотров
schedule
10.04.2024
Параллельная обработка XML-дампа данных Википедии с помощью Storm
Я пытаюсь обработать дамп википедии, найденный здесь . Конкретно с файлом enwiki-latest-pages-articles-multistream.xml.bz2. Это около 46 ГБ без сжатия. В настоящее время я использую анализатор STAX на Java (xerces) и могу извлекать 15 000...
653 просмотров
schedule
29.11.2022
На каждую машину в грозовом кластере назначать строго по одному спецболту
Я хотел бы запустить специальный болт на каждой машине в моем кластере.
У Storm есть подключаемый планировщик, но документации очень мало. Есть только один понятный пример из Сюминмин. Как можно реализовать этот шаблон с помощью IScheduler ?...
194 просмотров
schedule
17.02.2024
Как создать единый JAR-файл для исходного кода, охватывающий несколько проектов в Eclipse, и еще один JAR-файл только с зависимостями, используя Maven
Я пытаюсь создать один JAR из нескольких проектов в eclipse с помощью Maven. Мое требование - создать два JAR, 1. один JAR с исходным кодом для всех проектов 2. один JAR со всеми зависимостями без исходного кода.
Я развертываю это в кластере...
51 просмотров
schedule
06.03.2024
Apache Storm — использовать несколько носиков?
Итак, я пытаюсь настроить носик для чтения из очереди Amazon SQS. Теперь мне нужна ситуация, в которой я могу распределить нагрузку между несколькими носиками.
Я понимаю, что возможно иметь несколько потоков, но могу ли я иметь два или более...
2741 просмотров
schedule
08.01.2024
Формат потока Apache Storm
Я новичок в Apache Storm, но, конечно, знаю, что цель — обработка потоковых данных. Мой вопрос: каковы требования к «потоку», чтобы он мог обрабатываться Storm с помощью ростка? В моем случае у меня есть приложение, написанное на C++, которое я хочу...
93 просмотров
schedule
27.05.2024
Может ли кто-нибудь предложить мне, как я могу протестировать или сравнить Apache Storm?
Мне нужно проверить производительность apache storm, установленного в кластере с несколькими узлами. Мне нужен совет, как я могу это сделать? Какие аспекты нам необходимо учитывать? есть ли какие-либо инструменты, доступные в документации?
Я...
501 просмотров
schedule
21.01.2024
как использовать apache storm для поиска последовательных временных рядов по данным датчиков?
Мы используем Apache Storm для предварительной обработки некоторых данных датчиков. Данные примерно такие.
Одним из наших требований является обнаружение последовательных временных рядов. например, у нас есть 4 данных, T1,T2,T3,T4, где T4-T3...
400 просмотров
schedule
24.09.2022
Storm: ошибка при инициализации сервера mk-supervisor — обязательное поле «serialized_parts» не задано.
Я попытался установить последнюю версию storm, storm 0.10.beta1 apache-storm-0.10.0-beta1.tar.gz
И используйте следующий скрипт supervisord для запуска супервизора, но я получил TProtocolException: Required field 'serialized_parts' is unset...
1322 просмотров
schedule
05.11.2022
как определить, все ли выбросы достигли болта?
У меня есть носик kafka, скажем, KafkaSpout , который читает сообщение, скажем, msg из темы kafka, и отправляет болт, скажем, Bolt1 . Bolt1 разделяет это сообщение на несколько сообщений msg1 , msg2 ,.., msgN и отправляет другому Bolt, скажем...
125 просмотров
schedule
10.12.2022
Не удалось отправить топологию шторма
Я пытаюсь отправить топологию Storm на удаленный хост с помощью Eclipse.
Вот мой код:
Config conf = new Config();
conf.setDebug(false);
conf.setNumWorkers(1);
conf.put(Config.NIMBUS_HOST, "hostName");
conf.put(Config.NIMBUS_THRIFT_PORT,6627);...
1207 просмотров
schedule
31.03.2024
Как сохранить значения из Trident/Storm в списке (используя Java API)
Я пытаюсь создать несколько модульных тестов, чтобы убедиться, что определенные части моей топологии Trident делают то, что должны.
Я хотел бы получить все значения, полученные после запуска топологии, и поместить их в список, чтобы я мог "видеть"...
268 просмотров
schedule
11.10.2022
Публикация результата Apache Spark в другом приложении/Кафке
В настоящее время я разрабатываю модуль быстрой агрегации данных, который получает события и публикует их в кластере Kafka. Затем у нас есть интеграция Kafka и Spark Streaming. Spark Streaming считывает поток из Kafka и выполняет некоторые...
785 просмотров
schedule
27.05.2024
Какой надзиратель будет слушать через носик?
В моей топологии у меня есть носик с открытым сокетом на порту 5555 для приема сообщений.
Если в моем кластере Storm есть 10 супервизоров, будет ли каждый из них прослушивать свои порты 5555?
В конце концов, какому руководителю я должен...
52 просмотров
schedule
07.06.2024
