Вопросы по теме 'apache-nifi'
Пакетная вставка процессора Nifi - ошибка обработки
В настоящее время я пишу процессор ElasticSearch Nifi. Индивидуальные вставки/записи в ES не оптимальны, вместо этого предпочтительнее группировать документы. Что будет считаться оптимальным подходом в процессоре Nifi для отслеживания (пакетной...
1214 просмотров
schedule
21.09.2022
Как выполнить поток данных nifi из командной строки
Я подготовил поток данных в нифи. Есть ли способ выполнить это из командной строки?
Спасибо, Сруджана
1712 просмотров
schedule
24.12.2023
Apache Nifi: преобразование файла SOAP в JSON
Я новичок в Apache Nifi. Я пытаюсь преобразовать файл SOAP в JSON. Есть ли простой способ сделать это или есть учебник, который может научить меня? Под файлом SOAP я подразумеваю файл xml, используемый в веб-службе SOAP. Спасибо
1920 просмотров
schedule
07.03.2024
Удалите первый символ и разделитель запятых из строки заголовка csv с помощью Apache-NiFi
Я новичок в теме Apache-Nifi.
У меня есть csv со значением:
id | title | value
a | Mr | 391
b | Mrs | 392
Я использую процессор replaceText для обеспечения строки заголовка с "#" в качестве значения замены и стратегии замены:...
1031 просмотров
schedule
03.12.2022
Балансировщик нагрузки Нифи
Я построил 3-х хостовый кластер nifi. Это работает, но я не могу использовать балансировщик. Все, что я могу сделать, это подключиться напрямую к одному хосту. Кто-нибудь ставил нифи кластер с помощью балансировщика? т.е. как вы решаете проблему...
1087 просмотров
schedule
20.10.2022
Добавить заголовок в процесс PostHttp или Apache Nifi
Я пытаюсь добавить собственный заголовок в заголовок моего почтового запроса в apache nifi, я видел, что на вкладке конфигурации есть атрибуты для отправки в виде http-заголовка (регулярное выражение). Я не очень хорошо знаком с регулярным выражением,...
2015 просмотров
schedule
07.03.2024
Служба контроллера DBCPConnectionPool для SQL Server, исключение jdbc
NiFi 1.1.1 протестирован как на Windows 7, так и на RHEL 7.
Фоновый поток находится здесь .
Я создал службу контроллера DBCPConnectionPool, указывающую на базу данных SQL Server, я могу извлекать данные из таблицы и записывать их на локальный...
1263 просмотров
schedule
31.10.2023
Файл потока Apache NIFI из процессора PUTSQL не отправляется в очередь сбоев или повторных попыток
У меня большой объем данных, и я использую процессор PUTSQL для вставки в базу данных. При вставке данных я заметил несколько сбоев, говорящих IndexOutOfBoundException .
Вот журнал ошибок:
Подключены очереди FAILED и RETRY от PUTSQL к...
871 просмотров
schedule
27.11.2023
Использование NiFi для планирования пакетных процессов Hadoop
Согласно домашней странице NiFi , он «поддерживает мощные и масштабируемые ориентированные графы маршрутизации, преобразования и логики системного посредничества. ".
Я играл с NiFi последние пару месяцев и не могу не задаться вопросом, почему бы...
1279 просмотров
schedule
12.05.2024
Запустить java-программу из nifi с параметрами
Я хочу взять некоторые термины из базы данных cassandra, а затем отправить их в качестве параметра в java-программу, которая выведет некоторые данные, которые мне нужно будет сохранить в базе данных cassandra.
Возможно ли это с nifi, если да, то...
2736 просмотров
schedule
11.03.2024
Почему процессор Nifi consumerKafka_0_10 получает файл потока меньше, чем общий файл потока?
У меня есть 1 производитель (процессор PublishKafka_0_10) и 1 потребитель (процессор ConsumerKafka_0_10) для получения потокового файла из кластера Kafka.
Я вижу в админке Nifi UI, всего производителей 7 пакетов, но потребитель получает только 4...
239 просмотров
schedule
25.11.2022
Ошибка при публикации JSON с использованием NiFi против curl
Я вижу очень небольшую разницу между тем, как процессор NiFi InvokeHTTP выполняет POST-данные json, и тем, как это делает curl .
Проблема в том, что данные КАЖУТСЯ одинаковыми, когда я их регистрирую... но данные отображаются по-разному....
302 просмотров
schedule
22.11.2023
Получение данных из xml respose в nifi
После запуска процессора invokehttp я получаю такие данные ответа:
<Response xmlns="">
<Result>
<ResponseStatus>false</ResponseStatus>
<Error>
<ErrorCode>-7</ErrorCode>
<ErrorDescription>not...
950 просмотров
schedule
22.04.2024
Нифи: написание новых процессоров
Я хочу создать новый процессор, который станет воссоединением GetFile и EvaluateXpath. Меня интересуют несколько тем:
Как я могу сжать свой файл nar, если он превышает 20 КБ, и мой nifi не может его запустить?
Я хочу получить файл из папки,...
83 просмотров
schedule
11.06.2024
Groovy: как получить определенные файлы из HDFS на основе filePattern
Я хочу получить только те файлы из каталога HDFS, которые содержат определенное имя (я поместил несколько файлов ответов с таким именем 2017-090-0.1, 2017-090-0.2, 2017-090-0.3 и т. д. теперь я хочу быть уверен, что определенное количество потоковых...
311 просмотров
schedule
28.09.2022
Nifi: как получить файл потока на основе файлового фильтра
Я хочу получить потоковые файлы с таким фильтром session.get(fileSize>1) , но этот пример не работает для меня, что я должен изменить, чтобы эта задача работала?
334 просмотров
schedule
16.02.2024
NIFI для гетерогенных кластеров
Я новичок в NIFI и пытаюсь понять его архитектуру. Насколько я понял, первичный узел в кластере выбирается внутри системы, и пользователь не имеет над ним контроля. Кроме того, мы можем настроить некоторые процессоры для работы только на основном...
41 просмотров
schedule
08.01.2024
NI-FI — проблема аутентификации на странице для загрузки файла
В настоящее время я пытаюсь получить файл .zip с веб-страницы, используя для этого nifi. Я могу создать прямую ссылку для загрузки файла, но приложению необходимо войти на страницу, прежде чем открывать прямую ссылку. Я пытался использовать...
318 просмотров
schedule
17.12.2023
Nifi выводит нулевые значения для EvaluateJson или AttributesToJson
Поэтому, когда я анализирую файл с помощью EvaluateJSON, JSON выглядит так:
{ "TEST_DATE": "", "T_DATE": "" }
Когда я выполняю EvaluateJSON ($ .TEST_DATE) до "test-date" для атрибутов ... я получаю:
test-date: ""
Затем, когда я...
2593 просмотров
schedule
07.04.2024
Как динамически читать значения из файла для свойства в updateAttribute?
Я добавил некоторые пользовательские свойства в процессор updateAttribute с помощью кнопки «+». Например: я объявил свойство 'DBConnectionURL' и дал значение как 'jdbc:mysql://localhost:3306/test'. Затем в контроллере службы «DBCPConnectionPool» я...
1458 просмотров
schedule
24.12.2023
