Публикации по теме 'flink-streaming'
Внедрение линейной регрессии во Flink с нуля
В этой заметке мы собираемся реализовать линейную регрессию в настройке потоковой передачи. Мы предполагаем, что у нас нет всех доступных данных, и мы будем генерировать случайные данные для обучения на лету.
Затем мы будем использовать Flink для корректировки весов линейной регрессии, чтобы минимизировать MSE.
Поэтому мы будем использовать алгоритм градиентного спуска для настройки весов. Поскольку у нас нет всех доступных данных сразу, нам придется подождать, пока не поступит..
Вопросы по теме 'flink-streaming'
XML-поток Apache Flink Kakfa
Я получаю следующую ошибку при попытке запустить приложение Flink Streaming.
Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at...
342 просмотров
schedule
17.02.2024
Apache Flink: область действия ValueState в ConnectedStreams
У меня есть пользовательский RichCoFlatMapFunction , который использует ValueState член. Документы говорят, что
интерфейс ключ / значение привязан к ключу текущего элемента ввода
См....
481 просмотров
schedule
19.09.2022
Событие Flink испускает, когда более раннее совпадающее событие в паре не найдено
У меня есть два потока событий: один генерирует событие, сигнализирующее о начале жизни элемента, и другой поток, который генерирует событие, сигнализирующее об окончании срока жизни элемента. (Потоки могут быть объединены на itemId .)
Как я могу...
131 просмотров
schedule
23.12.2023
Скользящее окно времени обработки вычисляет противоречивые результаты
Во Flink я читаю файл, используя readTextFile и применяю SlidingProcessingTimeWindows.of(Time.milliseconds(60), Time.milliseconds(60)) 60 мсек со слайдом 60 мсек на нем. В оконном потоке я вычисляю среднее значение второго поля кортежа. Мой...
195 просмотров
schedule
29.02.2024
Получение исключения ClassNotFound в Flink SourceFunction
Я использую буфер протокола для отправки потока данных в Apache Flink. У меня два класса. один - производитель, а другой - потребитель. Producer - это класс потока Java, который считывает данные из сокета, и Protobuf десериализует их, а затем я...
588 просмотров
schedule
28.12.2023
Apache Flink: искаженное распределение данных в KeyedStream
У меня есть этот Java-код во Flink:
env.setParallelism(6);
//Read from Kafka topic with 12 partitions
DataStream<String> line = env.addSource(myConsumer);
//Filter half of the records
DataStream<Tuple2<String, Integer>>...
522 просмотров
schedule
19.02.2024
Апач Флинк. Окна с водяными знаками
Я пытаюсь агрегировать 60-секундные данные с указанием минутной метки времени с максимальной задержкой 30 секунд.
DataStream<OHLChelp> ohlcAggStream = stockStream.assignTimestampsAndWatermarks(new...
347 просмотров
schedule
22.03.2024
Разобрать строку в формате json из Kafka с помощью Flink
Я хочу прочитать строку в формате json, например.
{"a":1, "b":2}
используя flink, а затем извлеките определенное значение по его ключу, скажем, 1.
См. Здесь:...
1647 просмотров
schedule
03.12.2023
доступ к системным метрикам Flink в коде на терминал вместо использования какого-либо репортера метрик, такого как JMX
Я использовал JMX в качестве репортера метрик, чтобы получить метрики Flink, но есть ли способ получить их в качестве вывода в терминале?
Я хочу построить numRecordsInPerSecond для каждого оператора для анализа производительности, как я могу это...
696 просмотров
schedule
24.11.2022
Второе значение массива не записывается openCSV в файл, особенно когда jar выполняется в файле оболочки, но отлично работает в IDE
У меня есть java-программа Flink, которая производит 2 вывода, которые я хочу записать в файл. Я использую для этого OpenCSV 4.0, и он работает хорошо. Допустим, выходной файл должен быть x, y, где x и y — два выхода. Я получаю этот вывод, когда...
27 просмотров
schedule
26.05.2024
Как записать результат каждого скользящего окна программы FLINK в новый файл Вместо добавления результата всех окон в один файл
Ниже приведена программа flink (Java), которая считывает твиты из файла, извлекает хэш-теги, подсчитывает количество повторений для каждого хэш-тега и, наконец, записывает в файл.
Теперь в этой программе есть скользящее окно размером 20 секунд,...
1069 просмотров
schedule
15.10.2022
Apache Flink - доступ к внутреннему буферу WindowedStream из MapFunction другого потока
У меня есть потоковое приложение на основе Apache Flink со следующей настройкой:
Источник данных: данные генерируются каждую минуту.
Оконный поток с использованием CountWindow с размером = 100, слайдом = 1 (скользящее окно подсчета)....
394 просмотров
schedule
17.04.2024
Apache Flink, работа с большой охотой - время ожидания для кластера истекло
Мы пытаемся построить Flink Job для агрегирования цен с довольно сложной логикой.
Например. в предыдущей версии был график, как показано ниже.
После очередной итерации разработки я добавил к работе еще больше сложности. Новая версия отлично...
62 просмотров
schedule
31.10.2022
Каковы основные узкие места Flink при выполнении большого количества работ?
Моя команда оценивает Flink для нескольких случаев использования, когда мы рассматриваем очень большое количество групп обработки, для которых мы хотели бы изолировать ресурсы. Существуют ли известные серьезные подводные камни / узкие места, с...
240 просмотров
schedule
21.05.2024
Ключ потока данных Flink с помощью составного ключа
Мой вопрос очень похож на Как поддерживать несколько KeyBy во Flink , просто этот вопрос касается Java, мне нужен ответ на Scala. Я скопировал и вставил предоставленное решение в IntelliJ, он автоматически преобразовал скопированный фрагмент в...
1960 просмотров
schedule
02.11.2022
Проблема с шаблоном Flink с Arralist в коде предупреждения?
Я подписался на этот пример и реализован с помощью kafka json с теми же примерами данных.
выборочные данные потребителей {"temperature" : 28,"machineName":"xyz"}
DataStream<Alert> patternStream = CEP.pattern(inputEventStream,...
64 просмотров
schedule
18.01.2024
Подключите ResourceManager для Flink FLIP-6, запустите новое задание сеанса
Я хочу создать новое развертывание k8s с заданием сеанса; и развернуть один taskmanager с конфигурацией, подобной этой в flink-conf.yaml :
jobmanager.rpc.address: analytics-job
jobmanager.rpc.port: 6123
Однако может показаться, что мой...
129 просмотров
schedule
12.10.2022
Flink лучший способ группировать записи по идентификатору поля
Я настраиваю Apache Flink, связанный с брокером Kafka.
Я получил следующие сообщения в случайном порядке:
сообщение (отметка времени = [..], индекс = 1, someData = [..])
сообщение (отметка времени = [..], индекс = 2, someData = [..])...
86 просмотров
schedule
20.11.2022
Когда использовать функцию CoProcess во Flink?
Я просто пытаюсь понять вариант использования, когда использовать CoProcessFunction во Flink. Объяснение на примере поможет мне лучше понять концепцию.
1651 просмотров
schedule
18.11.2022
Если мы передаем функцию, возвращающую логическое значение, в раздел where Flink CEP, будет ли она работать распределенно?
Я использовал модуль Flink CEP и задавался вопросом, передаю ли я функцию в предложение where, которое будет возвращать логическое значение, будет ли оно работать распределенным образом или нет.
Пример-: val pattern=...
24 просмотров
schedule
22.11.2023
