Публикации по теме 'apache-flink'
Флинк Форвард 2018
FinTech Studios всегда старается оставаться на шаг впереди новейших и лучших технологий. Итак, мы рады, что посетили Flink Forward 2018 в Сан-Франциско, 9–10 апреля 2018 года.
Flink Forward — это ведущая конференция по всем вопросам Apache Flink , фреймворк для обработки потоков с открытым исходным кодом, специализирующийся на распределенных высокопроизводительных приложениях для потоковой передачи данных. Мы были рады возможности встретиться с другими лидерами отрасли и обсудить..
Вопросы по теме 'apache-flink'
Flink Gelly — Несоответствие типов при создании графика
Я новичок в Apache Flink и Gelly и использую Scala API. У меня есть набор данных вершин и набор данных ребер, и я пытаюсь создать такой график:
val env = ExecutionEnvironment.getExecutionEnvironment
// correct result
val edges: DataSet[Edge[Long,...
184 просмотров
schedule
04.02.2024
Добавьте зависимости Flink ML
Я пытаюсь создать проект sbt Scala, добавив некоторый код из Flink. Я успешно добавил большинство проектов Flink, кроме Flink-ML.
Я пытался добавить разные зависимости, и ошибки следующие:
Конфигурация sbt.build:
resolvers +=...
482 просмотров
schedule
04.03.2024
флинк читать данные из кафки
Я пишу простой пример
val env = StreamExecutionEnvironment.getExecutionEnvironment
val properties = new Properties()
properties.setProperty("bootstrap.servers","xxxxxx")
properties.setProperty("zookeeper.connect","xxxxxx")...
661 просмотров
schedule
22.05.2024
flink с ошибкой scala и maven в IDE eclipse
Я создал этот пример программы, используя документацию https://ci.apache.org/projects/flink/flink-docs-release-0.8/programming_guide.html#introduction
Я получаю следующую ошибку в IDE
log4j:WARN No appenders could be found for logger...
354 просмотров
schedule
18.11.2023
В чем разница между мини-пакетом и потоковой передачей в реальном времени на практике (не в теории)?
В чем разница между мини-пакетом и потоковой передачей в реальном времени на практике (не в теории)? Теоретически я понимаю, что мини-пакет - это то, что пакетируется в заданном временном интервале, тогда как потоковая передача в реальном времени...
7419 просмотров
schedule
22.10.2022
XML-поток Apache Flink Kakfa
Я получаю следующую ошибку при попытке запустить приложение Flink Streaming.
Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
at...
342 просмотров
schedule
17.02.2024
Получите KeyedStream из настраиваемого разбиения во Flink
Я знаю, что Flink поставляется с пользовательскими API разбиения. Однако проблема в том, что после вызова partitionCustom на DataStream вы получаете обратно DataStream , а не KeyedStream .
С другой стороны, вы не можете переопределить...
1435 просмотров
schedule
21.09.2022
Использование Accumulo в качестве источника и приемника на Flink
Я хотел бы использовать Apache Accumulo для хранения данных о событиях и выполнения некоторых вычислений с помощью Apache Flink.
Я знаю, что это можно сделать с помощью Apache Spark, прочитать некоторые записи из Accumulo как RDD Чтение из...
182 просмотров
schedule
13.12.2023
Apache Flink: область действия ValueState в ConnectedStreams
У меня есть пользовательский RichCoFlatMapFunction , который использует ValueState член. Документы говорят, что
интерфейс ключ / значение привязан к ключу текущего элемента ввода
См....
481 просмотров
schedule
19.09.2022
Событие Flink испускает, когда более раннее совпадающее событие в паре не найдено
У меня есть два потока событий: один генерирует событие, сигнализирующее о начале жизни элемента, и другой поток, который генерирует событие, сигнализирующее об окончании срока жизни элемента. (Потоки могут быть объединены на itemId .)
Как я могу...
131 просмотров
schedule
23.12.2023
Как сериализовать формат даты Джексона Джоды?
Я хочу сериализовать объекты в Json внутри задания обработки потока flink. Внутри задания flink все объекты должны быть сериализуемыми.
Я использую Джексона для сериализации своих объектов.
final ObjectMapper mapper = new ObjectMapper();...
561 просмотров
schedule
12.03.2024
Скользящее окно времени обработки вычисляет противоречивые результаты
Во Flink я читаю файл, используя readTextFile и применяю SlidingProcessingTimeWindows.of(Time.milliseconds(60), Time.milliseconds(60)) 60 мсек со слайдом 60 мсек на нем. В оконном потоке я вычисляю среднее значение второго поля кортежа. Мой...
195 просмотров
schedule
29.02.2024
Получение исключения ClassNotFound в Flink SourceFunction
Я использую буфер протокола для отправки потока данных в Apache Flink. У меня два класса. один - производитель, а другой - потребитель. Producer - это класс потока Java, который считывает данные из сокета, и Protobuf десериализует их, а затем я...
588 просмотров
schedule
28.12.2023
как можно отправлять задания через консоль в кластер flink-standalone zookeeper-recovery-mode?
У меня есть кластер flink, настроенный для режима восстановления zookeeper, работающего на марафоне. Как лучше всего отправить приложение в кластер flink через консоль? журнал диспетчера задач , журнал менеджера заданий и клиент вне
573 просмотров
schedule
18.04.2024
Многократный поток процесса Apache Flink
Я пытаюсь использовать Apache Flink для обработки потока данных с использованием двух разных алгоритмов. Мой псевдокод выглядит следующим образом:
env = getEnvironment();
DataStream<Event> inputStream = getInputStream();
// How to replicate...
1529 просмотров
schedule
10.11.2022
Apache Flink: искаженное распределение данных в KeyedStream
У меня есть этот Java-код во Flink:
env.setParallelism(6);
//Read from Kafka topic with 12 partitions
DataStream<String> line = env.addSource(myConsumer);
//Filter half of the records
DataStream<Tuple2<String, Integer>>...
522 просмотров
schedule
19.02.2024
Apache Flink: обработка данных по порядку с помощью mapPartition
Я пробовал простую программу Flink, которая просто берет файл, переворачивает строки в файле и записывает его.
Программа работает, только отдельные строки выходят из строя.
E.g.
Ввод файла
Thing,Name
Person,Vineet
Fish,Karp
Dog,Fido...
861 просмотров
schedule
01.03.2024
Апач Флинк. Окна с водяными знаками
Я пытаюсь агрегировать 60-секундные данные с указанием минутной метки времени с максимальной задержкой 30 секунд.
DataStream<OHLChelp> ohlcAggStream = stockStream.assignTimestampsAndWatermarks(new...
347 просмотров
schedule
22.03.2024
Разобрать строку в формате json из Kafka с помощью Flink
Я хочу прочитать строку в формате json, например.
{"a":1, "b":2}
используя flink, а затем извлеките определенное значение по его ключу, скажем, 1.
См. Здесь:...
1647 просмотров
schedule
03.12.2023
доступ к системным метрикам Flink в коде на терминал вместо использования какого-либо репортера метрик, такого как JMX
Я использовал JMX в качестве репортера метрик, чтобы получить метрики Flink, но есть ли способ получить их в качестве вывода в терминале?
Я хочу построить numRecordsInPerSecond для каждого оператора для анализа производительности, как я могу это...
696 просмотров
schedule
24.11.2022
