Публикации по теме 'dataflow'
Введение в графы DataFlow как основу глубоких нейронных сетей
Введение в графы DataFlow как основу глубоких нейронных сетей
«Глубокие нейронные сети» - модное слово, которое существует уже довольно давно, с его приложениями, начиная от классификации текста и заканчивая самоуправляемыми автомобилями, созданием фотореалистичных изображений, музыкальной композицией, робототехникой и многими другими, еще не появившимися. Интересно, что в основе всех этих сверхразумных приложений лежит поток математических производных, плавающих под капотом таких,..
Вопросы по теме 'dataflow'
Использование идиом программирования Clojure DataFlow
Может кто-нибудь объяснить, почему и как я буду использовать API-интерфейс программирования Clojure Dataflow, поскольку я не могу найти много информации об этом в Интернете.
2308 просмотров
schedule
09.11.2022
Поток данных TPL прерывает LinkTo() во время выполнения
У меня есть TransformManyBlock<Tin, Tout> , и во время выполнения я добавляю потребителей (ActionBlocks) через LinkTo(...) .
Является ли TransformManyBlock правильным блоком потока данных для потребления элементов, их преобразования и...
1327 просмотров
schedule
24.04.2024
Как объединить одно сообщение в несколько групп с помощью Spring Integration Aggregator
Привет, мы пытаемся транслировать рыночные данные о процессах финансирования для расчета торгового сигнала, используя apache camel или весеннюю интеграцию. Один из наших вариантов использования - это агрегирование последовательных цен на основе...
1021 просмотров
schedule
20.11.2022
Как исправить ошибку Не удалось установить FTP-соединение, неверный хост или порт в Magento
Я пытаюсь импортировать продукты в Magento с удаленного FTP-сервера, используя расширенный профиль потока данных Magento, но продолжаю получать следующую ошибку. Я новичок в этом и нигде не мог найти ответ о том, как это исправить, и я надеюсь, что...
1394 просмотров
schedule
15.03.2024
Проблема с памятью в реализации TPL Dataflow операции чтения-записи ввода-вывода
Я попытался реализовать операцию чтения и записи с использованием операций файлового ввода-вывода и инкапсулировал эти операции в TransformBlock , чтобы сделать эти операции потокобезопасными вместо использования механизма блокировки.
Но проблема...
634 просмотров
schedule
20.12.2023
Задача потока данных служб SSIS и смешанный выбор
Не удается заставить подписку работать. Обратите внимание, что он отлично работал с пакетом SQL Server 2000 DTS.
AXDB — это внешний сервер (SQL Server 2000 Enterprise), а OLAP — локальная база данных, стандарт SQL Server 2008 R2 (olap — это...
42 просмотров
schedule
15.06.2024
Невозможно запустить несколько конвейеров в желаемом порядке, создав шаблон в Apache Beam
У меня есть два отдельных конвейера: «P1» и «P2». В соответствии с моим требованием мне нужно запускать P2 только после того, как P1 полностью завершит свое выполнение. Мне нужно выполнить всю эту операцию с помощью одного шаблона.
Обычно шаблон...
2596 просмотров
schedule
01.04.2024
На каком этапе Dataflow / Apache Beam подтверждает сообщение pub / sub?
У меня есть задание потоковой передачи данных с подпиской Pub / Sub в качестве неограниченного источника. Я хочу знать, на каком этапе поток данных подтверждает входящее сообщение pub / sub. Мне кажется, что сообщение теряется, если на любом этапе...
1826 просмотров
schedule
10.01.2024
Dataflow Task.WhenAll причины Задача была отменена Исключение
Я новичок в Dataflow и следую этому пошаговому руководству Как отменить блокировку потока данных . Я сначала нажимаю кнопку "Добавить", а затем нажимаю "Отмена", но получаю исключение " Задание было отменено Исключение " после нажатия кнопки отмены....
669 просмотров
schedule
27.10.2022
Есть ли разница в BigQueryIO при использовании fromTable и fromQuery(SELECT *) в потоке данных?
Когда вам нужно прочитать все данные из одной или нескольких таблиц в bigquery в задании потока данных, я бы сказал, что есть два подхода к этому. Первый — использовать BigQueryIO с from , который считывает рассматриваемую таблицу, а второй подход...
532 просмотров
schedule
29.11.2023
Ошибка при использовании DataflowPythonOperator воздушного потока для планирования задания потока данных
Я пытаюсь запланировать задания потока данных с помощью воздушного потока DataflowPythonOperator. Вот мой оператор dag:
test = DataFlowPythonOperator(
task_id = 'my_task',
py_file = 'path/my_pyfile.py',
gcp_conn_id='my_conn_id',...
1792 просмотров
schedule
09.01.2024
Поток данных для программного слива конвейера
Пробовал слить пайплайн программно. Первая часть кода запускает конвейер, который вызывается с помощью отдельного потока. Затем программа некоторое время спит, а затем пытается опустошить конвейер. Я пытался запустить в Dataflow, и это не...
273 просмотров
schedule
30.09.2022
Сравнение чтения BigQueryIO и fromQuery
Скажем, в программе Dataflow/Apache Beam я пытаюсь прочитать таблицу, в которой данные экспоненциально растут. Я хочу улучшить производительность чтения.
BigQueryIO.Read.from("projectid:dataset.tablename")
or...
1215 просмотров
schedule
18.09.2022
Выполнение обработки после PDone
Есть ли способ использовать результат из приемника, т. е. PDone , для дальнейшей обработки, например отправки сообщения в Pub/Sub только после того, как данные были полностью записаны в GCS или все строки были записаны в BigQuery?
170 просмотров
schedule
06.10.2022
Как решить проблемы со стабильностью в Google Dataflow
У меня есть задание Dataflow, которое стабильно работает несколько месяцев. Последние 3 дня или около того у меня проблемы с работой, она застревает по прошествии определенного времени, и единственное, что я могу сделать, это остановить работу и...
192 просмотров
schedule
18.11.2022
Как запланировать задание потока данных, запустив задание cron Google Compute Engine
В часто задаваемых вопросах о потоках данных указано, что выполнение пользовательских (cron) процессов заданий on Compute Engine — это способ планирования конвейеров потоков данных. Я не понимаю, как именно это нужно сделать: как запустить задание...
247 просмотров
schedule
05.11.2023
Ни один из элементов в PCollection не влияет на выделенных рабочих
У меня есть конвейер, состоящий из трех этапов. На первом этапе это ParDo, который принимает 5 URL-адресов в коллекции PCollection. И каждый из 5 элементов генерирует тысячи URL-адресов и выводит их. Таким образом, ввод второго шага - это еще одна...
33 просмотров
schedule
19.12.2023
Стратегия обновления приложения подписки Pub/Sub
Мне любопытно, как подойти к ситуации обновления/перезагрузки приложения, использующего сообщения из Google Pub/Sub.
Например, меня особенно интересует разработка приложения Golang, которое развертывается в Kubernetes с несколькими модулями и...
65 просмотров
schedule
06.12.2022