Вопросы по теме 'azure-data-factory-2'
Долгая попытка в лазурной фабрике данных
У нас есть требование повторить попытку определенного фрагмента через 1 час, если проверка не удалась. Я просмотрел документы Azure ADF здесь и получил вариант longRetry , но он не работает должным образом.
Проверка политики во входном наборе...
1188 просмотров
schedule
08.12.2022
Azure: сравнение дат в фабрике данных
Фабрика данных не имеет встроенной функции определения разницы дат. Я хочу сравнить дату lastModified и utcnow в активности условия. Как я могу достичь этого?
@greaterOrEquals(activity('Get Metadata1').output.lastModified,...
4851 просмотров
schedule
01.11.2022
Фабрика данных Azure версии 2 Копирование действий в хранилище данных из хранилища BLOB-объектов
Я использую ADF v2 для импорта данных из источника CSV в хранилище BLOB-объектов в хранилище данных SQL Azure. Моим первым действием в конвейере является копирование активности из CSV (в хранилище горячих двоичных объектов) в Azure SQL DWH. Если это...
954 просмотров
schedule
17.01.2024
Использовать параметры вместо имени связанной службы в фабрике данных Azure V2
Мой вопрос немного похож на этот вопрос однако адекватно отличается, чтобы заслужить новую ветку.
У меня есть требование извлекать данные из ряда различных локальных экземпляров SQL Server через Интернет. Я использую фабрику данных Azure 2 и...
385 просмотров
schedule
06.12.2023
как переместить файлы, расположенные в локальной общей папке на базе Windows, с помощью scala?
Справочная информация: я использую Azure ADFV2 для перемещения данных из общего файлового ресурса в ADLS, после успешного перемещения файла я хочу заархивировать файл в месте общего доступа к файлам.
Как подключиться к локальной общей папке на базе...
403 просмотров
schedule
20.03.2024
Создание этого конвейера на базе фабрики данных Azure V2
В настоящее время я пытаюсь настроить этот конвейер на фабрике данных Azure V2 (как вы можете видеть на прилагаемом рисунке). Таким образом, эта ERP-система будет ежемесячно экспортировать этот отчет (файл CSV с фактическими и прогнозными данными), и...
1823 просмотров
schedule
23.10.2023
Цены на исходящую передачу данных фабрики данных Azure
Я хочу использовать фабрику данных Azure V2 для копирования данных из хранилища BLOB-объектов в другое хранилище BLOB-объектов. Два хранилища BLOB-объектов относятся к одному региону, а фабрика данных - к другому региону.
Так исходящая передача...
324 просмотров
schedule
19.01.2024
Конфликт конвейера выпуска со средой выполнения интеграции
Этот вопрос относится к тому, как распространить фабрику данных через CI (в VSTS), если в фабрике данных определена автономная среда выполнения интеграции.
У меня настроено 3 среды - Dev / UAT / Prod, каждая со своей собственной фабрикой данных....
1110 просмотров
schedule
08.05.2024
Выполнение фабрики данных Azure (SSIS) с использованием среды выполнения интеграции вызывает неожиданное завершение
Некоторое время я использую фабрику данных Azure V2 для выполнения пакетов SSIS из каталогов SSISDB. Сегодня (16-11-2018) я обнаружил сообщение об ошибке «Неожиданное завершение» без каких-либо предупреждений и сообщений об ошибке.
То, что я...
301 просмотров
schedule
28.02.2024
Фабрика данных Azure v2 Oracle в локальной среде для SQL Server (IaaS)
Я пытаюсь создать конвейер ADF v2, который будет копировать данные с локального сервера Oracle на виртуальную машину SQL Server. Сетевые администраторы настроили среду выполнения интеграции для Oracle. Их идея заключалась в том, что мы можем просто...
1071 просмотров
schedule
28.11.2022
Поток данных сопоставления фабрики данных Azure: отметка времени от эпохи до даты и времени
У меня есть источник на основе JSON, который я хотел бы преобразовать с помощью потока данных сопоставления ADF. У меня есть строка, содержащая значение временной метки эпохи, которое я хочу преобразовать в значение Datetime, чтобы позже погрузить...
2663 просмотров
schedule
26.11.2023
Как исправить несинхронизацию ветки adf_publish фабрики данных v2 с главной веткой в Azure DevOps
Недавно я столкнулся с проблемой невозможности публикации в фабрике данных Azure, интегрированной с azure DevOps / git. Это произошло потому, что мы пытались использовать PowerShell для автоматического создания конвейеров на основе шаблона json....
4241 просмотров
schedule
11.12.2023
Я хотел получить данные с панелей мониторинга Google с помощью фабрики данных Azure.
Я хотел получить данные с панелей мониторинга Google и загрузить их в хранилище данных Azure с помощью фабрики данных Azure. Могу ли я как-нибудь загрузить данные в хранилище данных с помощью фабрики данных Azure.
39 просмотров
schedule
09.12.2022
Получить HD Insight Cluster по имени кластера по запросу
Я создал кластер по запросу в HD-Insight (с использованием фабрики данных Azure). Поэтому имя кластера: префикс + метка времени. Согласно этой теме нет новых функций для исправления имени кластера.
Я хочу отправить задание Livy в Power Shell в...
71 просмотров
schedule
04.05.2024
Фабрика данных Azure - действие потока данных, изменяющее имена файлов
Я выполняю действие потока данных с помощью фабрики данных Azure. Источник данных источника - целевой источник данных Azure bolb - Azure Data Lake Gen 2
Например, У меня есть файл с именем "test_123.csv" в большом двоичном объекте Azure. Когда...
137 просмотров
schedule
24.05.2024
Azure DataFactory - выражение условия действия фильтра
Я просматриваю папку и фильтрую файлы по условию перехода к следующему действию. В папке много файлов, и у них есть фильтр: файлы, которые мне нужно отфильтровать, имеют следующий формат: Extract_2020Mar20_ENV1_200.csv Extract_2020Mar20_ENV2_200.csv...
367 просмотров
schedule
08.10.2022
Цены на фабрику данных Azure - количество действий
Я думаю об использовании фабрики данных для копирования данных из контейнера хранилища BLOB-объектов в таблицу SQL, но я не совсем уверен, что понимаю, как работает ценообразование, в частности, как подсчитываются действия.
Итак, если у меня есть...
251 просмотров
schedule
08.12.2022
Как создать переменные с областью итераций внутри действий ForEach в фабрике данных Azure
У меня есть ForEach действие, в котором внутри каждой итерации мне нужно установить несколько переменных, специфичных для итерации. Я могу добиться этого, используя переменные, определенные для конвейера (область конвейера), но это заставляет меня...
1377 просмотров
schedule
23.10.2023
SSIS Integraion Runtime ADF - установка поставщика Microsoft OLE DB для Visual FoxPro 9.0
Я использовал задачу сценария SSIS (код C #) для загрузки файла DBF на SQL Server. Я заметил, что код C # имеет ссылку на поставщика Microsoft OLE DB для Visual FoxPro 9.0, я установил и загрузил данные на свой локальный компьютер.
Теперь у меня нет...
149 просмотров
schedule
19.04.2024
Как обновить ключ учетной записи Cosmos DB, используемый в связанной службе фабрики данных Azure
Я пытаюсь обновить связанную службу фабрики данных V2 через PowerShell, но не могу получить рабочий файл определения.
Мой сценарий заключается в том, что после ротации ключа учетной записи Cosmos DB связанная служба фабрики данных, которая...
69 просмотров
schedule
20.04.2024
