Вопросы по теме 'azure-data-factory'
Фабрика данных Azure: перенос данных из хранилища таблиц в SQL Azure
Можно ли при перемещении данных из хранилища таблиц в SQL Azure получить только дельту (данные, которые еще не были перемещены) с помощью фабрики данных Azure?
Более подробное объяснение: существует таблица хранилища Azure, содержащая некоторые...
2355 просмотров
schedule
23.02.2024
Как определить таблицу в фабрике данных Azure
При создании связанного ресурса HDInsight On Demand фабрика данных создает новый контейнер для hdinsight. Интересно, как я могу создать таблицу, указывающую на этот контейнер? Вот мое определение таблицы
{
"name": "AzureBlobLocation",...
61 просмотров
schedule
23.03.2024
Как обрабатывать данные, не разделенные по времени, в Фабрике данных Azure?
Итак, я пытаюсь использовать Фабрику данных Azure для замены имеющейся у нас системы SSIS, и у меня возникают некоторые проблемы...
Процесс, которому я хочу следовать, состоит в том, чтобы взять список проектов и список клиентов и создать отчет о...
104 просмотров
schedule
12.12.2023
выполнениеPriorityOrder исчезает из пользовательского интерфейса после развертывания конвейера
Вот какое-то странное поведение пользовательского интерфейса ADF Author/Deploy, с которым я столкнулся. Вы увидите то же самое, если попробуете.
Откройте любой существующий конвейер в ADF, в любом его действии (например, мой тип действия -...
303 просмотров
schedule
30.11.2022
Показатели активности пакета SDK для .NET Azure Data Factory
Кто-нибудь знает, как (или если это возможно) получить доступ к этим показателям для каждого запуска действия, показанного в разделе «Подробности» на портале Azure?
Первоначально планировалось использовать .NET SDK, но, похоже, ни одна из...
321 просмотров
schedule
24.01.2024
Конвейеры фабрики данных Azure не работают, когда в источнике нет файлов
В настоящее время мы выполняем загрузку данных с локального сервера Hadoop в SQL DW [через ADF Staged Copy и локальный сервер DMG]. Мы заметили, что конвейеры ADF не работают - когда нет файлов в расположении локального сервера Hadoop [мы не ожидаем,...
5732 просмотров
schedule
30.12.2023
Фабрика данных не создает кластер hdinsight по требованию
Я столкнулся с двумя основными проблемами, пытаясь заставить мою реализацию фабрики данных работать.
Это первое сообщение об ошибке, которое я получил:
Failed to create cluster. HttpCode:PreClusterCreationValidationFailure, Error message: Pre...
322 просмотров
schedule
02.12.2023
создать конвейер с использованием фабрики данных с копированием из хранилища лазурных BLOB-объектов в хранилище озера данных
Я пытаюсь создать конвейер с использованием фабрики данных с копированием из хранилища Azure blob в хранилище озера данных.
Но при запуске конвейера он показывает сбой состояния и ошибку ниже: -
При копировании произошла ошибка пользователя...
1333 просмотров
schedule
09.01.2024
Как ускорить копирование из озера данных Azure в Cosmos DB
Я использую фабрику данных Azure для копирования данных из Azure Data Lake Store в коллекцию в Cosmos DB. У нас будет несколько тысяч файлов JSON в озере данных, и каждый файл JSON будет занимать прибл. 3 ГБ. Я использую операцию копирования...
1516 просмотров
schedule
21.10.2022
Вызов конвейера фабрики данных Azure (V2) из функций Azure
Требование: я пытаюсь вызвать конвейер ADFV2 из функции Azure. Конвейер ADFV2 уже создан через .NET api.
Проблема : не удалось разрешить Microsoft.Azure.Management.DataFactory (этот был введен недавно для ADFV2) пакет nuget, где еще пакет...
3234 просмотров
schedule
05.01.2024
Ежемесячное расписание в конвейере фабрики данных Azure
Как мы можем запланировать запуск конвейера фабрики данных Azure только в определенный день месяца (например, 9-е число каждого месяца)
830 просмотров
schedule
08.12.2022
Срезы данных в ADF не выполняются последовательно во времени
У меня есть несколько действий в конвейере, и у них есть зависимости между собой. Когда я устанавливаю дату начала своего конвейера в прошлом, мой набор срезов данных не выполняется последовательно во времени. Чтобы уточнить:
Допустим, у меня...
44 просмотров
schedule
03.12.2022
Долгая попытка в лазурной фабрике данных
У нас есть требование повторить попытку определенного фрагмента через 1 час, если проверка не удалась. Я просмотрел документы Azure ADF здесь и получил вариант longRetry , но он не работает должным образом.
Проверка политики во входном наборе...
1188 просмотров
schedule
08.12.2022
__spark_conf__.zip: нет такого файла или каталога
Когда я отправляю действие Spark из фабрики данных Azure версии 2 в кластере HDInsight, я получаю сообщение об ошибке:
Application application_1524230454528_0060 failed 5 times due to AM Container for appattempt_1524230454528_0060_000005 exited...
391 просмотров
schedule
15.06.2024
Как обрабатывать двойной разделитель каналов в фабрике данных Azure 2
Я работаю с файлом с разделителями, состоящим из двух каналов, который я хочу загрузить в базу данных SQL Azure через фабрику данных (2):
Column1||Column2||Column3
В моем наборе входных данных я указал двойной разделитель вертикальной черты...
2258 просмотров
schedule
15.09.2022
Использование действия копирования ADF с сопоставлением динамической схемы
Я пытаюсь управлять свойством columnMapping из таблицы конфигурации базы данных. Мое первое действие в конвейере извлекает строки из таблицы конфигурации. Источник моей активности копирования - это файл Json в хранилище BLOB-объектов Azure, а мой...
9617 просмотров
schedule
10.11.2023
как переместить файлы, расположенные в локальной общей папке на базе Windows, с помощью scala?
Справочная информация: я использую Azure ADFV2 для перемещения данных из общего файлового ресурса в ADLS, после успешного перемещения файла я хочу заархивировать файл в месте общего доступа к файлам.
Как подключиться к локальной общей папке на базе...
403 просмотров
schedule
20.03.2024
Фабрика данных Azure v2 Oracle в локальной среде для SQL Server (IaaS)
Я пытаюсь создать конвейер ADF v2, который будет копировать данные с локального сервера Oracle на виртуальную машину SQL Server. Сетевые администраторы настроили среду выполнения интеграции для Oracle. Их идея заключалась в том, что мы можем просто...
1071 просмотров
schedule
28.11.2022
Как лучше всего импортировать данные Google Analytics в Azure Blob / Data Lake?
Я пытаюсь импортировать данные Google Analytics в хранилище BLOB-объектов Azure или Data Lake для анализа или создания отчетов. Но я не вижу коннектора Google Analytics в фабрике данных Azure.
Я вижу некоторые сторонние соединители, такие как...
5317 просмотров
schedule
10.06.2024
Есть ли возможность перенести данные из озера данных Azure второго поколения в концентратор событий Azure с помощью фабрики данных Azure?
Есть ли возможность перенести данные из озера данных Azure второго поколения в концентратор событий Azure с помощью фабрики данных Azure? Есть ли альтернативные способы сохранить ту же структуру папок в концентраторе событий после переноса в...
621 просмотров
schedule
28.09.2022
