Вопросы по теме 'azure-data-lake'
Медленное выполнение USQL
Я создал простой скрипт для оценки между двумя строками. Ниже приведен код USQL и BackEnd .net.
CN_Matcher.usql:
REFERENCE ASSEMBLY master.FuzzyString;
@searchlog =
EXTRACT ID int,
Input_CN string,...
372 просмотров
schedule
15.11.2023
Stream Analytics: динамический путь вывода на основе полезной нагрузки сообщения
Я работаю над аналитическим решением IoT, которое использует сообщения в формате Avro, отправленные в Azure IoT Hub, и (надеюсь) использует Stream Analytics для хранения сообщений в Data Lake и хранилище BLOB-объектов. Ключевым требованием является...
1266 просмотров
schedule
30.11.2022
Курсор U-SQL в Azure Data Lake
Мне нужно обработать данные в Azure Data Lake. Мой поток выглядит следующим образом:
Я хотел бы выбрать из списка идентификаторов базы данных для следующей обработки. Это я сделал.
Мне нужно перебирать идентификаторы (с первого шага), и мне...
2316 просмотров
schedule
08.03.2024
U-SQL Разделить файл CSV на несколько файлов на основе различных значений в файле
У меня есть данные в Azure Data Lake Store, и я обрабатываю имеющиеся там данные с помощью Azure Data Analytic Job с U-SQL. У меня есть несколько файлов CSV, которые содержат пространственные данные, подобные этому:
Файл_20170301.csv...
2519 просмотров
schedule
13.05.2024
Представления метаданных каталога U-SQL
В зрелом мире СУБД у нас есть много представлений каталога, которые описывают метаданные и могут использоваться для генерации кода сценариев обслуживания.
Существует ли что-то подобное в U-SQL? Например, я хочу создать сценарий U-SQL, который...
182 просмотров
schedule
21.10.2022
создать конвейер с использованием фабрики данных с копированием из хранилища лазурных BLOB-объектов в хранилище озера данных
Я пытаюсь создать конвейер с использованием фабрики данных с копированием из хранилища Azure blob в хранилище озера данных.
Но при запуске конвейера он показывает сбой состояния и ошибку ниже: -
При копировании произошла ошибка пользователя...
1333 просмотров
schedule
09.01.2024
Как ускорить копирование из озера данных Azure в Cosmos DB
Я использую фабрику данных Azure для копирования данных из Azure Data Lake Store в коллекцию в Cosmos DB. У нас будет несколько тысяч файлов JSON в озере данных, и каждый файл JSON будет занимать прибл. 3 ГБ. Я использую операцию копирования...
1516 просмотров
schedule
21.10.2022
Ошибка U-SQL при перестроении таблицы
Ошибка возникает, когда я вызываю ALTER TABLE REBUILD в одной хранимой процедуре и одновременно пытаюсь выбрать данные в другой.
CREATE PROCEDURE IF NOT EXISTS RebuildContent()
AS
BEGIN
INSERT INTO dbo.Log (Date, Message)
VALUES (...
119 просмотров
schedule
29.10.2022
Ошибка вершины, ошибка кодирования в Azure Data Lake Analytics при загрузке данных. Соответствующие причины могут быть?
USE DATABASE retail;
@log=EXTRACT id int,
item string
FROM "/Retailstock/stock.txt"
USING Extractors.Tsv();
INSERT INTO sales.stock
SELECT id, item FROM @log;
Это вопрос из курса аналитики озера данных Azure. Мне нужно загрузить таблицу...
370 просмотров
schedule
18.11.2023
Как извлечь файл с столбцом varbinary в скрипте u-sql с помощью экстрактора по умолчанию?
Мне нужно извлечь столбец varbinary в файл. Когда я пытался извлечь его с помощью byte []. Он показывает ошибку «Ошибка преобразования. Столбец с недопустимыми символами».
Скрипт U-SQL:
EXTRACT Id int?, Createddate DateTime?, Photo byte...
316 просмотров
schedule
16.04.2024
Ошибка MSB4057: целевая сборка не существует в проекте, работающем с непрерывной интеграцией с MSbuild для U-SQL.
Я работаю над интеграцией непрерывной интеграции с vsts, используя MSBuild для U-SQL, ссылаясь на ссылку: https://blogs.msdn.microsoft.com/azuredatalake/2017/10/24/continuous-integration-made-easy-with-msbuild-support-for-u-sql-preview/
Но я...
4318 просмотров
schedule
18.11.2022
Проверка условия в наборе строк U-SQL
У меня есть простой вариант использования. Я хочу фильтровать данные в зависимости от того, содержит ли файл json некоторые поля с именами вроде «событие».
У меня есть данные, которые могут иметь 1, 2, 3 или любое количество массивов json.
В...
76 просмотров
schedule
10.06.2024
Проблема с развертыванием Azure u-sql с использованием vsts
Я создаю CI/CD для ADLA — USQL и использую сценарии PowerShell Azure для развертывания этого выпуска с использованием VSTS и сталкиваюсь с этой ошибкой ниже во время развертывания —
Пользователь не авторизован для выполнения этой операции с...
243 просмотров
schedule
22.09.2022
U-SQL Сравните данные набора строк в скалярном выражении
Я прочитал некоторые статьи о том, что преобразование невозможно, однако я столкнулся с проблемой, когда значение извлекается из набора строк и должно использоваться в скалярном выражении.
ColumnA — это строковое значение, а ColumnB — это Int.....
306 просмотров
schedule
23.05.2024
Вставка схемы JSON в таблицу U-SQL
Я хочу вставить схему JSON для моей таблицы U-SQL в инструмент DataLake Analysts. Вот моя схема JSON
DECLARE @json string= "{
"definitions": {},
"$schema": "http://json-schema.org/draft-06/schema#",
"$id":...
81 просмотров
schedule
05.04.2024
Синтаксическая ошибка в сценарии U-SQL для получения данных из сложного типа JSON
Это мой входной файл JSON.
[
{
"Tag": "STACK007",
"data": [
{
"item": "UNIFY109",
"timestamp": "2018-08-27T17:28:51.8490000Z",
"jsonVersion": 1,
"messageType": 1,
"velocity": 709
}...
63 просмотров
schedule
17.11.2023
Выберите первый из подзапросов внутреннего соединения
Я хочу выбрать первое значение столбца во внутреннем соединении для каждого успешного соединения.
@getEndDate = SELECT c.CustomerId, c.ProductId FROM @customer AS c
INNER JOIN (SELECT (DateTime?) EndDate AS EndDate, (int) CustomerId AS CustomerId...
357 просмотров
schedule
25.10.2022
.usqldbproj не может быть открыт «Файл поврежден».
По необъяснимым причинам моя база данных U-sql и проект сценария U-sql перестали работать.
И привести к такой ошибке в окне вывода при отправке файла в проекте скрипта в удаленную учетную запись ADLS со ссылкой на проект базы данных....
53 просмотров
schedule
06.05.2024
Как запустить сценарий Python поверх результата, созданного с помощью сценария U-SQL в конвейерах машинного обучения Azure?
Я хочу обработать большие таблицы, хранящиеся в хранилище озера данных Azure (Gen 1), сначала запустить на них сценарий U-SQL, затем сценарий Python и, наконец, вывести результат.
Концептуально это довольно просто:
Запустите сценарий .usql для...
185 просмотров
schedule
23.04.2024
Есть ли возможность перенести данные из озера данных Azure второго поколения в концентратор событий Azure с помощью фабрики данных Azure?
Есть ли возможность перенести данные из озера данных Azure второго поколения в концентратор событий Azure с помощью фабрики данных Azure? Есть ли альтернативные способы сохранить ту же структуру папок в концентраторе событий после переноса в...
621 просмотров
schedule
28.09.2022
