Настроих тръбопровод в Azure Data Factory за 1) Копиране на файлове от Storage в Lake 2) u-sql за обединяване/обработка на копираните файлове и извеждане в един файл 3) отваряне и обработка на този обединен файл (вмъкване в DB).
Каквото и да опитвам, по отношение на разрешенията, стъпка 3 се проваля. Всички демонстрации и уроци за Azure data lake спират до извеждането на изходния файл, който претендира за успех. свършена работа и т.н.
Намирам docs.microsoft за това доста заплетен (може да се дължи на Gen1/Gen2 Lake??). Разбира се, това, което се опитвам да направя, е общ сценарий, вземам някои файлове с данни, обединявам и извеждам, обработвам изхода.
Изглежда, че файлът, създаден от процеса u-sql, има различен собственик от другите файлове, така че най-често срещаната грешка е 403. Когато настройвам тръбопроводите в ADF, мога да преглеждам папките в lake storage и т.н., за да конфигурирам, но не може да отвори файла, без да зададе всички разрешения за файла в Lake storage. Когато отстранявам грешки/изпълня тръбопровода в ADF, новият изходен файл няма тези разрешения, така че стъпката на изходния файл на процеса в тръбопровода е неуспешна.
Всички тези ресурси са настроени в един и същ абонамент за Azure.
