Вопросы по теме 'azure-databricks'
Могу ли я запускать запросы gremlin к cosmos-db (graph) из записной книжки лазурного набора данных?
Есть ли прямая интеграция Gremlin в блокнот лазурных данных?
У меня есть график в cosmosDb, и я хочу выполнить несколько запросов гремлина. Например,
g.V().hasLabel('x').out('y').out('z')
Я запускаю запросы с лазурного портала, но для...
387 просмотров
schedule
28.10.2022
На карте фолиума не отображаются блоки данных Python
Я работаю над Databricks и имею карту фолиума:
import geopandas as gpd
import matplotlib as plt
import os
import folium
from IPython.display import display
map_osm = folium.Map(location=[45.5236, -122.6750])
map_osm
Получаю следующее:...
1133 просмотров
schedule
27.11.2022
Как импортировать класс из библиотеки в блоки данных?
Я использую блоки данных в лазурном цвете для выполнения некоторой работы с машинным обучением, и я пытаюсь импортировать класс из определенной библиотеки, но, похоже, он работает иначе, чем я привык. (Обычно я пишу код Python в блокноте jupyter)...
1306 просмотров
schedule
27.11.2023
Эффективный поиск из pyspark в космосдб
В искровом задании мне нужно получить данные из CosmosDB по ~ 20000 документам, чьи идентификаторы и ключ раздела мне известны.
Мой текущий код, который ужасно медленный, заключается в подготовке запроса SELECT * FROM c WHERE c.pkey = %{pkey}i AND...
253 просмотров
schedule
16.12.2023
Сохранение Pyspark не работает при вызове изнутри foreach
Я создаю конвейер, который получает сообщения от Azure EventHub и сохраняет их в дельта-таблицах блоков данных.
Все мои тесты со статическими данными прошли хорошо, см. Код ниже:
body = 'A|B|C|D\n"False"|"253435564"|"14"|"2019-06-25...
206 просмотров
schedule
28.04.2024
Azure DataBricks: как выполнить внутреннее соединение двух фреймов данных, имеющих отношение "один ко многим", и выбрать определенные столбцы из обоих фреймов данных.?
Я прочитал данные из файлов json следующим образом:
import os,shutil,glob,time
from pyspark.sql.functions import trim
#Get Data DF1
df1 = spark.read.format("json").load("/mnt/coi/df1.json")
#Get Data DF2
df2 =...
1750 просмотров
schedule
27.05.2024
Как правильно получить доступ к dbutils в Scala при использовании Databricks Connect
Я использую Databricks Connect для локального запуска кода в моем кластере Azure Databricks из IntelliJ IDEA (Scala).
Все нормально работает. Я могу подключаться, отлаживать, проверять локально в среде IDE.
Я создал задание Databricks для...
4033 просмотров
schedule
30.10.2022
Azure Databricks - объяснение синтаксиса монтажа в блоках данных.
Я новичок в azure и databricks , я узнал, как монтировать blob и использовать, но у меня есть несколько сомнений, и я еще не нашел ответов на какую-либо документацию. Пожалуйста, помогите мне объяснить это:
dbutils.fs.mount(
source =...
121 просмотров
schedule
24.10.2022
Как вывести список и удалить пустые папки в Azure Data Lake Store Gen1
Вопрос 1:
Есть ли способ перечислить и удалить пустые папки в Azure Data Lake Store Gen 1?
Сценарий:
Нам необходимо периодически запускать задание по рекурсивному удалению всех пустых папок в корневой папке в нашем хранилище озера данных....
1758 просмотров
schedule
14.01.2024
Редактирование учетной записи хранения Azure в Azure Databricks
У меня есть блоки данных, указывающие на учетную запись хранения в Azure, но регион указан неверно. Теперь я хочу изменить его и указать на другую учетную запись хранения. Я использовал вариант монтирования с кодом, как показано ниже...
81 просмотров
schedule
03.12.2022
API Azure Databricks: импорт всего каталога с записными книжками
Мне нужно импортировать много записных книжек (как Python, так и Scala) в Databricks с помощью Databricks REST API 2.0.
Мой исходный путь (локальный компьютер) - ./db_code , а место назначения (рабочая область Databricks) -...
496 просмотров
schedule
30.01.2024
Пытаюсь установить H2O на Databricks. Как я могу установить сторонний пакет в Databricks?
Я сейчас играю с Databricks и смотрю онлайн-демо. Для демонстрации требуется установка H2O. В Databricks я пробовал следующее:
click clusters (then click on the name of the cluster)
click libraries
click install new
finally, click...
202 просмотров
schedule
15.11.2023
Блоки данных или функции с ADF?
Я использую ADF для вывода некоторых отчетов в pdf (по крайней мере, это цель).
Я использую ADF для вывода csv в большой двоичный объект хранилища, и я хотел бы получить его, выполнить некоторое форматирование и статистику (с помощью scipy и...
466 просмотров
schedule
02.11.2023
Чтение файлов и изменение имени файла из контейнеров хранилища Azure в Azure Databricks
Я загружаю большой файл XML и генерирую отдельный JSON в соответствии с элементом XML, я использую SPARK-XML в лазурных блоках данных. Код для создания файла json как
commercialInfo
.write
.mode(SaveMode.Overwrite)...
335 просмотров
schedule
27.10.2022
Интеграция конвейера Azure DevOps с Databricks + как распечатать результат записной книжки Databricks на экране результатов конвейера
Я пытаюсь интегрировать Azure Databricks в конвейер DevOps и использовал следующий URL: https://menziess.github.io/howto/run/databricks-notebooks-from-devops/
В Azure Databricks создал задание поверх записной книжки
Использовал отдельную...
61 просмотров
schedule
05.12.2023
лазурные DevOps для ADF и блоков данных
Я пытаюсь создать конвейер azure ci / cd для моей фабрики данных azure, в которой я использовал записную книжку databricks. Конвейер был успешно создан с помощью шаблона ARM для ADF, но я не вижу никаких параметров переопределения для URL-адреса...
63 просмотров
schedule
23.01.2024
