Вопросы по теме 'avro'
Фреймворк сериализации данных
Я новичок в этом Apache Avro (инфраструктура сериализации). Я знаю, что такое сериализация, но почему существуют отдельные фреймворки, такие как avro, thrift, протокольные буферы и т.д.
Почему мы не можем использовать API-интерфейсы...
3480 просмотров
schedule
09.04.2024
Генерация схемы avro с необязательными значениями
Я пытаюсь написать очень простую схему avro (простую, потому что я просто указываю на свою текущую проблему), чтобы написать файл данных avro на основе данных, хранящихся в формате json. Хитрость в том, что одно поле является необязательным, и кто-то...
7699 просмотров
schedule
04.11.2022
Как читать несколько типов данных Avro в одном MapReduce
У меня есть два разных типа данных Avro с некоторыми общими полями. Я хочу прочитать эти общие поля в картографе. Я хочу прочитать это, создав одно задание в кластере.
Ниже приведен образец схемы avro
Схема 1:
{"type": "record",...
1545 просмотров
schedule
23.10.2022
Тип файла Avro для изображений?
Я пытаюсь... представить этот случай в Hadoop.
Какой лучший формат файла Avro или SequenceFile, в случае хранения изображений в HDFS и последующей их обработки с помощью Python?
SequenceFile ориентированы на ключ-значение, поэтому я думаю, что...
933 просмотров
schedule
15.01.2024
Кафка и гетерогенные сообщения
Я занимался исследованием Kafka и Avro , и у меня возник вопрос о том, как обрабатывать разнородные сообщения с помощью Kafka .
Предположим, у нас есть две схемы Avro : EmailSent и UserLoggedIn . Как лучше всего с Кафкой их потреблять?...
235 просмотров
schedule
10.11.2023
потоковая аналитика «Недопустимый формат Avro, удалить недопустимую запись».
Я пытаюсь сериализовать свои классы C # в «Avro» с помощью «Microsoft Avro Library» и отправлять их в концентратор событий. Однако, когда я пытаюсь прочитать данные с помощью аналитики потока, эта ошибка появляется в журналах «Недопустимый формат...
690 просмотров
schedule
09.02.2024
Файлы остаются в состоянии .avro.tmp в задании Spark?
У меня есть задание Spark, которое считывает миллионы записей из HDFS, обрабатывает их и записывает обратно в HDFS в формате AVRO. Замечено, что многие файлы (записанные) остаются в состоянии .avro.tmp.
Я использую Kite SDK для записи данных в...
127 просмотров
schedule
30.10.2022
Как импортировать сжатые файлы AVRO в таблицу Impala?
В своей работе я импортирую файлы AVRO в таблицы импала, копируя файлы в HDFS, а затем выполняю «обновление» в импале.
Но когда я хотел сделать это со сжатыми файлами, это не сработало.
Единственный документ, который я нашел о включении сжатия с...
685 просмотров
schedule
21.11.2023
Создание схемы AVRO из файла схемы JSON
У меня есть файл JSON и схема JSON для анализа в схему AVRO. Я немного запутался, мне нужно написать ручную схему AVRO, используя типы данных, определенные в документации AVRO. Или есть какой-либо автоматический метод / функция / программа, которые...
4609 просмотров
schedule
15.12.2023
Обработка изменений схемы в запущенном приложении Spark Streaming
Я хочу создать приложение Spark Streaming, используя API DataFrames в Spark 1.6. Прежде чем я зайду слишком далеко в кроличью нору, я надеялся, что кто-нибудь поможет мне понять, как DataFrames работает с данными, имеющими другую схему.
Идея...
3207 просмотров
schedule
01.06.2024
невозможно получить данные avro для массива ‹struct‹ string, string ›› в строках
Привет, у меня есть схема avro с массивом структур, и я могу сохранять данные как avro. но при извлечении данных из
array<struct<string, string>>
Я не могу строить ряды. Все данные я получаю в одну строку.
вот определение...
929 просмотров
schedule
25.10.2023
Является ли это сообщение avro действительным?
У меня есть несколько примеров сообщений Avro от провайдера kafka, которые выглядят так:
00000000 4f 62 6a 01 04 16 61 76 72 6f 2e 73 63 68 65 6d |Obj...avro.schem|
00000010 61 ef bf bd 24 7b 22 74 79 70 65 22 3a 22 72 65 |a...${"type":"re|...
439 просмотров
schedule
01.12.2022
Ошибка сценария PIG при попытке сохранить в формате AVRO: Datum 2 не находится в объединении [null,string]
Я пытаюсь сохранить данные в формате AVRO, но не могу понять, почему я получаю сообщение об ошибке. Datum 2 не находится в объединении ["null", "string"] что это значит?
Разобрать xml:
REGISTER piggybank.jar
REGISTER...
690 просмотров
schedule
12.03.2024
java.lang.IllegalAccessError при создании объектов Avro из собственных функций в MapReduce
У меня есть программа Hadoop MapReduce, которая в самостоятельно созданной функции на этапе карты использует Avro для хранения данных перед отправкой их на этап уменьшения. Когда я запускаю функцию, я получаю эту ошибку:
Caused by:...
510 просмотров
schedule
15.02.2024
искровой потоковый декодер avro для сообщений kafka avro в python
Я использую pyspark api для чтения сообщений avro, которые выдают мне исключение, говорящее, что декодер по умолчанию (utf8_decoder) не может разрешить данные. может кто поможет решить эту проблему. Я попытался установить клиент реестра с...
628 просмотров
schedule
23.10.2023
Apache Avro для С# против Microsoft.Avro.Core
Я новичок в avro и пытаюсь реализовать сериализацию схемы avro в новом проекте. Я увидел, что доступны два разных пакета NuGet, и мне было интересно, в чем разница между ними.
Версия Microsoft: https://github.com/welly87/Apache-Avro-Core ( не...
5386 просмотров
schedule
23.11.2022
Как преобразовать dataframe в avro с помощью схемы?
Как преобразовать фрейм данных в формат Avro, используя указанную пользователем схему?
2882 просмотров
schedule
10.12.2022
Есть ли способ использовать реестр конфлюентных схем с модулем kafka-node?
Я реализовал схему Avro в node.js со схемой, отправляемой с полезной нагрузкой сообщения. И работает нормально. Я ищу, есть ли способ использовать реестр схемы с модулем Kafka-node. Я исследовал, но не нашел.
А отправка схемы в каждом сообщении...
1707 просмотров
schedule
08.04.2024
Как получить произвольный доступ к записям avro в python?
У меня есть набор файлов index/avro (kb/gb), я использую следующую программу для его чтения
import avro.schema
from avro.datafile import DataFileReader
from avro.io import DatumReader, DatumWriter
schema = avro.schema.Parse(open(r"hmd.avsc",...
642 просмотров
schedule
23.05.2024
Ruby Avro: данные о схеме записи недействительны
Я пытаюсь сериализовать JSON, используя avro и схему. Это не приложение для рельсов (несмотря на тег, мне нужно было внимание), поэтому я также мог бы использовать карту, но ни одну из следующих работ.
schema = { 'type' => 'record', 'name'...
365 просмотров
schedule
01.06.2024
