Вопросы по теме 'amazon-kinesis'
Шаблон формирования облака Aws: как указать StreamName для ресурса Kinesis?
Я хотел создать ресурс Kinesis с помощью шаблона формирования облака, и это не позволило мне указать «StreamName» в качестве свойства для ресурса.
"KinesisResource":{
"Type" : "AWS::Kinesis::Stream",
"Properties" : {
"ShardCount" : 1...
1871 просмотров
schedule
04.10.2022
Количество отправленных Kinesis записей не равно количеству использованных записей
Мы оцениваем Kinesis, и я обнаружил следующее поведение. У меня есть простой тест с использованием Kinesis для проверки точности и базовой функциональности.
Тест создает элемент в потоке следующим образом:
PutRecordRequest putRecordRequest...
659 просмотров
schedule
06.02.2024
Распараллелить приемники между машинами в Spark Streaming
Могу ли я в потоковом приложении Spark распараллелить приемники на всех компьютерах в кластере (а не только на главном)? Таким образом, все узлы в кластере Spark одновременно читают данные из внешнего потока.
346 просмотров
schedule
20.05.2024
Если функция AWS Lambda имеет источники событий из нескольких потоков Kinesis, будет ли пакет входящих записей из одного потока Kinesis или из смеси?
Название может немного сбивать с толку. Я постараюсь, чтобы было понятнее.
Предположим, у меня есть функция AWS Lambda, которая имеет два разных потока Kinesis A и B в качестве источников входных событий.
Итак, для приведенного ниже, поскольку...
1628 просмотров
schedule
09.12.2023
Аренда AWS KinesisНеразбериха с владельцем
Очень простое приложение, работающее в кластере Spark с двумя рабочими процессами, использующее Kinesis с двумя осколками.
И я проверяю состояние приложения Kinesis Streams на DynamoDB. (показать на этом снимке экрана) в регионе Северная...
1081 просмотров
schedule
26.02.2024
Какие есть варианты обработки данных таймсерий из потока Kinesis
Мне нужно обработать данные из потока AWS Kinesis, который собирает события с устройств. Функция обработки должна вызываться каждую секунду со всеми событиями, полученными за последние 10 секунд.
Скажем, у меня есть два устройства A и B,...
286 просмотров
schedule
17.11.2022
Пакетный интервал потоковой передачи Spark с Kenisis
Каков эффект установки пакетного интервала при создании контекста потоковой передачи
новый StreamingContext (spark.sparkContext, batchInterval)
Согласно этому Amazon blog интервал пакетной обработки Kinesis жестко задан равным 1 с.
261 просмотров
schedule
21.05.2024
Boto3 Чтение потока Kinesis из самой старой записи
В документах boto3 упоминается, что
В запросе вы можете указать тип итератора сегмента AT_TIMESTAMP для чтения записей с произвольного момента времени, TRIM_HORIZON, чтобы ShardIterator указывал на последнюю необрезанную запись в сегменте в...
730 просмотров
schedule
28.10.2023
Как я могу присоединиться к искровому живому потоку со всеми данными, собранными другим потоком за весь его жизненный цикл?
У меня есть два искровых потока, в первом идут данные, связанные с продуктами: их цена поставщику, валюта, их описание, идентификатор поставщика. Эти данные обогащаются категорией, угадываемой по анализу описания и цене в долларах. Затем они...
526 просмотров
schedule
19.03.2024
Lambda.InvokeAccessDenied в Kinesis Firehose
Я пытаюсь настроить лямбда-преобразования с помощью потока доставки Firehose. У меня есть роль IAM, определенная для Firehose, которая включает следующий документ политики:
{
"Statement": {
"Action": [...
6082 просмотров
schedule
15.01.2024
Как создать запрос таблицы лидеров с помощью Kinesis Analytics
Я пытаюсь проверить концепцию таблицы лидеров в реальном времени, используя аналитику kinesis, и пытаюсь использовать их пример для начала работы, пример временного периода с потоком данных демонстрационного биржевого тикера. Однако я получаю...
407 просмотров
schedule
22.04.2024
AWS Lambda, кажется, выходит до завершения
У меня есть очень простая лямбда-функция (nodeJS), которая помещает полученное событие в поток kinesis. Вот исходный код:
'use strict';
const AWS = require('aws-sdk');
const kinesis = new AWS.Kinesis({apiVersion: '2013-12-02'});...
5867 просмотров
schedule
02.05.2024
aws kinesis Analytics — как определить ключ раздела для целевого потока
Как при использовании Kinesis Analytics можно указать ключ раздела, когда выходные записи передаются в место назначения?
131 просмотров
schedule
16.11.2023
AWS Kinesis Firehose и аналитика данных
Если я использую Kinesis Firehose, который записывает, скажем, S3, в качестве источника для Data Analytics, можно ли будет сохранить исходные данные из потока, как если бы после Firehose не было интегрированного Data Analytics? Или исходные данные,...
170 просмотров
schedule
20.03.2024
Поток данных из журнала доступа Nginx - ›Rsyslog или Syslog -› Fluentd - ›Kinesis
Я работаю над передачей nginx журналов доступа Fluentd aws kinesis AWS S3 via kinesis firehose . Журналы nginx будут помещены в AWS Glacier в течение log rotation .
Я нахожусь на начальных этапах, когда мне нужно передать журналы доступа...
464 просмотров
schedule
28.11.2023
Cloudformation `StartingPositionTimestamp` для сопоставления источников событий Lambda / Kinesis
Я хочу подключить поток Kinesis к функции Lambda через сопоставление источников событий, хочу установить для StartingPosition значение AT_TIMESTAMP -...
528 просмотров
schedule
31.05.2024
Имя объекта Kinesis Firehose в S3 с расширением
Я передаю свои данные JSON в Kinesis Firehose и отбрасываю их в S3 с этим пользовательским префиксом: short_date=!{timestamp:yyyy-MM-dd}/ . Я знаю, что Firehose сам по себе не распознает это как данные JSON, и я не знаю, как добавить расширение для...
616 просмотров
schedule
02.05.2024
В чем разница между software.amazon.kinesis и com.amazonaws?
Я пытаюсь создать приложение для чтения из потока данных Kinesis. Репозиторий MVN содержит software.amazon.kinesis:amazon-kinesis.client и com.amazonaws:amazon-kinesis-client .
Чем отличаются эти артефакты? Какой из них я должен использовать?
144 просмотров
schedule
24.11.2023
Kinesis video streams CORS ошибки
для менее чем 10% наших клиентов вызов API AWS.kinesisVideo не выполняется. Он заблокирован политикой CORS.
Дело в том, что с подавляющим большинством наших клиентов этого не происходит. Это также не связано с конкретным браузером или версией....
129 просмотров
schedule
06.11.2022
Использование KCL 2.x для получения DynamoDBEvents из KinesisStream
Из KinesisClientRecord (записи), которую я получил с помощью клиента KCL, я могу получить объект JSON, представляющий событие обновления ddb из потока, выполнив следующие действия:
String recordData =...
23 просмотров
schedule
17.05.2024
