Публикации по теме 'amazon-redshift'
Что такое Redshift ML?
В статье рассказывается о местонахождении модуля машинного обучения amazon(aws) redshift, который позволяет аналитикам выполнять через него расширенную аналитику.
Машинное обучение и AWS Sagemaker
Машинное обучение — не новый термин сегодня. Он используется для нескольких случаев использования, когда тенденции интеллектуально идентифицируются, скрытые в больших наборах данных.
В этом процессе много этапов. Amazon Sagemaker предоставляет полный набор специально разработанных..
Вопросы по теме 'amazon-redshift'
Вставьте заархивированный файл в RedShift
У меня есть файл в s3, который заархивирован. Я хотел бы вставить его в базу данных RedShift. Единственный способ, которым мои исследования нашли это, — запуск экземпляра ec2. Переместите файл туда, разархивируйте его и отправьте обратно на S3....
6429 просмотров
schedule
31.03.2024
Альтернатива для типа Serial в RedShift/PostgreSQL
На самом деле я пытаюсь заставить Rails работать с RedShift и сталкиваюсь с некоторыми проблемами с индексами Rails по умолчанию. Моя работа основана на репозитории activerecord-redshift-adapter.
По умолчанию Rails использует тип SERIAL для...
1374 просмотров
schedule
16.03.2024
Поддерживает ли RedShift Postgresql переменную Bind?
Я получаю доступ к AWS RedShift через модуль DBI и DBD::Pg в Perl, и у меня возникают проблемы с переменной привязки SQL. Сначала я вызываю подготовку с оператором sql ( ? вместо переменной), а затем вызываю выполнение с массивом переменных,...
2954 просмотров
schedule
21.01.2024
Как сгенерировать заявление об отзыве на postgresql 9.3.x
Команда, я работаю над Amazon RDS Postgres (9.3.1/9.3.2/9.3.3)
pgtest=> select version();
version...
414 просмотров
schedule
14.01.2024
Загрузка данных CSV с NaN в AWS Redshift
Я пытаюсь загрузить CSV-файл из AWS S3 в AWS Redshift. CSV-файл содержит такую строку:
15, NaN, 0
Таблица была создана с помощью:
СОЗДАТЬ ТАБЛИЦУ foo (a INT, b DOUBLE PRECISION, c INT);
И я пытаюсь загрузить таблицу с...
3286 просмотров
schedule
03.06.2024
Redshift UPDATE чрезмерно медленный
У меня есть таблица в кластере Redshift с ~ 1 миллиардом строк. У меня есть задание, которое пытается обновить некоторые значения столбцов на основе некоторого фильтра. Обновление чего-либо в этой таблице происходит невероятно медленно. Вот пример:...
8853 просмотров
schedule
28.01.2024
Redshift INSERT INTO заблокирован во время отдельного COPY
Я недавно играл с Redshift и обнаружил странное (или, может быть, не такое уж странное) поведение. Когда выполняется COPY (из S3), если я выполняю INSERT INTO в совершенно другой таблице в другой схеме, запрос INSERT INTO занимает слишком много...
603 просмотров
schedule
30.10.2022
Redshift psql: автоматическое приращение четного числа
Я пытаюсь создать таблицу с автоматически увеличивающимся столбцом, как показано ниже. Поскольку Redshift psql не поддерживает SERIAL, мне пришлось использовать тип данных IDENTITY :
IDENTITY (seed, step) Предложение, указывающее, что...
26621 просмотров
schedule
22.11.2022
Возвращать элементы массива Redshift JSON в отдельных строках
У меня есть таблица Redshift, которая выглядит так:
id | metadata
---------------------------------------------------------------------------
1 | [{"pet":"dog"},{"country":"uk"}]
2 | [{"pet":"cat"}]
3 | []
4 |...
9240 просмотров
schedule
02.04.2024
Как импортировать файл данных PostgreSQL в Amazon redshift
Я пытаюсь импортировать файл данных PostgreSQL в Amazon redshift с помощью командной строки. Я импортировал файл схемы, но не могу импортировать файл данных. Кажется, что вставка данных в amazon redshift немного отличается.
Я хочу знать все...
3936 просмотров
schedule
13.04.2024
Redshift: найти MAX в списке без учета нерастущих чисел
Я работаю в компании по анализу спортивных фильмов. У нас есть команды с уникальными идентификаторами команд, и я хотел бы узнать, сколько недель подряд они загружали фильм на наш сайт, начиная с сегодняшнего дня. Каждая загрузка также имеет свою...
391 просмотров
schedule
02.06.2024
Как сохранить атрибут Redshift SELECT в переменной скрипта
Я хочу создать сценарий для автоматизации некоторых процессов с помощью Redshift. В частности, я хочу найти атрибут одной из моих таблиц с помощью SELECT, а затем использовать его в INSERT. Мой сценарий выглядит так:
psql -h ... -c "SELECT...
1094 просмотров
schedule
22.03.2024
Потоковая передача результатов с помощью Blaze и SqlAlchemy
Я пытаюсь использовать Blaze/Odo для чтения большого (~ 70 миллионов строк) набора результатов из Redshift. По умолчанию SqlAlchemy попытается прочитать весь результат в память, прежде чем начать его обработку. Этого можно избежать с помощью...
1394 просмотров
schedule
13.12.2022
Скользящая средняя за 3 месяца — Redshift SQL
Я пытаюсь создать 3-месячную скользящую среднюю на основе некоторых данных, которые у меня есть при использовании RedShift SQL или Domo BeastMode (если кто-то знаком с этим).
Данные ежедневные, но должны отображаться по месяцам. Таким образом,...
10832 просмотров
schedule
15.11.2023
Ошибка экранирования косой черты в Redshift PostgreSQL
Я получаю эту ошибку при вставке данных в базу данных Amazon Redshift.
Ошибка базы данных: Произошла ошибка базы данных
Error Number:
ERROR: type "e" does not exist
INSERT INTO "api_data" ("verb", "request", "uri", "user_id", "device_id",...
284 просмотров
schedule
13.10.2022
Выбор хранилища больших данных
В настоящее время передо мной стоит задача создать хранилище данных для хранения и обработки огромного количества данных. Предполагаемое количество составляет более 7 миллиардов событий в день. Данные должны храниться в течение 7 дней. Средний...
254 просмотров
schedule
19.11.2022
Amazon-Redshift: как получить записи недельной давности
Я пытаюсь написать bash-скрипт Amazon Redshift, который раз в неделю будет отправлять мне по электронной почте всех пользователей, созданных за последнюю неделю. У меня есть остальная часть запроса, но я не могу понять, как добавить условное...
624 просмотров
schedule
21.11.2022
загрузка массива данных из s3 в красное смещение
Я использую команду sql workbench/j copy для копирования данных из s3 в redshift, но мне нужно обработать много команд копирования, как я могу создать скрипт и обработать все команды одновременно, есть ли другой способ, кроме sql workbench/ j, где мы...
236 просмотров
schedule
30.10.2022
Вычисление процента GROUP_BY с оператором WHERE
Допустим, у меня есть таблица с заказами со столбцами дохода и статуса. Я хочу сгруппировать заказы по группе доходов (сгруппированных с шагом 10) и получить процент, для которого в столбце статуса установлено значение 1 в соответствующей группе...
60 просмотров
schedule
11.03.2024
Redshift: добавить столбец, если он не существует
Следующий работает в Postgres 9.6 , но не в Redshift:
ALTER TABLE stats
ADD COLUMN IF NOT EXISTS panel_exit timestamp;
Можно ли добиться такой же функциональности в Redshift?
9800 просмотров
schedule
24.01.2024
