Вопросы по теме 'amazon-athena'
Есть ли способ указать настраиваемые параметры подключения к scalikejdbc?
При подключении к AWS Athena обязательным параметром является s3_staging_dir для указания выходного каталога запроса. Есть ли способ указать этот параметр в scalikejdbc? Я пытался просмотреть всю документацию scalikejdbc, но ничего подобного не...
289 просмотров
schedule
11.12.2022
Боковой вид улья не работает AWS Athena
Я работаю над процессом анализа журнала AWS Cloudtrail , я застрял в извлечении JSON из строки,
Это мое определение таблицы.
CREATE EXTERNAL TABLE cloudtrail_logs (
eventversion STRING,
eventName STRING,
awsRegion STRING,
requestParameters...
1681 просмотров
schedule
09.01.2024
Запросы к Amazon Athena с разделами
Скажем, я хочу иметь разделы по какому-то атрибуту, и в каждом разделе у меня есть пара файлов с записями в JSON (в каждом файле больше записей).
Я хочу запросить их по некоторому атрибуту, который указывает, когда создается запись для...
9087 просмотров
schedule
26.12.2023
Как обрабатывать разрывы строк в AWS Athena
Я создал в AWS Athena такую таблицу:
CREATE EXTERNAL TABLE IF NOT EXISTS default.test_line_breaks (
col1 string,
col2 string
)
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.OpenCSVSerde'
WITH SERDEPROPERTIES (
'separatorChar' = ',',...
5035 просмотров
schedule
11.04.2024
HIVE_UNKNOWN_ERROR при выполнении запроса AWS Athena в таблице Glue (RDS)
Я получаю сообщение об ошибке при выполнении запроса Athena к таблице Glue, созданной из базы данных RDS:
HIVE_UNKNOWN_ERROR: невозможно создать формат ввода
Таблицы создаются с помощью поискового робота. Таблицы правильно отображаются в...
2229 просмотров
schedule
10.05.2024
Как решить SQL-инъекцию для Athena?
Я работаю над написанием программы Spring Java для доступа к данным из Athena, но обнаружил, что драйвер Athena JDBC не поддерживает PreparedStatement. Кто-нибудь знает, как избежать SQL-инъекций в Athena?
2307 просмотров
schedule
05.12.2022
Строка в формате даты ГГГГ-ММ-ДД в Афине
Итак, я просмотрел документацию и предыдущие ответы здесь, но, похоже, не могу понять этого.
У меня есть STRING , обозначающий дату. Нормальный вывод выглядит так:
2018-09-19 17:47:12
Если я сделаю это, я верну его в следующем формате...
11794 просмотров
schedule
18.03.2024
Сравнение производительности между сопоставлением имен файлов и сопоставлением имени файла. Обрезка разделов
У меня проблема, когда файлы создаются каждые 15 минут, поэтому через месяц у меня будет ~ 2880 файлов. Через год у меня будет 35 000 файлов! Уплотнение может быть вариантом, что будет означать, что у меня 1 паркетный файл в час = 8760 файлов!...
42 просмотров
schedule
24.10.2022
Создание JDBC-соединения с Athena не работает
У меня есть БД на Афине, и теперь я пытаюсь подключиться к ней с помощью SQLWorkbenchJ. Я загрузил драйверы JDBC , предоставленные AWS. , добавил его в мои настройки рабочего места, но он просто не подключается. Точное сообщение об ошибке...
403 просмотров
schedule
22.03.2024
Могу ли я использовать Athena / Presto для сортировки таблицы перед записью?
Я хочу заархивировать свои журналы в формате Parquet. Перед написанием таблицы я хочу отсортировать ее по столбцу c , чтобы каждый файл Parquet имел только небольшой диапазон c . Это позволит Athena / Presto эффективно сканировать таблицу, когда...
504 просмотров
schedule
02.04.2024
Политика корзины S3 не позволяет Athena выполнять запрос
Я выполняю запросы Amazon Athena в корзине S3. Назовем это athena-bucket . Сегодня у меня есть требование ограничить этот сегмент VPC Enpoints. Итак, я попробовал эту политику ведра S3:
{
"Version": "2012-10-17",
"Statement": [...
891 просмотров
schedule
19.02.2024
Ошибка отказа в доступе при выполнении запроса athena из учетной записи root
Я получаю сообщение об ошибке отказа в доступе, когда пытаюсь выполнить athena запрос из учетной записи root. Что я делаю неправильно?
Я пытался создать IAM user roles , но не уверен, правильно ли я поступаю. Я просто хотел провести быстрый...
169 просмотров
schedule
15.01.2024
Преобразование папки данных S3 в секционированное и секционированное хранилище данных
У меня есть папка с ТБ структурированных данных, и все они придерживаются фиксированной схемы. Структура папок такая:
s3://main-bucket/
folder-1/ <= One folder will only contain data from one algorithm...
1447 просмотров
schedule
23.04.2024
Как правильно использовать case в SQL
Я получаю небольшую ошибку со следующим кодом SQL, причину которого я не понимаю.
Я использую AWS Athena.
SELECT
icustay_id,
itemid,
date_diff('second', TIMESTAMP '1970-01-01 00:00:00', starttime) AS starttime,...
96 просмотров
schedule
30.04.2024
Amazon athena не может читать файлы журнала доступа S3, а запрос выбора Athena возвращает пустые наборы результатов для каждого столбца
Я успешно создал таблицу базы данных в Афине. См. Запрос ниже.
CREATE EXTERNAL TABLE IF NOT EXISTS s3_access_logs_db.wafbucket_logs(
BucketOwner STRING,
Bucket STRING,
RequestDateTime STRING,
RemoteIP STRING,...
476 просмотров
schedule
01.11.2023
Транспонирование данных с помощью pyspark и aws Glue
Я новичок в pyspark и столкнулся с некоторыми проблемами, связанными с переносом данных. Я использую клей aws для запуска задания. В настоящее время данные выглядят так:
+-----------------+-----+------+-----+
| Country |Code |1969 |1979...
116 просмотров
schedule
05.12.2023
Афина Запрос занимает очень много времени
У меня есть большой текстовый файл, разделенный вертикальной чертой, вероятно, с более чем миллионом записей. Копирую в s3, а потом загружаю в athena:
CREATE EXTERNAL TABLE IF NOT EXISTS main
( `pin` string,...
48 просмотров
schedule
13.11.2023
Может ли Amazon Athena работать без каталога Glue?
Могу ли я использовать Informatica EDC вместо каталога Glue в AWS. тесно связан ли AWS Athena с каталогом Glue?
330 просмотров
schedule
09.06.2024
Создать таблицу в Athena из вложенного JSON
У меня есть вложенный JSON типа
[{
"emails": [{
"label": "",
"primary": "",
"relationdef_id": "",
"type": "",...
73 просмотров
schedule
26.09.2022
Таблица Athena, отображающая "в значениях столбца"
У меня есть файл csv в s3 со следующей структурой
"name1"|"tmc International"|"123, link2"
Я использую ниже шаблон CF для чтения этого файла в Афину
T1Table:
Type: AWS::Glue::Table
Properties:...
185 просмотров
schedule
07.06.2024
