Свързани въпроси 'google-bigquery'
Функцията IS NULL не работи
Тествах функцията IS NULL , предоставена от Google BigQuery, но изглежда не дава правилни резултати.
ПРИМЕРНИ ДАННИ:
id age gender password
1, 11, NULL, NULL
1, 11, "NULL", "NULL"
1, 11, "null", "null"
1, ,...
2470 изгледи
schedule
27.09.2022
Изгледът на BigQuery се самореферира?
Имам две гледни точки. Всеки работи добре самостоятелно; т.е.
select * from x ...и... select * from y
Но когато бягам
select * from x join y using (a,b)
Взимам:
Error: View project.z is self-referencing.
Job ID:...
83 изгледи
schedule
21.09.2022
BigQuery: Клъстерирането откри ключ, който е по-дълъг от
При клъстериране на моите таблици с показвания на страници в Wikipedia получих грешката:
Клъстерирането откри ключ, който е по-дълъг от максимално допустимото ограничение от 1024 байта.
Контекст:...
527 изгледи
schedule
18.09.2022
BigQueryIO Четене срещу fromQuery
Да речем в програмата Dataflow/Apache Beam, опитвам се да прочета таблица, която има данни, които нарастват експоненциално. Искам да подобря ефективността на четенето.
BigQueryIO.Read.from("projectid:dataset.tablename")
or...
1215 изгледи
schedule
18.09.2022
BigQuery UNNEST включва празни редове?
За BigQuery можем да извлечем специалните повтарящи се структури с помощта на UNNEST. Това работи много добре, когато имате данни в ключа на структурата и стойност (един от низ, int или double). Понякога обаче имам структура с ключ ("foo") и често с...
137 изгледи
schedule
17.09.2022
Google CLI не създава услуга за прехвърляне и не показва подробна грешка
Много съм нов в Google Cloud CLI, съжалявам за тъпия въпрос, но наистина е досадно.
Опитвам се да изпълня тази команда:
bq mk --transfer_config --target_dataset=ds_scrummate --display_name='map_email' --data_source=amazon_s3...
217 изгледи
schedule
15.09.2022
BigQuery - Как да направя заявка за броя на колоните в таблица?
Искам да направя запитване до таблица, за да получа колко колони в тази таблица и името на всяка колона. тази публикация ни казва как да направете го в интерфейса на командния ред на BQ, но можем ли да го направим с помощта на заявка?
1106 изгледи
schedule
26.09.2022
Apache beam : Програмно създаване на разделени таблици
Пиша облачен поток от данни, който чете съобщения от Pubsub и ги съхранява в BigQuery. Искам да използвам разделена таблица (по дата) и използвам Timestamp , свързан със съобщението, за да определя в кой дял трябва да влезе съобщението. По-долу е...
919 изгледи
schedule
26.09.2022
Как да генерирате CREATE TABLE скрипт от съществуваща таблица
Създавам таблица с интерфейс Big Query. Голяма маса. И бих искал да експортирам схемата на тази таблица в стандартен SQL (или Legacy SQL) синтаксис.
Възможно ли е ?
Благодаря !
5307 изгледи
schedule
27.09.2022
Агрегиране на масиви - Извличане на цял ред от данни в BigQuery
Използвахме метода за агрегиране на масиви и заредихме данните в BigQuery
Уточнение:
Възможно ли е да се извлече конкретната стойност в метода за агрегиране на масив? Какви са наличните методи за извличане на данни от полето, което...
87 изгледи
schedule
22.09.2022
Не може да има достъп до разрешение за поле за стойност с тип ARRAY‹STRUCT‹ресурс STRING, разрешение STRING, предоставено BOOL
Опитвам се да изпълня тази заявка (mytable не е истинското име на таблицата):
Получаване на тази грешка: Cannot access field permission on a value with type ARRAY<STRUCT<resource STRING, permission STRING, granted BOOL, ...>> at...
2303 изгледи
schedule
23.09.2022
Файл(ове) на GoogleDrive като източник за BQ външна таблица
Документацията на https://cloud.google.com/bigquery/federated-data-sources#querying_data_from_google_drive е двусмислено, тъй като предполага, че може да е възможно да се създаде BQ външна таблица върху набор от CSV файлове в папка на Google Drive,...
351 изгледи
schedule
01.10.2022
Как да получите данни за попадение на протокол за измерване в Big Query?
Опитваме се да свържем онлайн и офлайн поведение чрез measurement protocol . Беше изпратено попадение до Google Analytics със следните параметри (наред с други):
eventCategory= offline_transaction
source= store
medium= offline
Данните...
398 изгледи
schedule
28.09.2022
Може ли BigQuery API да презапише съществуваща таблица/изглед с create_table() (вмъкване на таблици)?
Използвам клиентска функция create_table() на Python , която извиква основната API за вмъкване на таблици . Има параметър exists_ok , но това кара функцията просто да игнорира създаването, ако таблицата вече съществува. Проблемът с това е, че...
572 изгледи
schedule
29.09.2022
Грешка при зареждане на данни от таблицата на BigQuery в клъстер Dataproc
Нов съм в Dataproc и PySpark и се сблъсквам с определени проблеми, докато интегрирам таблицата на BigQuery към клъстера на Dataproc чрез API на Jupyter Lab. По-долу е кодът, който използвах за зареждане на таблицата BigQuery в клъстера Dataproc чрез...
180 изгледи
schedule
29.09.2022
Има ли по-добър начин за зареждане на spark df в BigQuery чрез клъстер PySpark (dataporc)?
В момента използвам кода по-долу, за да заредя данни в BigQuery чрез клъстер на PySpark (dataproc), но или обработката отнема твърде много време, или се прекратява с грешка при превишено време за изпълнение. Има ли по-добър и по-бърз начин за...
93 изгледи
schedule
30.09.2022
Грешка при опит за достъп до BigQuery чрез API ключ (прост API достъп)
401 Unauthorized
- Show headers -
{
"error": {
"errors": [
{
"domain": "global",
"reason": "required",
"message": "Login Required",
"locationType": "header",
"location": "Authorization"
}
],
"code": 401,...
886 изгледи
schedule
29.10.2022
Как да създадете таблица на bigquery и да импортирате от облачно хранилище с помощта на ruby api
Опитвам се да създам таблица в BigQuery - имам един набор от данни и трябва да използвам API, за да добавя таблица и да импортирам данни (json.tar.gz) от облачно хранилище. Трябва да мога да използвам ruby клиента, за да автоматизирам целия процес....
473 изгледи
schedule
28.10.2022
Импортирането на GAE данни през Storage в BigQuery е неуспешно
В Google App Engine създадох резервно копие с помощта на администратора на Datastore. Избрах Google Cloud Storage като дестинация и сега имам кофа с моето резервно копие.
Сега се опитвам да импортирам тези данни в BigQuery.
На уебсайта създадох...
896 изгледи
schedule
27.11.2023
Как се държи bigquery при обработка на голям набор от файлове
Голямата заявка поддържа ли ACID свойства? След като обработите голям брой файлове и последният се провали, това ще върне ли цялото натоварване на заданието?
286 изгледи
schedule
23.10.2022
