Google BigЗапрос
Запросы, перечисление и вставка данных в Google BigЗапрос
Google BigЗапрос — это полностью управляемый бессерверный склад данных Google Cloud, предназначенный для аналитики больших данных. BigЗапрос позволяет выполнять быстрые SQL-запросы к огромным наборам данных, что делает его идеальным для бизнес-аналитики, исследования данных и конвейеров машинного обучения.
С интеграцией Google BigЗапрос в AACFlow вы можете:
- Выполнять SQL-запросы: Выполнять запросы к вашим наборам данных BigЗапрос и получать результаты для анализа или дальнейшей обработки
- Перечислять наборы данных: Просматривать доступные наборы данных в проекте Google Cloud
- Перечислять и инспектировать таблицы: Перечислять таблицы в наборе данных и получать подробную информацию о схеме
- Вставлять строки: Потоково добавлять новые строки в таблицы BigЗапрос для приема данных в реальном времени
В AACFlow интеграция с Google BigЗапрос позволяет вашим агентам выполнять запросы к наборам данных, инспектировать схемы и вставлять строки как часть автоматизированных рабочих процессов. Это идеально подходит для автоматизированной отчетности, оркестрации конвейеров данных, приема данных в реальном времени и принятия решений на основе аналитики.
Подключитесь к Google BigЗапрос для выполнения SQL-запросов, перечисления наборов данных и таблиц, получения метаданных таблиц и вставки строк.
Выполнить SQL-запрос к Google BigЗапрос и вернуть результаты
| Параметр | Тип | Обязательный | Описание |
|---|
projectId | string | Да | ID проекта Google Cloud |
query | string | Да | SQL-запрос для выполнения |
useLegacySql | boolean | Нет | Использовать ли устаревший синтаксис SQL (по умолчанию: false) |
maxResults | number | Нет | Максимальное количество возвращаемых строк |
defaultDatasetId | string | Нет | Набор данных по умолчанию для неквалифицированных имен таблиц |
location | string | Нет | Местоположение обработки (например, "US", "EU") |
| Параметр | Тип | Описание |
|---|
columns | array | Массив имен столбцов из результата запроса |
rows | array | Массив объектов строк, ключами которых являются имена столбцов |
totalRows | string | Общее количество строк в полном наборе результатов |
jobComplete | boolean | Завершился ли запрос в пределах таймаута |
totalBytesProcessed | string | Общее количество обработанных байтов запросом |
cacheHit | boolean | Был ли результат запроса получен из кэша |
jobReference | object | Ссылка на задание (полезно, когда jobComplete равен false) |
↳ projectId | string | ID проекта, содержащего задание |
↳ jobId | string | Уникальный идентификатор задания |
↳ location | string | Географическое местоположение задания |
pageToken | string | Токен для получения дополнительных страниц результатов |
Перечислить все наборы данных в проекте Google BigЗапрос
| Параметр | Тип | Обязательный | Описание |
|---|
projectId | string | Да | ID проекта Google Cloud |
maxResults | number | Нет | Максимальное количество возвращаемых наборов данных |
pageToken | string | Нет | Токен для пагинации |
| Параметр | Тип | Описание |
|---|
datasets | array | Массив объектов наборов данных |
↳ datasetId | string | Уникальный идентификатор набора данных |
↳ projectId | string | ID проекта, содержащего этот набор данных |
↳ friendlyName | string | Описательное имя для набора данных |
↳ location | string | Географическое местоположение, где находятся данные |
nextPageToken | string | Токен для получения следующей страницы результатов |
Перечислить все таблицы в наборе данных Google BigЗапрос
| Параметр | Тип | Обязательный | Описание |
|---|
projectId | string | Да | ID проекта Google Cloud |
datasetId | string | Да | ID набора данных BigQuery |
maxResults | number | Нет | Максимальное количество возвращаемых таблиц |
pageToken | string | Нет | Токен для пагинации |
| Параметр | Тип | Описание |
|---|
tables | array | Массив объектов таблиц |
↳ tableId | string | Идентификатор таблицы |
↳ datasetId | string | ID набора данных, содержащего эту таблицу |
↳ projectId | string | ID проекта, содержащего эту таблицу |
↳ type | string | Тип таблицы (TABLE, VIEW, EXTERNAL и т.д.) |
↳ friendlyName | string | Понятное имя для таблицы |
↳ creationTime | string | Время создания в миллисекундах с эпохи |
totalItems | number | Общее количество таблиц в наборе данных |
nextPageToken | string | Токен для получения следующей страницы результатов |
Получить метаданные и схему для таблицы Google BigЗапрос
| Параметр | Тип | Обязательный | Описание |
|---|
projectId | string | Да | ID проекта Google Cloud |
datasetId | string | Да | ID набора данных BigQuery |
tableId | string | Да | ID таблицы BigQuery |
| Параметр | Тип | Описание |
|---|
tableId | string | ID таблицы |
datasetId | string | ID набора данных |
projectId | string | ID проекта |
type | string | Тип таблицы (TABLE, VIEW, SNAPSHOT, MATERIALIZED_VIEW, EXTERNAL) |
description | string | Описание таблицы |
numRows | string | Общее количество строк |
numBytes | string | Общий размер в байтах, исключая данные в буфере потоковой передачи |
schema | array | Массив определений столбцов |
↳ name | string | Имя столбца |
↳ type | string | Тип данных (STRING, INTEGER, FLOAT, BOOLEAN, TIMESTAMP, RECORD и т.д.) |
↳ mode | string | Режим столбца (NULLABLE, REQUIRED или REPEATED) |
↳ description | string | Описание столбца |
creationTime | string | Время создания таблицы (миллисекунды с эпохи) |
lastModifiedTime | string | Время последнего изменения (миллисекунды с эпохи) |
location | string | Географическое местоположение, где находится таблица |
Вставить строки в таблицу Google BigЗапрос с использованием потоковой вставки
| Параметр | Тип | Обязательный | Описание |
|---|
projectId | string | Да | ID проекта Google Cloud |
datasetId | string | Да | ID набора данных BigQuery |
tableId | string | Да | ID таблицы BigQuery |
rows | string | Да | JSON-массив объектов строк для вставки |
skipInvalidRows | boolean | Нет | Вставлять ли допустимые строки, даже если некоторые недопустимы |
ignoreUnknownValues | boolean | Нет | Игнорировать ли столбцы, отсутствующие в схеме таблицы |
| Параметр | Тип | Описание |
|---|
insertedRows | number | Количество успешно вставленных строк |
errors | array | Массив ошибок вставки для каждой строки (пустой, если все успешно) |
↳ index | number | Индекс строки, которая не удалась (начиная с 0) |
↳ errors | array | Детали ошибки для этой строки |
↳ reason | string | Краткий код ошибки, суммирующий ошибку |
↳ location | string | Место возникновения ошибки |
↳ message | string | Человекочитаемое описание ошибки |