> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-fix-nav-issues.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Пошаговое руководство по созданию первого BigQuery ClickPipe.

# Создание первого BigQuery ClickPipe

export const Image = ({img, alt, size}) => {
  return <Frame>
      <img src={img} alt={alt} />
    </Frame>;
};

<PrivatePreviewBadge />

<Note>
  Вы можете записаться в список ожидания закрытой предварительной версии [здесь](https://clickhouse.com/cloud/clickpipes/bigquery-connector).
</Note>

BigQuery ClickPipe предоставляет полностью управляемый и отказоустойчивый способ приёма данных из BigQuery в ClickHouse Cloud. В закрытой предварительной версии поддерживается метод репликации **первоначальной загрузки**, который позволяет массово загружать наборы данных BigQuery для анализа и прототипирования. Поддержка **CDC** появится в будущем — а пока мы рекомендуем использовать [Google Cloud Storage ClickPipe](/ru/integrations/clickpipes/object-storage/google-cloud-storage/overview), чтобы после завершения первоначальной загрузки непрерывно синхронизировать экспортированные из BigQuery данные с ClickHouse Cloud.

BigQuery ClickPipes можно вручную развёртывать и настраивать через интерфейс ClickPipes, а также программно с помощью [OpenAPI](/ru/integrations/clickpipes/programmatic-access/openapi) и [Terraform](/ru/integrations/clickpipes/programmatic-access/terraform).

<div id="pre-requisites">
  ## Предварительные требования
</div>

* У вас должны быть права на управление [сервисными аккаунтами](https://docs.cloud.google.com/iam/docs/service-account-overview) и [ролями IAM](https://docs.cloud.google.com/iam/docs/roles-overview) в вашем проекте GCP, либо вам потребуется помощь администратора. Мы рекомендуем создать отдельный сервисный аккаунт с минимально необходимым набором [разрешений](/ru/integrations/clickpipes/bigquery/overview#permissions), следуя [официальной документации](https://docs.cloud.google.com/iam/docs/service-accounts-create).

* Для процесса первоначальной загрузки требуется бакет Google Cloud Storage (GCS), предоставляемый пользователем, в качестве промежуточного хранилища. Мы рекомендуем создать отдельный бакет для вашего ClickPipe, следуя [официальной документации](https://docs.cloud.google.com/storage/docs/creating-buckets). В будущем промежуточный бакет будет предоставляться и управляться ClickPipes.

<Steps>
  <Step>
    ## Выберите источник данных

    **1.** В ClickHouse Cloud выберите **Data sources** в главном меню навигации и нажмите **Create ClickPipe**.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step0.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=8604d9b9df8655f1edcdc73536e5def1" alt="Выбор импортов" size="lg" border width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.png" />

    **2.** Нажмите на плитку **BigQuery**.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/bigquery/cp_step1.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=cf2b358168de549c14d7fd09183a78eb" alt="Выбор плитки BigQuery" size="lg" border width="2680" height="1070" data-path="images/integrations/data-ingestion/clickpipes/bigquery/cp_step1.png" />
  </Step>

  <Step>
    ## Настройте подключение ClickPipe

    Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего хранилища данных BigQuery, а также GCS-бакет для промежуточного хранилища.

    **1.** Загрузите ключ `.json` для сервисного аккаунта, который вы создали для ClickPipes. Убедитесь, что у сервисного аккаунта есть минимально необходимый набор [разрешений](/ru/integrations/clickpipes/bigquery/overview#permissions).

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/bigquery/cp_step2.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=ddff544bb7e7fd67b064a895f8ce2303" alt="Загрузка ключа сервисного аккаунта" size="lg" border width="2684" height="926" data-path="images/integrations/data-ingestion/clickpipes/bigquery/cp_step2.png" />

    **2.** Выберите **Replication method**. В закрытой предварительной версии поддерживается только вариант [**Initial load only**](/ru/integrations/clickpipes/bigquery/overview#initial-load).

    **3.** Укажите путь к GCS-бакету для промежуточного хранения данных во время первоначальной загрузки.

    **4.** Нажмите **Next**, чтобы выполнить проверку.
  </Step>

  <Step>
    ## Настройте ClickPipe

    В зависимости от размера вашего набора данных BigQuery или общего объёма таблиц, которые вы хотите синхронизировать, может потребоваться изменить стандартные настройки ингестии для ClickPipe.
  </Step>

  <Step>
    ## Настройте таблицы

    **1.** Выберите базу данных ClickHouse, в которую нужно реплицировать таблицы BigQuery. Вы можете выбрать существующую базу данных или создать новую.

    **2.** Выберите таблицы и, при необходимости, столбцы, которые вы хотите реплицировать. В списке будут показаны только те наборы данных, к которым у указанного сервисного аккаунта есть доступ.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/bigquery/cp_step3.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=ac99a36331b0544e971a12d3c03db2eb" alt="Разрешения" size="lg" border width="2682" height="1430" data-path="images/integrations/data-ingestion/clickpipes/bigquery/cp_step3.png" />

    **3.** Для каждой выбранной таблицы обязательно задайте пользовательский ключ сортировки в разделе **Advanced settings** > **Use a custom sorting key**. В будущем ключ сортировки будет автоматически определяться на основе существующих ключей кластеризации или ключей партиционирования в исходной базе данных.

    <Warning>
      Для реплицируемых таблиц вы **должны** определить [ключ сортировки](/ru/concepts/best-practices/choosing-a-primary-key), чтобы оптимизировать производительность запросов в ClickHouse. В противном случае в качестве ключа сортировки будет установлено `tuple()`, а это означает, что первичный индекс создан не будет и ClickHouse будет выполнять полное сканирование таблицы для всех запросов к ней.
    </Warning>

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/bigquery/cp_step4.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=f81d335790a2925bce852e89dc9c4f6b" alt="Разрешения" size="lg" border width="2676" height="854" data-path="images/integrations/data-ingestion/clickpipes/bigquery/cp_step4.png" />
  </Step>

  <Step>
    ## Настройте разрешения

    Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

    **Permissions:** ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Вы можете назначить этому внутреннему пользователю пользовательскую роль или одну из предопределённых ролей:

    * `Full access`: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
    * `Only destination`: разрешения на вставку только в целевую таблицу.
  </Step>

  <Step>
    ## Завершите настройку

    Нажмите **Create ClickPipe**, чтобы завершить настройку. Вы будете перенаправлены на страницу обзора, где сможете отслеживать ход первоначальной загрузки и перейти к подробной информации о ваших ClickPipes для BigQuery.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/bigquery/cp_step5.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=2e6af8122ceb36c7c66b1648ea010867" alt="Разрешения" size="lg" border width="2682" height="918" data-path="images/integrations/data-ingestion/clickpipes/bigquery/cp_step5.png" />
  </Step>
</Steps>