> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-fix-nav-issues.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Легко подключите Postgres к ClickHouse Cloud.

# Ингестия данных из Postgres в ClickHouse (с использованием CDC)

export const Image = ({img, alt, size}) => {
  return <Frame>
      <img src={img} alt={alt} />
    </Frame>;
};

export const galaxyOnClick = eventName => () => {
  try {
    if (typeof window !== "undefined" && window.galaxy && eventName) {
      window.galaxy.track(eventName, {
        interaction: "click"
      });
    }
  } catch (e) {}
};

export const BetaBadge = ({link, galaxyTrack, galaxyEvent}) => {
  if (link) {
    return <a href={link} target="_blank" rel="noopener noreferrer" className="betaBadge" onClick={galaxyTrack && galaxyEvent ? galaxyOnClick(galaxyEvent) : undefined}>
                <Icon />
                <span>Beta</span>
            </a>;
  }
  return <div className="betaBadge">
            <Icon />
            <span>
                Beta feature. 
                <u>
                    <a href="/docs/beta-and-experimental-features#beta-features">
                        Learn more.
                    </a>
                </u>
            </span>
        </div>;
};

Вы можете использовать ClickPipes для ингестии данных из исходной базы данных Postgres в ClickHouse Cloud. Исходная база данных Postgres может размещаться в собственной инфраструктуре или в облаке, включая Amazon RDS, Google Cloud SQL, Azure Database for Postgres, Supabase и другие сервисы.

ClickPipes для Postgres можно развертывать и настраивать вручную через интерфейс ClickPipes, а также программно с помощью [OpenAPI](/ru/integrations/clickpipes/programmatic-access/openapi) и [Terraform](/ru/integrations/clickpipes/programmatic-access/terraform).

<div id="prerequisites">
  ## Предварительные требования
</div>

Для начала убедитесь, что ваша база данных Postgres настроена правильно. В зависимости от используемого исходного экземпляра Postgres вы можете воспользоваться одним из следующих руководств:

1. [Amazon RDS Postgres](/ru/integrations/clickpipes/postgres/source/rds)

2. [Amazon Aurora Postgres](/ru/integrations/clickpipes/postgres/source/aurora)

3. [Supabase Postgres](/ru/integrations/clickpipes/postgres/source/supabase)

4. [Google Cloud SQL Postgres](/ru/integrations/clickpipes/postgres/source/google-cloudsql)

5. [Azure Flexible Server for Postgres](/ru/integrations/clickpipes/postgres/source/azure-flexible-server-postgres)

6. [Neon Postgres](/ru/integrations/clickpipes/postgres/source/neon-postgres)

7. [Crunchy Bridge Postgres](/ru/integrations/clickpipes/postgres/source/crunchy-postgres)

8. [Generic Postgres Source](/ru/integrations/clickpipes/postgres/source/generic), если вы используете любого другого провайдера Postgres или самоуправляемый экземпляр.

9. [TimescaleDB](/ru/integrations/clickpipes/postgres/source/timescale), если вы используете расширение TimescaleDB в управляемом сервисе или самоуправляемом экземпляре.

<Warning>
  Postgres-прокси, такие как PgBouncer, RDS Proxy, Supabase Pooler и т. д., не поддерживаются для репликации на основе CDC. Не используйте их при настройке ClickPipes; вместо этого укажите сведения о подключении к самой базе данных Postgres.
</Warning>

После настройки исходной базы данных Postgres вы можете перейти к созданию ClickPipe.

<div id="creating-your-clickpipe">
  ## Создание ClickPipe
</div>

Убедитесь, что вы вошли в свою учётную запись ClickHouse Cloud. Если у вас ещё нет учётной записи, вы можете зарегистрироваться [здесь](https://cloud.clickhouse.com/).

[//]: # "   TODO update image here"

1. В консоли ClickHouse Cloud перейдите в свой сервис ClickHouse Cloud.

<Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_service.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=1fa8d992c5f2b6c481249d120e8715a2" alt="Сервис ClickPipes" size="lg" border width="1184" height="482" data-path="images/integrations/data-ingestion/clickpipes/cp_service.png" />

2. Выберите кнопку `Data Sources` в меню слева и нажмите "Set up a ClickPipe"

<Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step0.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=8604d9b9df8655f1edcdc73536e5def1" alt="Выбор импортов" size="lg" border width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.png" />

3. Выберите плитку `Postgres CDC`

   <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/postgres-tile.png?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=e21e0c5b13474ae9a6a09a94e6b8f792" alt="Выбор Postgres" size="lg" border width="2612" height="892" data-path="images/integrations/data-ingestion/clickpipes/postgres/postgres-tile.png" />

<div id="adding-your-source-postgres-database-connection">
  ### Добавление подключения к исходной базе данных Postgres
</div>

4. Заполните сведения о подключении к исходной базе данных Postgres, которую вы настроили на этапе предварительной подготовки.

<Info>
  Прежде чем вводить сведения о подключении, убедитесь, что IP-адреса ClickPipes добавлены в белый список в правилах вашего межсетевого экрана. Список IP-адресов ClickPipes можно найти [здесь](/ru/integrations/clickpipes/home#list-of-static-ips).
  Дополнительные сведения см. в руководствах по настройке исходной базы данных Postgres, ссылки на которые приведены [в верхней части этой страницы](#prerequisites).
</Info>

<Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/postgres-connection-details.jpg?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=312c6d55e95ca2c9ea68d9127c974f40" alt="Заполните сведения о подключении" size="lg" border width="1862" height="1628" data-path="images/integrations/data-ingestion/clickpipes/postgres/postgres-connection-details.jpg" />

<div id="optional-setting-up-aws-private-link">
  #### (Необязательно) Настройка AWS Private Link
</div>

Вы можете использовать AWS Private Link для подключения к исходной базе данных Postgres, если она размещена в AWS. Это полезно, если вы
хотите, чтобы передача данных оставалась закрытой.
Вы можете воспользоваться [руководством по настройке подключения](/ru/integrations/clickpipes/aws-privatelink).

<div id="optional-setting-up-ssh-tunneling">
  #### (Необязательно) Настройка SSH-туннелирования
</div>

Вы можете указать параметры SSH-туннеля, если ваша исходная база данных Postgres недоступна из интернета.

1. Включите переключатель "Use SSH Tunnelling".

2. Заполните сведения об SSH-подключении.

   <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/ssh-tunnel.jpg?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=c257ddbc479fb91047b029a3ddef29aa" alt="SSH-туннелирование" size="lg" border width="1780" height="1342" data-path="images/integrations/data-ingestion/clickpipes/postgres/ssh-tunnel.jpg" />

3. Чтобы использовать аутентификацию по ключу, нажмите "Revoke and generate key pair", чтобы сгенерировать новую пару ключей, затем скопируйте созданный открытый ключ на SSH-сервер в `~/.ssh/authorized_keys`.

4. Нажмите "Verify Connection", чтобы проверить подключение.

<Note>
  Убедитесь, что [IP-адреса ClickPipes](/ru/integrations/clickpipes/home#list-of-static-ips) добавлены в список разрешённых в правилах межсетевого экрана для SSH-бастиона, чтобы ClickPipes мог установить SSH-туннель.
</Note>

После заполнения сведений о подключении нажмите "Next".

<div id="configuring-the-replication-settings">
  ### Настройка параметров репликации
</div>

5. Убедитесь, что вы выбрали слот репликации в раскрывающемся списке, созданном на этапе предварительной подготовки.

   <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/select-replication-slot.jpg?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=e551bfd9e2dad4865b1fdce36347dc60" alt="Выберите слот репликации" size="lg" border width="1900" height="640" data-path="images/integrations/data-ingestion/clickpipes/postgres/select-replication-slot.jpg" />

<div id="advanced-settings">
  #### Дополнительные настройки
</div>

При необходимости вы можете настроить дополнительные параметры. Ниже приведено краткое описание каждого из них:

* **Sync interval**: Интервал, с которым ClickPipes будет опрашивать исходную базу данных на наличие изменений. Он влияет на целевой сервис ClickHouse, поэтому, если для вас важна стоимость, рекомендуем установить большее значение (свыше `3600`).
* **Parallel threads for initial load**: Количество параллельных воркеров, которые будут использоваться для получения начального снимка. Это полезно, если у вас много таблиц и вы хотите контролировать число параллельных воркеров для получения начального снимка. Этот параметр задается отдельно для каждой таблицы.
* **Pull batch size**: Количество строк, извлекаемых за один батч. Это параметр типа best effort, поэтому он может соблюдаться не во всех случаях.
* **Snapshot number of rows per partition**: Количество строк, извлекаемых в каждой партиции при создании начального снимка. Это полезно, если в ваших таблицах много строк и вы хотите контролировать, сколько строк извлекается в каждой партиции.
* **Snapshot number of tables in parallel**: Количество таблиц, которые будут извлекаться параллельно при создании начального снимка. Это полезно, если у вас много таблиц и вы хотите контролировать число таблиц, извлекаемых параллельно.

<div id="configuring-the-tables">
  ### Настройка таблиц
</div>

6. Здесь можно выбрать целевую базу данных для вашего ClickPipe. Вы можете выбрать существующую базу данных или создать новую.

   <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/select-destination-db.jpg?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=0970de1608fab2caacec735632acf50f" alt="Выбор целевой базы данных" size="lg" border width="2528" height="546" data-path="images/integrations/data-ingestion/clickpipes/postgres/select-destination-db.jpg" />

7. Вы можете выбрать таблицы, которые хотите реплицировать из исходной базы данных Postgres. При выборе таблиц можно также переименовать их в целевой базе данных ClickHouse и исключить отдельные столбцы.

<Warning>
  Если вы задаёте ключ сортировки в ClickHouse иначе, чем на основе первичного ключа в Postgres, не забудьте ознакомиться со всеми [особенностями](/ru/integrations/clickpipes/postgres/ordering-keys), связанными с этим.
</Warning>

<div id="review-permissions-and-start-the-clickpipe">
  ### Проверьте разрешения и запустите ClickPipe
</div>

8. Выберите роль "Full access" в раскрывающемся списке разрешений и нажмите "Complete Setup".

   <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/8xU-7NRzcVe16bmG/images/integrations/data-ingestion/clickpipes/postgres/ch-permissions.jpg?fit=max&auto=format&n=8xU-7NRzcVe16bmG&q=85&s=220285c9d16d656b26c97fd0587b9086" alt="Проверка разрешений" size="lg" border width="1844" height="716" data-path="images/integrations/data-ingestion/clickpipes/postgres/ch-permissions.jpg" />

<div id="whats-next">
  ## Что дальше?
</div>

После того как вы настроите ClickPipe для репликации данных из PostgreSQL в ClickHouse Cloud, можно сосредоточиться на том, как запрашивать и моделировать данные для достижения оптимальной производительности. См. [руководство по миграции](/ru/get-started/migrate/postgres/overview), чтобы оценить, какая стратегия лучше всего соответствует вашим требованиям, а также страницы [Стратегии дедупликации (с использованием CDC)](/ru/integrations/clickpipes/postgres/deduplication) и [Ключи упорядочивания](/ru/integrations/clickpipes/postgres/ordering-keys) с рекомендациями по работе с CDC-нагрузками.

Ответы на распространённые вопросы о CDC в PostgreSQL и устранении неполадок см. на [странице FAQ по Postgres](/ru/integrations/clickpipes/postgres/faq).