> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-fix-nav-issues.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

> Пошаговое руководство по созданию первого ClickPipe для Amazon S3.

# Создание первого ClickPipe для Amazon S3

export const Image = ({img, alt, size}) => {
  return <Frame>
      <img src={img} alt={alt} />
    </Frame>;
};

export const props_0 = undefined

export const provider_0 = "s3"

S3 ClickPipe — это полностью управляемый и отказоустойчивый способ приёма данных из Amazon S3 и S3-совместимых объектных хранилищ в ClickHouse Cloud. Он поддерживает как **однократную загрузку**, так и **непрерывную ингестию** с семантикой «ровно один раз».

<Steps>
  <Step>
    ## Выберите источник данных

    **1.** В ClickHouse Cloud выберите **Data sources** в главном навигационном меню и нажмите **Create ClickPipe**.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step0.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=8604d9b9df8655f1edcdc73536e5def1" alt="Выбор импорта" size="lg" border width="2606" height="790" data-path="images/integrations/data-ingestion/clickpipes/cp_step0.png" />

    {props_0.provider_0 === 's3' && <S3DataSource />}

    {props_0.provider_0 === 'gcs' && <GCSSDataSource />}
  </Step>

  <Step>
    ## Настройте подключение ClickPipe

    **1.** Чтобы настроить новый ClickPipe, необходимо указать параметры подключения и аутентификации для вашего сервиса Объектного хранилища.

    {props_0.provider_0 === 's3' && <S3Connection />}

    {props_0.provider_0 === 'gcs' && <GCSConnection />}

    **2.** Нажмите **Incoming data**. ClickPipes получит метаданные из вашего бакета для следующего шага.
  </Step>

  <Step>
    ## Выберите формат данных

    В интерфейсе отобразится список файлов в указанном бакете.
    Выберите формат данных (сейчас поддерживается только часть форматов ClickHouse), а также укажите, нужно ли включить непрерывный приём.
    Подробнее см. в разделе "continuous ingest" на странице обзора.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=4376b8bfb59f04113f532eb0a420072c" alt="Задать формат данных и topic" size="lg" border width="2336" height="1566" data-path="images/integrations/data-ingestion/clickpipes/cp_step3_object_storage.png" />
  </Step>

  <Step>
    ## Настройте таблицу, схему и параметры

    На следующем шаге вы можете выбрать, выполнять ли приём данных в новую таблицу ClickHouse или использовать существующую.
    Следуйте инструкциям на экране, чтобы изменить имя таблицы, схему и параметры.
    Предварительный просмотр изменений в реальном времени отображается в sample-таблице в верхней части экрана.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step4a.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=b7af999c6e0a73c262f056e55751dba4" alt="Задать таблицу, схему и параметры" size="lg" border width="2734" height="1328" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a.png" />

    Вы также можете настроить дополнительные параметры с помощью доступных элементов управления

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step4a3.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=62cb085edcb38779bf897cee66e60043" alt="Задать расширенные элементы управления" size="lg" border width="1592" height="338" data-path="images/integrations/data-ingestion/clickpipes/cp_step4a3.png" />

    Кроме того, вы можете выбрать приём данных в существующую таблицу ClickHouse.
    В этом случае интерфейс позволит сопоставить поля из источника с полями ClickHouse в выбранной целевой таблице.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step4b.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=5fcb518694a73232d0a0ea7a56a31b81" alt="Использовать существующую таблицу" size="lg" border width="2738" height="1322" data-path="images/integrations/data-ingestion/clickpipes/cp_step4b.png" />

    <Info>
      Вы также можете сопоставлять [virtual columns](/ru/reference/functions/table-functions/s3#virtual-columns), такие как `_path` или `_size`, с полями.
    </Info>
  </Step>

  <Step>
    ## Настройте разрешения

    Наконец, вы можете настроить разрешения для внутреннего пользователя ClickPipes.

    **Разрешения:** ClickPipes создаст отдельного пользователя для записи данных в целевую таблицу. Для этого внутреннего пользователя можно выбрать пользовательскую роль или одну из предопределённых ролей:

    * `Full access`: полный доступ к кластеру. Требуется, если вы используете materialized view или словарь с целевой таблицей.
    * `Only destination table`: только разрешения `INSERT` для целевой таблицы.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_step5.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=26bdb80d849f8e306831cc8b95559738" alt="Разрешения" size="lg" border width="2736" height="1318" data-path="images/integrations/data-ingestion/clickpipes/cp_step5.png" />
  </Step>

  <Step>
    ## Завершите настройку

    Нажав "Complete Setup", вы зарегистрируете ClickPipe, и он появится в сводной таблице.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_success.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=d018023601453375093404901348444f" alt="Уведомление об успешном завершении" size="sm" border width="613" height="212" data-path="images/integrations/data-ingestion/clickpipes/cp_success.png" />

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_remove.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=a076de091319cd10a2891b7653b59e99" alt="Уведомление об удалении" size="lg" border width="2756" height="1320" data-path="images/integrations/data-ingestion/clickpipes/cp_remove.png" />

    В сводной таблице доступны элементы управления для просмотра sample-данных из исходной или целевой таблицы в ClickHouse

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_destination.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=16249fc3debb01d3cfb83f78d10ec18d" alt="Просмотр пункта назначения" size="lg" border width="2758" height="1316" data-path="images/integrations/data-ingestion/clickpipes/cp_destination.png" />

    А также элементы управления для удаления ClickPipe и просмотра сводки по задаче приёма.

    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/lGskH5qUgz9Vtlav/images/integrations/data-ingestion/clickpipes/cp_overview.png?fit=max&auto=format&n=lGskH5qUgz9Vtlav&q=85&s=6d118b6e76a5320b0204eea68147b689" alt="Просмотр обзора" size="lg" border width="3436" height="1076" data-path="images/integrations/data-ingestion/clickpipes/cp_overview.png" />

    **Поздравляем!** Вы успешно настроили свой первый ClickPipe.
    Если этот ClickPipe настроен для непрерывного приёма, он будет работать постоянно и выполнять приём данных в реальном времени из удалённого источника данных.
    В противном случае он обработает батч и завершит работу.
  </Step>
</Steps>
