Criando seu primeiro ClickPipe do GCS

Guia passo a passo para criar seu primeiro ClickPipe do Google Cloud Storage.

O ClickPipe do GCS oferece uma forma totalmente gerenciada e resiliente de realizar a ingestão de dados do Google Cloud Storage (GCS). Ele oferece suporte tanto à ingestão única quanto à ingestão contínua, com semântica exactly-once.

1. ​

   Selecione a fonte de dados

   1. No ClickHouse Cloud, selecione Data sources no menu principal de navegação e clique em Create ClickPipe.

2. ​

   Configure a conexão do ClickPipe

   1. Para configurar um novo ClickPipe, você deve informar como se conectar ao seu serviço de armazenamento de objetos e se autenticar nele.

   2. Clique em Incoming data. O ClickPipes buscará os metadados do seu bucket para a próxima etapa.

3. ​

   Selecione o formato dos dados

   A UI exibirá uma lista de arquivos no bucket especificado. Selecione o formato dos dados (no momento, oferecemos suporte a um subconjunto dos formatos do ClickHouse) e se deseja habilitar a ingestão contínua. Consulte a seção “continuous ingest” na página de visão geral para mais detalhes.

4. ​

   Configure a tabela, o esquema e as configurações

   Na próxima etapa, você poderá escolher se deseja fazer a ingestão dos dados em uma nova tabela do ClickHouse ou reutilizar uma existente. Siga as instruções na tela para alterar o nome da tabela, o esquema e as configurações. Você pode ver uma prévia em tempo real das alterações na tabela de amostra na parte superior.

   Você também pode personalizar as configurações avançadas usando os controles fornecidos

   Como alternativa, você pode optar por fazer a ingestão dos dados em uma tabela existente do ClickHouse. Nesse caso, a UI permitirá mapear campos da origem para os campos do ClickHouse na tabela de destino selecionada.

   Você também pode mapear colunas virtuais, como _path ou _size, para campos.

5. ​

   Configure as permissões

   Por fim, você pode configurar as permissões para o usuário interno do ClickPipes.

   Permissões: O ClickPipes criará um usuário dedicado para gravar dados em uma tabela de destino. Você pode selecionar uma função para esse usuário interno usando uma função personalizada ou uma das funções predefinidas:

   • Full access: com acesso total ao cluster. Obrigatório se você usar visão materializada ou Dicionário com a tabela de destino.
   • Only destination table: com permissões INSERT apenas na tabela de destino.
6. ​

   Conclua a configuração

   Ao clicar em “Complete Setup”, o sistema registrará seu ClickPipe, e você poderá vê-lo listado na tabela de resumo.

   A tabela de resumo fornece controles para exibir dados de amostra da origem ou da tabela de destino no ClickHouse

   Assim como controles para remover o ClickPipe e exibir um resumo do job de ingestão.

   Parabéns! Você configurou com sucesso seu primeiro ClickPipe. Se este for um ClickPipe configurado para ingestão contínua, ele será executado continuamente, fazendo a ingestão de dados em tempo real da sua fonte de dados remota. Caso contrário, ele fará a ingestão do batch e será concluído.