Ingestão de dados do MongoDB para o ClickHouse (usando CDC)

Descreve como conectar seu MongoDB ao ClickHouse Cloud sem complicações.

A ingestão de dados do MongoDB para o ClickHouse Cloud via ClickPipes está em beta público.

No console e na documentação do ClickHouse Cloud, “tabela” e “coleção” são usados indistintamente para o MongoDB.

Você pode usar o ClickPipes para ingerir dados do seu banco de dados MongoDB no ClickHouse Cloud. O banco de dados MongoDB de origem pode ser hospedado no seu próprio ambiente ou na nuvem, usando serviços como o MongoDB Atlas.

Os ClickPipes para MongoDB podem ser implantados e gerenciados manualmente usando a UI do ClickPipes, bem como de forma programática usando OpenAPI e Terraform.

​

Pré-requisitos

Para começar, primeiro você precisa garantir que seu banco de dados MongoDB esteja configurado corretamente para replicação. As etapas de configuração dependem de como o MongoDB está sendo implantado, portanto siga o guia correspondente abaixo:

1. MongoDB Atlas

2. MongoDB genérico

3. Amazon DocumentDB

Depois que o banco de dados MongoDB de origem estiver configurado, você poderá prosseguir com a criação do ClickPipe.

​

Crie seu ClickPipe

Certifique-se de que você está conectado à sua conta do ClickHouse Cloud. Se ainda não tiver uma conta, cadastre-se aqui.

1. No console do ClickHouse Cloud, navegue até seu serviço do ClickHouse Cloud.

2. Selecione o botão Data Sources no menu à esquerda e clique em “Set up a ClickPipe”.

3. Selecione o bloco MongoDB CDC.

​

Adicione a conexão com o banco de dados MongoDB de origem

4. Preencha os detalhes da conexão com o banco de dados MongoDB de origem que você configurou na etapa de pré-requisitos.

Antes de começar a inserir os detalhes da conexão, certifique-se de que você adicionou os endereços IP do ClickPipes à lista de permissões nas regras do seu firewall. Na página a seguir, você encontra uma lista de endereços IP do ClickPipes. Para mais informações, consulte os guias de configuração do MongoDB de origem indicados no topo desta página.

​

(Opcional) Configure o túnel SSH

Você pode especificar os detalhes do túnel SSH se o seu banco de dados MongoDB de origem não estiver acessível publicamente.

1. Ative a opção “Usar túnel SSH”.

2. Preencha os detalhes da conexão SSH.

3. Para usar autenticação baseada em chave, clique em “Revogar e gerar par de chaves” para gerar um novo par de chaves e copie a chave pública gerada para o seu servidor SSH em ~/.ssh/authorized_keys.

4. Clique em “Verificar conexão” para verificar a conexão.

Certifique-se de adicionar endereços IP do ClickPipes à lista de permissões nas regras do firewall do host bastion SSH, para que o ClickPipes possa estabelecer o túnel SSH.

Depois de preencher os detalhes da conexão, clique em Next.

​

Configure as configurações avançadas

Se necessário, você pode ajustar as configurações avançadas. Uma breve descrição de cada configuração é fornecida abaixo:

• Intervalo de sincronização: Este é o intervalo em que o ClickPipes consultará o banco de dados de origem em busca de alterações. Isso afeta o serviço ClickHouse de destino; para usuários com maior sensibilidade a custos, recomendamos manter esse valor mais alto (acima de 3600).
• Tamanho do lote de extração: O número de linhas a serem buscadas em um único lote. Esta é uma configuração de melhor esforço e pode não ser aplicada em todos os casos.
• Número de tabelas no snapshot em paralelo: Este é o número de tabelas que serão buscadas em paralelo durante o snapshot inicial. Isso é útil quando você tem um grande número de tabelas e deseja controlar quantas tabelas serão buscadas em paralelo.

​

Configure as tabelas

5. Aqui, você pode selecionar o banco de dados de destino do seu ClickPipe. Você pode escolher um banco de dados existente ou criar um novo.

6. Você pode selecionar as tabelas que deseja replicar do banco de dados de origem do MongoDB. Ao selecionar as tabelas, também é possível optar por renomeá-las no banco de dados de destino do ClickHouse.

​

Revise as permissões e inicie o ClickPipe

7. Selecione a função “Acesso total” na lista suspensa de permissões e clique em “Concluir Setup”.

​

O que vem depois?

Depois de configurar seu ClickPipe para replicar dados do MongoDB para o ClickHouse Cloud, você pode se concentrar em como consultar e modelar seus dados para obter o melhor desempenho.

​

Ressalvas

Aqui estão algumas ressalvas a considerar ao usar este conector:

• Exigimos o MongoDB na versão 5.1.0 ou superior.
• Usamos a API nativa de Change Streams do MongoDB para CDC, que depende do oplog do MongoDB para capturar alterações em tempo real.
• Os documentos do MongoDB são replicados no ClickHouse como JSON type por padrão. Isso permite um gerenciamento flexível do esquema e possibilita o uso do amplo conjunto de operadores JSON do ClickHouse para consultas e análises. Você pode saber mais sobre como consultar dados JSON aqui.
• A configuração de PrivateLink por autoatendimento não está disponível no momento. Se você usa AWS e precisa de PrivateLink, entre em contato com [e-mail] ou crie um ticket de suporte — trabalharemos com você para habilitá-lo.