> ## Documentation Index
> Fetch the complete documentation index at: https://private-7c7dfe99-fix-nav-issues.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Хранилище данных

> Создавайте современные архитектуры хранилищ данных, сочетая гибкость озер данных с производительностью ClickHouse Cloud

export const Image = ({img, alt, size}) => {
  return <Frame>
      <img src={img} alt={alt} />
    </Frame>;
};

export const ExclusiveGroup = ({name, children}) => {
  useEffect(() => {
    document.querySelectorAll(`[data-eg="${name}"] details`).forEach(d => d.setAttribute('name', name));
  });
  return <div data-eg={name}>{children}</div>;
};

Современное хранилище данных больше не предполагает жёсткой связки между хранилищем и вычислительными ресурсами. Вместо этого отдельные, но взаимосвязанные слои хранения, управления и обработки запросов дают вам гибкость в выборе подходящих инструментов для ваших рабочих процессов.

Добавив открытые табличные форматы и высокопроизводительный движок запросов, такой как ClickHouse, к облачному объектному хранилищу, вы получаете возможности уровня базы данных — ACID-транзакции, соблюдение схемы и быстрые аналитические запросы — без ущерба для открытости вашего озера данных. Такое сочетание объединяет высокую производительность с совместимым и экономичным хранилищем, поддерживая как традиционную аналитику, так и современные рабочие нагрузки AI/ML.

<div id="benefits">
  ## Что даёт эта архитектура
</div>

Объединив открытое объектное хранилище и форматы таблиц с ClickHouse в качестве движка для выполнения запросов, вы получаете:

| Преимущество                                       | Описание                                                                                                                                                                                                                                                                                                                                                               |
| -------------------------------------------------- | ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------- |
| **Согласованные обновления таблиц**                | Атомарные коммиты состояния таблицы означают, что параллельные записи не приводят к повреждению данных и не оставляют их в частичном состоянии. Это решает одну из самых серьёзных проблем необработанных озёр данных.                                                                                                                                                 |
| **Управление схемой**                              | Обязательная валидация и отслеживание изменений схемы предотвращают проблему «болота данных», когда данные становятся непригодными к использованию из-за несогласованности схем.                                                                                                                                                                                       |
| **Производительность запросов**                    | Индексирование, статистика и оптимизация структуры данных — например, пропуск данных и кластеризация — позволяют SQL-запросам выполняться со скоростью, сопоставимой со специализированным хранилищем данных. В сочетании со столбцовым движком ClickHouse это справедливо даже для данных, хранящихся в объектном хранилище.                                          |
| **Управление данными**                             | Каталоги и форматы таблиц обеспечивают детализированное управление доступом и аудит на уровне строк и столбцов, компенсируя ограниченные возможности безопасности в обычных озёрах данных.                                                                                                                                                                             |
| **Разделение хранилища и вычислительных ресурсов** | Хранилище и вычислительные ресурсы масштабируются независимо в стандартном объектном хранилище, которое значительно дешевле проприетарного хранилища данных. Хотя такое разделение стало стандартом для современных облачных хранилищ данных, открытые форматы позволяют выбрать, *какой именно* вычислительный движок будет масштабироваться вместе с вашими данными. |

<div id="architecture">
  ## Как ClickHouse обеспечивает работу вашего хранилища данных
</div>

Данные поступают из стриминговых платформ и существующих хранилищ данных через объектное хранилище в ClickHouse, где они преобразуются, оптимизируются и становятся доступны вашим BI/AI-инструментам.

<Columns cols={2}>
  <div>
    <Image img="https://mintcdn.com/private-7c7dfe99-fix-nav-issues/-5HsuqGEaVjyHCfx/images/cloud/onboard/discover/use_cases/data-warehousing.png?fit=max&auto=format&n=-5HsuqGEaVjyHCfx&q=85&s=f735c497f5b3fd0c6bdfe3a92445ae24" alt="Архитектура хранилища данных ClickHouse" width="2244" height="4252" data-path="images/cloud/onboard/discover/use_cases/data-warehousing.png" />
  </div>

  <ExclusiveGroup name="dw-arch">
    <AccordionGroup>
      <Accordion title="Ингестия данных" defaultOpen>
        Для массовой загрузки данных обычно используют объектное хранилище, например S3 или GCS, в качестве промежуточного слоя. Благодаря высокой производительности ClickHouse при чтении [Parquet](/ru/guides/clickhouse/data-formats/parquet) вы можете загружать данные со скоростью сотни миллионов строк в секунду, используя [S3 table engine](/ru/reference/engines/table-engines/integrations/s3). Для стриминга в реальном времени [ClickPipes](/ru/integrations/clickpipes/home) подключается напрямую к таким платформам, как Kafka и Confluent.

        Вы также можете мигрировать из существующих хранилищ данных, таких как Snowflake, BigQuery и Databricks, экспортируя данные в объектное хранилище и загружая их в ClickHouse через [table engines](/ru/reference/engines/table-engines).
      </Accordion>

      <Accordion title="Запросы">
        Вы можете выполнять запросы к данным напрямую в объектных хранилищах, таких как S3 и GCS, или в озерах данных с открытыми табличными форматами, такими как [Iceberg](/ru/reference/engines/table-engines/integrations/iceberg), [Delta Lake](/ru/reference/engines/table-engines/integrations/deltalake) и [Hudi](/ru/reference/engines/table-engines/integrations/hudi), — напрямую или через каталоги данных, такие как [AWS Glue Catalog](/ru/guides/use-cases/data-warehousing/glue-catalog), [Unity Catalog](/ru/guides/use-cases/data-warehousing/unity-catalog) и [Iceberg REST](/ru/guides/use-cases/data-warehousing/rest-catalog).

        ClickHouse Cloud предлагает [кэш запросов](/ru/concepts/features/performance/caches/query-cache), [разреженные индексы](/ru/concepts/features/performance/skip-indexes/skipping-indexes) и [проекции](/ru/concepts/features/projections/projections) из коробки, а также более 70 форматов файлов и SQL-функции для работы с датами, массивами, JSON, геоданными и приближёнными агрегациями на больших масштабах.
      </Accordion>

      <Accordion title="Преобразование данных">
        [Materialized views](/ru/concepts/features/materialized-views) в ClickHouse автоматизируют преобразования — они срабатывают при вставке новых данных в исходные таблицы, поэтому вы можете извлекать, агрегировать и изменять данные по мере их поступления без создания специализированных конвейеров.

        Для более сложного моделирования [интеграция ClickHouse с dbt](/ru/integrations/connectors/data-ingestion/etl-tools/dbt) позволяет определять преобразования как SQL-модели с контролем версий.
      </Accordion>

      <Accordion title="Интеграции">
        ClickHouse имеет нативные коннекторы для BI-инструментов, таких как [Tableau](/ru/integrations/connectors/data-visualization/tableau/tableau-and-clickhouse) и [Looker](/ru/integrations/connectors/data-visualization/looker-and-clickhouse). Инструменты без нативного коннектора могут подключаться через [протокол MySQL](/ru/concepts/features/interfaces/mysql). [MCP server](/ru/guides/use-cases/ai-ml/MCP) подключает ClickHouse к LLM для диалоговой аналитики, а гибкие механизмы управления доступом [RBAC](/ru/concepts/features/security/access-rights) позволяют безопасно предоставлять таблицы в режиме только для чтения.
      </Accordion>
    </AccordionGroup>
  </ExclusiveGroup>
</Columns>

<div id="hybrid-architecture-the-best-of-both-worlds">
  ## Гибридная архитектура: лучшее из двух миров
</div>

Помимо запросов к озеру данных, вы можете направлять критичные к производительности данные в нативное хранилище ClickHouse [MergeTree](/ru/reference/engines/table-engines/mergetree-family/mergetree) для сценариев, где требуется минимальная задержка — панели мониторинга в реальном времени, операционная аналитика или интерактивные приложения.

Это даёт вам многоуровневую стратегию хранения данных. Горячие, часто используемые данные находятся в оптимизированном хранилище ClickHouse, обеспечивая время отклика запросов менее секунды, а полная история данных остаётся в озере и по-прежнему доступна для запросов. Вы также можете использовать materialized view в ClickHouse, чтобы непрерывно преобразовывать и агрегировать данные из озера в оптимизированные таблицы, автоматически связывая эти два уровня.

Вы сами выбираете, где будут храниться данные, исходя из требований к производительности, а не из технических ограничений.

<Tip>
  **ClickHouse Academy**

  Пройдите бесплатный курс [хранилище данных with ClickHouse](https://clickhouse.com/learn/data-warehousing), чтобы узнать больше.
</Tip>