> ## Documentation Index > Fetch the complete documentation index at: https://private-7c7dfe99-fix-nav-issues.mintlify.site/llms.txt > Use this file to discover all available pages before exploring further. > LAION 5Bデータセットからの1億個のベクトルを含むデータセット # LAION 5Bデータセット export const Image = ({img, alt, size}) => { return {alt} ; };
## はじめに
[LAION 5Bデータセット](https://laion.ai/blog/laion-5b/) には、58.5億件の画像・テキスト埋め込みと、 関連する画像メタデータが含まれています。これらの埋め込みは、`Open AI CLIP` モデル [ViT-L/14](https://huggingface.co/sentence-transformers/clip-ViT-L-14) を使用して生成されました。各 埋め込みベクトルの次元は `768` です。 このデータセットは、大規模な 実運用のベクトル検索アプリケーションにおける設計、サイジング、性能面の検討に利用できます。また、テキストから画像への検索と 画像から画像への検索の両方に使用できます。
## データセットの詳細
完全なデータセットは、`npy` ファイルと `Parquet` ファイルが混在する形で [the-eye.eu](https://the-eye.eu/public/AI/cah/laion5b/) から入手できます。 ClickHouse は、1億件のベクトルのサブセットを `S3` バケットで公開しています。 この `S3` バケットには 10 個の `Parquet` ファイルが含まれており、各 `Parquet` ファイルには 1,000 万行が含まれています。 このデータセットに必要なストレージ容量とメモリ要件を見積もるため、まず [ドキュメント](/ja/reference/engines/table-engines/mergetree-family/annindexes) を参照してサイジングを行うことを推奨します。
## 手順
### テーブルを作成 埋め込みとそれに関連する属性を保存するために、`laion_5b_100m` テーブルを作成します。 ```sql theme={null} CREATE TABLE laion_5b_100m ( id UInt32, image_path String, caption String, NSFW Nullable(String) default 'unknown', similarity Float32, LICENSE Nullable(String), url String, key String, status LowCardinality(String), width Int32, height Int32, original_width Int32, original_height Int32, exif Nullable(String), md5 String, vector Array(Float32) CODEC(NONE) ) ENGINE = MergeTree ORDER BY (id) ``` `id` は単に連番の整数です。追加の属性は、[ドキュメント](/ja/reference/engines/table-engines/mergetree-family/annindexes) で説明されている ポストフィルタリング／プリフィルタリングを組み合わせたベクトル類似度検索を理解するために、述語条件で使用できます ### データを読み込む すべての`Parquet`ファイルからデータセットを読み込むには、次のSQLステートメントを実行してください。 ```sql theme={null} INSERT INTO laion_5b_100m SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/laion-5b/laion5b_100m_*.parquet'); ``` 1億行をテーブルに読み込むには、数分かかります。 あるいは、個別のSQLステートメントを実行して、読み込むファイル数や行数を指定することもできます。 ```sql theme={null} INSERT INTO laion_5b_100m SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/laion-5b/laion5b_100m_part_1_of_10.parquet'); INSERT INTO laion_5b_100m SELECT * FROM s3('https://clickhouse-datasets.s3.amazonaws.com/laion-5b/laion5b_100m_part_2_of_10.parquet'); ⋮ ``` ### ブルートフォースによるベクトル類似度検索の実行 KNN (k最近傍法) 探索またはブルートフォース探索では、データセット内の各ベクトルと検索用の埋め込みベクトルとの距離を計算し、その距離を並べ替えることで最近傍を取得します。データセット自体のベクトルの1つを検索ベクトルとして使用することもできます。例： ```sql title="Query" theme={null} SELECT id, url FROM laion_5b_100m ORDER BY cosineDistance( vector, (SELECT vector FROM laion_5b_100m WHERE id = 9999) ) ASC LIMIT 20 id = 9999 の行のベクトルは、デリレストランのイメージの埋め込みです。 ``` ```response title="Response" highlight={24} theme={null} ┌───────id─┬─url───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┐ 1. │ 9999 │ https://certapro.com/belleville/wp-content/uploads/sites/1369/2017/01/McAlistersFairviewHgts.jpg │ 2. │ 60180509 │ https://certapro.com/belleville/wp-content/uploads/sites/1369/2017/01/McAlistersFairviewHgts-686x353.jpg │ 3. │ 1986089 │ https://www.gannett-cdn.com/-mm-/ceefab710d945bb3432c840e61dce6c3712a7c0a/c=30-0-4392-3280/local/-/media/2017/02/14/FortMyers/FortMyers/636226855169587730-McAlister-s-Exterior-Signage.jpg?width=534&height=401&fit=crop │ 4. │ 51559839 │ https://img1.mashed.com/img/gallery/how-rich-is-the-mcalisters-deli-ceo-and-whats-the-average-pay-of-its-employees/intro-1619793841.jpg │ 5. │ 22104014 │ https://www.restaurantmagazine.com/wp-content/uploads/2016/04/Largest-McAlisters-Deli-Franchisee-to-Expand-into-Nebraska.jpg │ 6. │ 54337236 │ http://www.restaurantnews.com/wp-content/uploads/2015/11/McAlisters-Deli-Giving-Away-Gift-Cards-With-Win-One-Gift-One-Holiday-Promotion.jpg │ 7. │ 20770867 │ http://www.restaurantnews.com/wp-content/uploads/2016/04/McAlisters-Deli-Aims-to-Attract-New-Franchisees-in-Florida-as-Chain-Enters-New-Markets.jpg │ 8. │ 22493966 │ https://www.restaurantmagazine.com/wp-content/uploads/2016/06/McAlisters-Deli-Aims-to-Attract-New-Franchisees-in-Columbus-Ohio-as-Chain-Expands-feature.jpg │ 9. │ 2224351 │ https://holttribe.com/wp-content/uploads/2019/10/60880046-879A-49E4-8E13-1EE75FB24980-900x675.jpeg │ 10. │ 30779663 │ https://www.gannett-cdn.com/presto/2018/10/29/PMUR/685f3e50-cce5-46fb-9a66-acb93f6ea5e5-IMG_6587.jpg?crop=2166,2166,x663,y0&width=80&height=80&fit=bounds │ 11. │ 54939148 │ https://www.priceedwards.com/sites/default/files/styles/staff_property_listing_block/public/for-lease/images/IMG_9674%20%28Custom%29_1.jpg?itok=sa8hrVBT │ 12. │ 95371605 │ http://www.restaurantmagazine.com/wp-content/uploads/2015/08/McAlisters-Deli-Signs-Development-Agreement-with-Kingdom-Foods-to-Grow-in-Southern-Mississippi.jpg │ 13. │ 79564563 │ https://www.restaurantmagazine.com/wp-content/uploads/2016/05/McAlisters-Deli-Aims-to-Attract-New-Franchisees-in-Denver-as-Chain-Expands.jpg │ 14. │ 76429939 │ http://www.restaurantnews.com/wp-content/uploads/2016/08/McAlisters-Deli-Aims-to-Attract-New-Franchisees-in-Pennsylvania-as-Chain-Expands.jpg │ 15. │ 96680635 │ https://img.claz.org/tc/400x320/9w3hll-UQNHGB9WFlhSGAVCWhheBQkeWh5SBAkUWh9SBgsJFxRcBUMNSR4cAQENXhJARwgNTRYcBAtDWh5WRQEJXR5SR1xcFkYKR1tYFkYGR1pVFiVyP0ImaTA │ 16. │ 48716846 │ http://tse2.mm.bing.net/th?id=OIP.nN2qJqGUJs_fVNdTiFyGnQHaEc │ 17. │ 4472333 │ https://sgi.offerscdn.net/i/zdcs-merchants/05lG0FpXPIvsfiHnT3N8FQE.h200.w220.flpad.v22.bffffff.png │ 18. │ 82667887 │ https://irs2.4sqi.net/img/general/200x200/11154479_OEGbrkgWB5fEGrrTkktYvCj1gcdyhZn7TSQSAqN2Yqw.jpg │ 19. │ 57525607 │ https://knoji.com/images/logo/mcalistersdelicom.jpg │ 20. │ 15785896 │ https://www.groupnimb.com/mimg/merimg/mcalister-s-deli_1446088739.jpg │ └──────────┴───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────┘ 20 rows in set. Elapsed: 3.968 sec. Processed 100.38 million rows, 320.81 GB (25.30 million rows/s., 80.84 GB/s.) ``` クエリのレイテンシを記録しておき、ANN (ベクトル索引使用時) のクエリのレイテンシと比較できるようにしてください。 1億行の場合、ベクトル索引を使用しない上記のクエリは、完了までに数秒〜数分かかることがあります。 ### ベクトル類似度索引を構築する 次の SQL を実行して、`laion_5b_100m` テーブルの `vector` カラムにベクトル類似度索引を定義し、構築します。 ```sql theme={null} ALTER TABLE laion_5b_100m ADD INDEX vector_index vector TYPE vector_similarity('hnsw', 'cosineDistance', 768, 'bf16', 64, 512); ALTER TABLE laion_5b_100m MATERIALIZE INDEX vector_index SETTINGS mutations_sync = 2; ``` 索引の作成と検索に関するパラメータおよびパフォーマンス上の考慮事項については、[ドキュメント](/ja/reference/engines/table-engines/mergetree-family/annindexes)で説明しています。 上記のステートメントでは、HNSW のハイパーパラメータ `M` と `ef_construction` に、それぞれ 64 と 512 を使用しています。 これらのパラメータの最適値は、索引の構築時間と検索結果の品質を 各設定値に応じて評価しながら慎重に選定する必要があります。 索引の構築と保存には、使用可能な CPU コア数とストレージ帯域幅によっては、1 億件のフルデータセットで数時間かかることもあります。 ### ANN 検索を実行する ベクトル類似度索引が構築されると、ベクトル検索クエリでは自動的にその索引が使用されます。 ```sql title="Query" theme={null} SELECT id, url FROM laion_5b_100m ORDER BY cosineDistance( vector, (SELECT vector FROM laion_5b_100m WHERE id = 9999) ) ASC LIMIT 20 ``` ベクトル索引の初回のメモリへの読み込みには、数秒から数分かかることがあります。 ### 検索クエリ用の埋め込みを生成する `LAION 5b` データセットの埋め込みベクトルは、`OpenAI CLIP` モデル `ViT-L/14` を使用して生成されています。 以下に、`CLIP` API を使用して埋め込みベクトルをプログラムで生成する方法を示す Python スクリプトの例を示します。生成した検索用の埋め込みベクトルは、その後 `SELECT` クエリ内の [`cosineDistance()`](/ja/reference/functions/regular-functions/distance-functions#cosineDistance) 関数に引数として渡されます。 `clip` パッケージのインストール方法については、[OpenAI GitHub repository](https://github.com/openai/clip) を参照してください。 ```python theme={null} import torch import clip import numpy as np import sys import clickhouse_connect device = "cuda" if torch.cuda.is_available() else "cpu" model, preprocess = clip.load("ViT-L/14", device=device) # 犬と猫の両方が含まれる画像を検索する text = clip.tokenize(["a dog and a cat"]).to(device) with torch.no_grad(): text_features = model.encode_text(text) np_arr = text_features.detach().cpu().numpy() # ClickHouseの認証情報をここに渡す chclient = clickhouse_connect.get_client() params = {'v1': list(np_arr[0])} result = chclient.query("SELECT id, url FROM laion_5b_100m ORDER BY cosineDistance(vector, %(v1)s) LIMIT 100", parameters=params) # 結果をブラウザで開けるシンプルなHTMLページに書き出す。一部のURLは廃止された可能性がある。 print("") for r in result.result_rows: print("') print("") ``` 上記の検索結果を以下に示します。 ベクトル類似度検索の結果