RAGにおけるエンベディング技術とは、テキストや画像などのデータを数値ベクトルに変換することでコンピュータが理解しやすい形式に変換し、効率的な情報検索や意味解析を可能にします。
RAGでは、このエンべディング技術を活用して、ユーザーの質問に関連する情報を大規模な知識ベースから迅速かつ正確に抽出し、生成AIの回答精度を向上させています。
ベクトル空間へのマッピング
エンべディングは、単語や文章などのデータを多次元ベクトル空間にマッピングする技術です。このプロセスにより、データ間の意味的関係や類似性を数学的に表現できるようになります。例えば、「王」「女王」「王子」といった単語は、ベクトル空間内で互いに近い位置に配置されます。このマッピングにより、以下のような利点が生まれます：
- 意味的類似性の数値化：コサイン類似度などの指標を用いて、データ間の関係性を定量的に評価できる
- 効率的な検索：ベクトル空間内での近傍探索により、関連情報を高速に抽出できる
- 機械学習モデルへの入力：数値ベクトルとして表現されたデータは、様々な機械学習アルゴリズムで直接利用可能
コサイン類似度の基礎
この指標は、ベクトルの大きさではなく方向性に注目するため、テキスト分析や推薦システムなどで広く使用されています。
コサイン類似度の特徴
- ベクトル間の角度を利用して類似性を計算
- 文書の長さに影響されずに内容の類似度を評価可能
- 機械学習や自然言語処理での類似度計算に適用
- 数式：cos(θ) = (A・B) / (||A|| ||B||)（AとBは比較するベクトル）
この指標は、単語や文書のベクトル表現を比較する際に特に有用で、関連コンテンツの推薦や文書クラスタリングなどのタスクで重要な役割を果たします。
ベクトル空間内の近傍探索の数理
- k-d木は、空間を再帰的に分割する階層的なデータ構造です。各ノードで特定の次元に基づいて空間を二分割し、探索時には不要な領域を効率的に除外できます。しかし、高次元になるほど効率が低下する「次元の呪い」の影響を受けやすいという欠点があります。
- ANNは厳密な最近傍ではなく、「十分に近い」点を高速に見つける手法です。
代表的なアルゴリズムにLSH（Locality-Sensitive Hashing）があり、類似したデータポイントを同じバケットにハッシュ化することで効率的な探索を実現します。
ANNは高次元データに対しても高速な探索が可能で、ベクトルデータベースなどの実用的なアプリケーションで広く使用されています。
●k-d木：O(logN)の平均探索時間（Nはデータ点数）
●ANN：データセットサイズに対して準線形の計算量で近似解を得られる
これらの手法は、コサイン類似度やユークリッド距離などの距離指標を用いて、ベクトル空間内での近さを定量化します。
Word2VecとBERTの活用
- Word2Vec: 単語の周辺情報を利用して単語ベクトル化し、「王様 – 男性 + 女性 ≈ 女王」のような単語間の関係性を表現できます。つまり、Word2Vecは、単語の周辺語の出現確率を最大化することで学習を行います。
具体的には、CBOWモデルでは中心語wの周辺語cの条件付き確率P(w|c)を最大化し、Skip-gramモデルでは逆にP(c|w)を最大化します。 - BERT：Transformerアーキテクチャを用いた双方向の文脈理解モデルで、マスクされた単語の予測や文の関係性の判定などの事前学習タスクを通じて、より豊かな文脈表現を獲得します。
これらの手法により生成された単語ベクトルは、コサイン類似度などの指標を用いて単語間の類似性を定量的に評価することが可能となり、検索エンジンや機械翻訳など様々な自然言語処理タスクの性能向上に貢献しています。
Word2VecとBERTを優しく説明しましょう。
Word2Vecは、単語をベクトル（数字の列）に変換します。
例えば、「犬」という単語を[0.2, 0.5, -0.1]のような数字の組み合わせで表します。この方法では、似た意味の単語は似たベクトルになります。逆に「犬」と「猫」のベクトルは似ていて、「犬」と「車」のベクトルは全然違うものになります。
BERTは、Word2Vecよりも進んだ方法で、文章全体の意味を理解します。
例えば、「バンクは川岸にある」と「バンクでお金を下ろす」という文では、「バンク」という単語の意味が違います。
BERTは、周りの単語を見て、その違いを理解できます。
これらの技術のおかげで、コンピューターは人間の言葉をより正確に理解し、翻訳や質問応答などのタスクを上手にこなせるようになりました。
カテゴリデータの基礎
- 名義尺度：順序や大小関係のない分類データ。例えば、血液型（A型、B型、O型、AB型）や性別（男性、女性）などが該当します。
- 順序尺度：カテゴリ間に順序関係がある分類データ。例えば、学歴（小学校、中学校、高校、大学）や満足度（不満、やや不満、普通、やや満足、満足）などが該当します。
カテゴリデータは数値データとは異なり、算術演算（加減乗除）を適用することはできません。そのため、統計分析や機械学習モデルで使用する際には、適切な前処理や特殊な分析手法が必要となります。
カテゴリデータの前処理について
カテゴリデータを機械学習モデルで使用するには、適切な前処理が不可欠です。主な前処理手法には以下のようなものがあります。
- ラベルエンコーディング：カテゴリを整数値に変換します。例えば、「赤、青、黄」を「0、1、2」に置き換えます。決定木系のモデルに適しています。
- ワンホットエンコーディング：各カテゴリを二進数のベクトルに変換します。例えば、「赤、青、黄」を「 [ 1, 0, 0 ]、[ 0, 1 ,0 ]、[ 0, 0, 1 ] 」に変換します。カテゴリ数が少ない場合や線形モデルに有効です。
- カウントエンコーディング：各カテゴリの出現回数で置き換えます。例えば、「赤」が3回、「青」が5回、「黄」が2回出現する場合、それぞれ「3、5、2」に変換します。
- ターゲットエンコーディング：各カテゴリを目標変数の期待値に置き換えます。例えば、「赤」の購買率が0.3、「青」が0.5、「黄」が0.2の場合、それぞれの値に置き換えます。
これらの手法は、データの特性や使用するモデルに応じて選択します。また、新しいカテゴリの出現や欠損値の処理にも注意が必要です。
まとめ
これまで説明してきたように、RAGシステムにおけるエンベディング技術は、情報検索と生成AIの融合を可能にする重要な要素です。
テキストデータを多次元ベクトル空間にマッピングすることで、意味的類似性を数値化し、効率的な検索を実現しています。
- コサイン類似度やk-d木、近似最近傍探索（ANN）などの数理的手法は、高次元ベクトル空間内での効率的な類似性評価と探索を支えています。
特に、ANNは高次元データに対しても高速な探索が可能で、実用的なアプリケーションで広く活用されています。 - Word2VecやBERTといった自然言語処理技術の進歩により、単語レベルから文脈を考慮した豊かな意味表現が可能となり、様々なNLPタスクの性能向上に貢献しています。
さらに、カテゴリデータの適切な前処理手法を選択することで、機械学習モデルの精度向上にも寄与しています。
これらの技術の組み合わせにより、RAGシステムは大規模な知識ベースから関連情報を迅速かつ正確に抽出し、ユーザーの質問に対してより精度の高い回答を生成することができます。今後も、エンベディング技術の発展がAIシステムの性能向上に大きく貢献していくことが期待されます。
以上
ケニー狩野（中小企業診断士、PMP、ITコーディネータ）
キヤノン(株)でアーキテクト、プロマネとして多数のプロジェクトをリード。
現在、株式会社ベーネテック代表、株式会社アープ取締役、一般社団法人Society 5.0振興協会評議員ブロックチェーン導入評価委員長。
これまでの知見を活かしブロックチェーンや人工知能技術の推進に従事。趣味はダイビングと囲碁。
２０１８年「リアル・イノベーション・マインド」を出版。
