벡터 데이터베이스란?

[paiwhy]

📆 일자: 26년 7월 30일(목)

AI 서비스는 사용자의 질문에 맞는 최신 정보와 맥락을 제공해야 합니다. 하지만 LLM은 학습되지 않은 정보를 알 수 없고, 긴 문서 전체를 매번 프롬프트에 넣는 방식은 비용과 성능 면에서 한계가 있습니다. 이러한 문제를 해결하기 위해 의미적으로 유사한 정보를 검색하는 벡터 검색과 이를 효율적으로 저장·조회하는 벡터 데이터베이스가 활용되고 있습니다. 특히 RAG 기반 서비스에서 벡터 데이터베이스는 LLM이 답변에 필요한 외부 지식을 찾도록 돕는 핵심 요소입니다. 이에 따라 이번 스터디에서는 벡터 데이터베이스의 개념과 AI 서비스에서의 활용 방식에 대해 알아보고자 합니다.

🤔오늘의 질문

1. 벡터 데이터베이스란 무엇이며, 관계형 데이터베이스와 무엇이 다른가?

2. AI 서비스에서 벡터 검색이 필요한 이유는 무엇인가?

3. 벡터 데이터베이스와 관계형 데이터베이스는 어떤 기준으로 함께 사용할 수 있는가?

[vvineey]

Vector DB는 무엇이고 관계형 데이터베이스와 무엇이 다른가?

Vector DB

Vector DB는 텍스트, 이미지, 오디오, 상품, 문서 같은 데이터를 임베딩 모델로 변환한 고차원 벡터를 저장하고
입력 쿼리 벡터와 의미적으로 가까운 벡터를 빠르게 찾는 데이터베이스다.

RDB랑 뭐가 다를까?

RDB는 row, column, index, SQL을 중심으로 정확한 조건 검색과 트랜잭션 처리에 강하다.
Vector DB는 고차원 벡터를 저장하고 유사도 기반으로 가까운 데이터를 찾는 데 특화되어 있다.
RDB는 "조건에 맞는 데이터", Vector DB는 "의미적으로 비슷한 데이터"를 찾는 데 강하다.
( + 최근에는 RDB도 vector extension을 제공하기 때문에, 규모와 운영 요구사항에 따라 전용 Vector DB와 RDB 확장을 비교해야 한다.)

예시

1. 사내 위키 문서를 수집한다.
2. 문서를 제목, 섹션, 문단 단위로 chunking한다.
3. 각 chunk를 embedding한다.
4. Vector DB에 chunk vector와 원문, 문서 URL, 부서, 권한 정보를 저장한다.
5. 사용자가 "배포 실패 시 롤백 절차 알려줘"라고 질문한다.
6. 질문을 벡터화하고 `role=backend`, `service=payment` 같은 metadata filter를 적용한다.
7. Vector DB에서 의미적으로 가까운 runbook chunk를 top-k로 찾는다.
8. 검색 결과를 LLM 컨텍스트에 넣어 답변하게 한다.

이때 권한 metadata가 빠지면 사용자가 볼 수 없는 문서가 답변에 섞일 수 있다. 반대로 chunk가 너무 작거나 임베딩 모델이 도메인 용어를 잘 모르면 정답 문서가 검색되지 않을 수 있다.

AI 서비스에서 벡터 검색이 필요한 이유는 무엇인가?

기존의 키워드 검색 방식은 단어가 정확하게 일치하거나 비슷한 형태여야 검색 성능이 좋다. 근데 "비밀번호 까먹음", "로그인 안 됨" 과 같이 단어는 다르지만 의미적으로는 비슷할 수 있다. 그래서 Vector DB는 이런 의미 기반 검색을 위해 등장했다. 특히 RAG에서는 LLM이 답변하기 전에 관련 문서를 찾아야 하므로, 문서를 임베딩해서 Vector DB에 넣고 질문과 가까운 문서를 top-k로 검색한다.

벡터 데이터베이스와 관계형 데이터베이스는 어떤 기준으로 함께 사용할 수 있는가?

정확히 관리해야 하는 데이터는 RDB, 의미적으로 찾아야 하는 데이터는 Vector DB를 이용한다.

기준	관계형 데이터베이스	벡터 데이터베이스
주 역할	원본 데이터의 source of truth	의미 기반 검색 인덱스
잘하는 것	트랜잭션, 정합성, JOIN, 조건 검색, 집계	유사도 검색, semantic search, RAG 검색
검색 방식	id, 조건, 범위, 정렬, 관계 기반	embedding vector 간 거리/유사도 기반
예시	사용자, 주문, 결제, 권한, 문서 원본	문서 chunk embedding, 상품 embedding, 질문 embedding

판단 기준

판단 기준	선택
정합성, 트랜잭션, 권한 관리가 중요하다	RDB 중심
의미가 비슷한 문서/상품/질문을 찾아야 한다	Vector DB 사용
데이터 규모가 작고 PostgreSQL을 이미 쓴다	pgvector 같은 RDB 확장도 가능
벡터 수가 많고 검색 QPS/latency가 중요하다	전용 Vector DB 고려
정확한 키워드와 의미 검색이 모두 필요하다	RDB/Search Engine + Vector DB hybrid

[9ga0]

1. 벡터 데이터베이스란 무엇이며, 관계형 데이터베이스와 무엇이 다른가?

벡터 데이터베이스는 텍스트, 이미지, 음성, 문서 같은 데이터를 숫자 배열인 벡터로 저장하고, 그 벡터들 사이의 의미적 유사도를 기준으로 검색하는 데이터베이스입니다.
관계형 데이터베이스는 정확히 맞는 데이터를 찾는 데 강하고, 벡터 데이터베이스는 의미상 가까운 데이터를 찾는 데 강합니다.

구분	관계형 데이터베이스	벡터 데이터베이스
저장 단위	행, 열, 테이블	벡터, 메타데이터
검색 방식	정확한 조건 검색	유사도 검색
대표 질의	WHERE user_id = 10	“이 문장과 의미가 가까운 문서”
강점	정합성, 트랜잭션, 구조화된 데이터	비정형 데이터 검색, 의미 기반 검색
데이터 예시	주문, 회원, 결제, 재고	문서 임베딩, 이미지 임베딩, FAQ 임베딩
결과 기준	조건 일치 여부	거리 또는 유사도 점수

2. AI 서비스에서 벡터 검색이 필요한 이유는 무엇인가?

AI서비스에서 사용자의 질문이 내부 지식과 의미는 같지만 다른 단어로 표현되는 경우가 많습니다.

특히 중요한 상황)
- RAG: LLM이 답변하기 전에 관련 문서, 정책, 매뉴얼을 찾아 근거로 사용
- 챗봇: 사용자의 자연어 질문과 가장 관련 있는 FAQ 검색
- 추천 시스템: 비슷한 상품, 문서, 콘텐츠 추천
- 이미지·음성 검색: 텍스트 키워드가 아니라 특징 유사도로 검색
- 중복 탐지: 비슷한 문의, 문서, 코드, 리뷰 찾기
- 개인화: 사용자의 관심사와 가까운 콘텐츠 찾기

LLM은 최신 문서나 주입되지 않은 지식에 대해 정확한 답을 도출하지 못하기 때문에, 외부지식을 검색해서 LLM에 넣어주는 구조가 사용된다. 이때 벡터 검색을 통해 외부지식을 넣어주기에 핵심 역할을 한다고 볼 수 있다.

3. 벡터 데이터베이스와 관계형 데이터베이스는 어떤 기준으로 함께 사용할 수 있는가?

벡터DB와 관계형DB를 함께 사용하는 경우가 많습니다. 관계형DB는 정확성과 상태 관리가 필요한 데이터를 맡고, 벡터 DB는 의미 기반 탐색이 필요한 데이터를 맡습니다. 예를 들어 고객지원 AI를 만든다면, 관계형DB는 사용자정보, 티켓 상태, 결제 이력 등을 처리하고, 벡터DB는 도움말 문서, 약관, 매뉴얼, 과거 문의 내용의 임베딩을 처리한다.

실무 흐름)

1. 원본 데이터는 관계형 DB나 문서 저장소에 둡니다.
2. 검색이 필요한 텍스트를 임베딩으로 변환합니다.
3. 벡터 DB에는 vector + document_id + metadata를 저장합니다.
4. 사용자가 질문하면 질문도 벡터로 변환합니다.
5. 벡터 DB에서 의미상 가까운 문서를 찾습니다.
6. 찾은 document_id로 원본 DB에서 최신 데이터와 권한을 확인합니다.
7. 검증된 내용만 AI 모델에 전달합니다.

+ 임베딩(Embedding) (추가 공부)

: 텍스트, 이미지, 음성 등의 데이터를 AI가 이해할 수 있는 숫자 벡터로 변환하는 과정.

• 임베딩은 질문과 문서를 같은 '의미 공간'에 배치하는 기술이고, 벡터 DB는 그 의미 공간에서 가장 가까운 문서를 찾는 역할
• 임베딩 모델(OpenAI Embedding, BERT 기반 모델 등)
  : 의미가 비슷한 문장은 벡터 공간에서도 가깝게 위치하도록 학습되어, 데이터를 벡터로 변환시키는 역할.

항목	OpenAI Embedding	BERT/SBERT
개발	OpenAI	Google(원본 BERT), 이후 SBERT 등 오픈소스
사용 방식	API 호출	직접 다운로드하여 실행 가능
운영	클라우드 기반	로컬 서버에서도 운영 가능
성능	일반적으로 매우 우수하고 다국어 지원이 강함	모델에 따라 성능이 다양하며 직접 선택 가능
활용	ChatGPT, RAG, 문서 검색	검색 시스템, 추천 시스템, 논문 연구 등

• 실제 RAG에서의 사용 예)
  예를 들어 회사의 고객센터 AI를 만든다고 가정해 보겠습니다.

1. 문서 준비

   문서1: 회원 탈퇴 방법
   문서2: 환불 정책
   문서3: 배송 조회
   

2. 임베딩 모델(OpenAI 또는 SBERT)로 모든 문서를 벡터로 변환

   문서 → 임베딩 모델 → 벡터
   
   문서1: 회원 탈퇴 방법 -(SBERT)-> [-0.15, 0.83, ...]
   

3. 벡터를 벡터 DB에 저장
4. 사용자 질문 -> 같은 임베딩 모델로 벡터 변환

   "계정을 삭제하고 싶어요." -(SBERT)-> [-0.16, 0.80, ...]
   

5. 벡터 DB에서 가장 가까운 문서 검색

   "회원 탈퇴 방법"
   

6. 검색된 문서를 LLM에 전달하여 답변 생성

[k9425mino]

1. 벡터 데이터베이스란 무엇이며, 관계형 데이베이스와 무엇이 다른가?

벡터 데이터베이스는 텍스트, 이미지, 오디오와 같은 비정형 데이터를 컴퓨터가 이해할 수 있는 고차원 숫자의 배열인 '벡터(임베딩)'로 변환하여 저장하고, 이 벡터 간의 유사도를 계산해 의미적으로 가까운 데이터를 빠르게 찾아주는 데이터베이스이다.

예를 들어 임베딩 모델이 다음 문장을 벡터로 변환한다고 가정할 수 있다.

"고양기가 소파에서 자고 있다"
→ [0.12, -0.41, 0.83, ..., 0.27]

"소파 위에서 잠자는 고양이"
→ [0.10, -0.39, 0.81, ..., 0.25]

표현에 사용된 단어는 다르지만 의미가 비슷하므로, 벡터로 변환하면 서로 매우 가까운 위치에 놓이게 되어 "의미가 비슷한 단어"로 인식될 수 있다. 이러한 특성 덕분에 벡터 데이터베이스는 단순한 문자열 일치가 아니라 '의미' 자체를 기준으로 검색을 수행할 수 있다.

벡터 데이터베이스는 일반적으로 다음 작업을 담당한다.

1. 임베딩 벡터 저장
2. 유사도 검색
3. 메타데이터 필터링
4. 대규모 벡터 인덱싱
5. 임베딩 추가, 삭제, 갱신

대표적인 유사도 계산 방식은 다음과 같다.

• 코사인 유사도: 벡터 방향이 얼마나 비슷한지 측정
• 유클리드 거리: 벡터 사이의 직선거리 측정
• 내적: 방향과 크기를 함께 반영

반면 관계형 데이터베이스는 데이터를 행과 열로 이루어진 표 형태의 테이블에 저장하고, SQL이라는 질의 언어를 통해 정확한 조건에 맞는 데이터를 검색하는 방식으로 동작한다. 예를 들어 "나이가 30세 이상인 사용자를 찾아줘"와 같이 명확한 조건에 따라 값이 정확히 일치하거나 특정 범위에 속하는 데이터를 빠르게 찾아내는 데 최적화되어 있다. 이때 내부적으로는 B-Tree나 해시(Hash) 같은 인덱스 구조를 사용해 검색 속도를 높인다.

두 데이터베이스의 가장 근본적인 차이는 '무엇을 기준으로 데이터를 찾는가'에 있다. 관계형 데이터베이스는 정확한 일치(exact match)를 기반으로 하기 때문에, 입력한 조건과 정확히 맞아 떨어지는 데이터만 결과로 반환한다. 반면 벡터 데이터베이스는 코사인 유사도나 유클리드 거리 같은 방식으로 벡터 간의 '가까운 정도'를 계산하여, 완전히 똑같지는 않지만 의미적으로 유사한 데이터까지 찾아낼 수 있다. 이러한 차이 때문에 관계형 데이터베이스는 "완전히 일치하는 값을 찾는 질문"에 강하고, 벡터 데이터베이스는 "비슷한 것을 찾는 질문"에 강하다고 할 수 있다.

또한 인덱싱 방식에서도 차이가 나타난다. 관계형 데이터베이스는 정형화된 값을 빠르게 찾기 위한 인덱스를 사용하는 반면, 벡터 데이터베이스는 HNSW나 IVF와 같은 근사 최근접 이웃(Approximate Nearest Neighbor, ANN) 알고리즘을 사용한다. 이는 고차원 벡터 공간에서 모든 데이터를 일일이 비교하지 않고도 유사한 벡터를 빠르게 찾아내기 위한 방식으로, 데이터를 규모가 커질수록 그 중요성이 커진다.

2. AI 서비스에서 벡터 검색이 필요한 이유는 무엇인가?

• 의미 기반 검색(Semantic Search): 키워드가 정확히 일치하지 않아도 의미가 비슷한 결과를 찾을 수 있도록 해준다. 예: "저렴한 노트북 추천해줘" → "가성비 좋은 랩탑" 문서를 검색할 수 있도록 함.
• RAG(Retrieval-Augmented Generation): LLM이 최신 정보나 사내 문서 등 학습되지 않은 데이터를 답변에 활용하려면, 질문과 관련된 문서를 벡터 유사도로 찾아 LLM에 컨텍스트로 넣어줘야 한다. 이때 벡터 검색이 핵심 역할을 한다.
• 멀티모달 검색: 텍스트로 이미지를 찾거나, 이미지로 유사한 이미지를 찾는 등 서로 다른 데이터 형식 간 검색이 가능하다.
• 개인화 추천 시스템: 사용자 행동이나 콘텐츠를 벡터화해 "이 사용자와 비슷한 취향의 다른 사용자/상품" 추천에 활용된다.
• 중복/이상치 탐지: 유사도가 매우 높은 데이터를 찾아 중복 문서를 걸러내거나, 반대로 이상 패턴을 탐지할 수 있다.

기존 RDB의 키워드 매칭이나 정규식 검색으로는 "의미"를 이해하지 못하기 때문에, 자연어 이해가 필요한 AI 서비스에는 벡터 검색이 사실상 필수적이다.

3. 벡터 데이터베이스와 관계형 데이터베이스는 어떤 기준으로 함께 사용할 수 있는가?

실무에서는 둘을 경쟁 관계가 아닌 상호 보완 관계로 사용하는 경우가 많다.

함께 사용하는 대표적 패턴

1. 역할 분담형
   • RDB: 사용자 정보, 주문 내역, 권한, 메타데이터 등 정형 데이터의 정합성(트랜잭션, 제약조건) 관리
   • 벡터 DB: 문서 임베딩, 상품 설명 임베딩 등 유사도 검색이 필요한 부분만 별도 저장
2. 하이브리드 검색 (Hybrid Search)
   • "카테고리가 '전자제품'이면서 의미적으로 유사한 상품" 같은 질의 시, 관계형 DB의 필터링(WHERE 조건)과 벡터 DB의 유사도 검색을 조합한다.
   • 예: 먼저 RDB에서 조건에 맞는 후보군을 추리고(pre-filtering), 그 안에서 벡터 유사도로 재정렬(re-ranking)하는 방식.
3. ID 연결 방식
   • 벡터 DB에는 임베딩과 최소한의 ID만 저장하고, 실제 상세 데이터(제목, 가격, 작성자 등)는 RDB에 저장한 뒤 검색 결과의 ID로 RDV를 조회해 상세 정보를 가져오는 구조가 흔하다.
4. 선택 기준
   • 데이터에 정확한 조건 검색이나 트랜잭션 무결성이 중요하면 → RDB
   • "비슷한 것 찾기, 의미 기반 검색"이 핵심이면 → 벡터 DB
   • 둘다 필요한 서비스(예: 이커머스 추천, RAG 기반 챗봇)라면 → 하이브리드 아키텍처

최근에는 pgvector(PostgreSQL 확장)처럼 관계형 DB 안에 벡터 검색 기능을 내장한 솔루션도 늘고 있어, 별도의 벡터 DB 없이 하나의 시스템에서 두 가지를 함께 처리하는 경우도 많아지고 있다.

[eunji719]

1. 벡터db란 텍스트,이미지 등의 데이터를 임베딩 하여 저장하고 의미적으로 유사한 벡터를 빠르게 찾아주는 데이터베이스이다.
   관계형 db는 정확한 값을 매칭하려는 목적을 가진 반면, 벡터db는 유사도 기반 검색을 한다. 데이터구조도 관계형db는 행/열의 정형테이블인 반면 벡터db는 고차원적인 임베딩 벡터 구조를 가졌다. 즉, 관계형db는 정확히 일치하는가를 묻고, 벡터db는 얼마나 비슷한가를 묻는다.

---

2. 뜻은 같은데 표현이 다른 자연어들이 많다. 이런 경우에 기존 관계형db같은 형식은 다른 뜻이라고 결론을 지어버린다. 그러나 임베딩 기반 검색은 의미 유사도를 찾아내기 때문에 키워드 매칭을 잘 해낸다. 또한 llm에 문서 전체를 넣기엔 비용 문제가 있어, 질문과 괸련된 부분만 벡터 검색으로 뽑아 넣는게 훨씬 효율적이다.

---

3. 우선 벡터db는 문서,대화,이미지 설명 등의 비정형 콘텐츠 의미 기반 검색용으로 쓰고, 관계형db는 정형데이터, 트랜잭션,권한 관리용으로 쓴다. 보통 벡터 db로 1차 유사도 검색을 하여 이를 관계형db의 데이터로 필터링 및 조인을 하여 조회한다 .