Rememberizer Docs
로그인가입하기문의하기
한국어
한국어
  • 왜 Rememberizer인가?
  • 배경
    • 벡터 임베딩과 벡터 데이터베이스란?
    • 용어집
    • 표준화된 용어
  • 개인 사용
    • 시작하기
      • 지식 검색
      • 기념품 필터 접근
      • 공통 지식
      • 내장된 지식 관리
  • 통합
    • Rememberizer 앱
    • Rememberizer Slack 통합
    • Rememberizer Google Drive 통합
    • Rememberizer Dropbox 통합
    • Rememberizer Gmail 통합
    • Rememberizer Memory 통합
    • Rememberizer MCP 서버
    • 타사 앱 관리
  • 개발자 리소스
    • 개발자 개요
  • 통합 옵션
    • API 키 등록 및 사용
    • Rememberizer 앱 등록
    • Rememberizer 앱 승인
    • Rememberizer GPT 생성
    • LangChain 통합
    • 벡터 저장소
    • Slack과 대화하는 샘플 웹 앱
  • 기업 통합
    • 기업 통합 패턴
  • API 참조
    • API 문서 홈
    • 인증
  • 핵심 API
    • 의미적 유사성으로 문서 검색
    • 문서 검색
    • 문서 내용 검색
    • 슬랙 콘텐츠 검색
    • Rememberizer에 콘텐츠 기억하기
  • 계정 및 구성
    • 현재 사용자 계정 세부정보 가져오기
    • 사용 가능한 데이터 소스 통합 목록
    • 기념품
    • 추가된 모든 공개 지식 가져오기
  • 벡터 저장소 API
    • 벡터 저장소 문서
    • 벡터 저장소 정보 가져오기
    • 벡터 저장소의 문서 목록 가져오기
    • 문서 정보 가져오기
    • 벡터 저장소에 새 텍스트 문서 추가하기
    • 벡터 저장소에 파일 업로드하기
    • 벡터 저장소의 파일 내용 업데이트하기
    • 벡터 저장소에서 문서 제거하기
    • 의미적 유사성으로 벡터 저장소 문서 검색하기
  • 추가 자료
    • 공지사항
      • 이용 약관
      • 개인정보 처리방침
      • B2B
        • 레딧 에이전트에 대하여
  • 릴리스
    • 릴리스 노트 홈
  • 2025 릴리스
    • 2025년 4월 25일
    • 2025년 4월 18일
    • 2025년 4월 11일
    • 2025년 4월 4일
    • 2025년 3월 28일
    • 2025년 3월 21일
    • 2025년 3월 14일
    • 2025년 1월 17일
  • 2024 릴리스
    • 2024년 12월 27일
    • 2024년 12월 20일
    • 2024년 12월 13일
    • 2024년 12월 6일
  • 2024년 11월 29일
  • 2024년 11월 22일
  • 2024년 11월 15일
  • 2024년 11월 8일
  • 2024년 11월 1일
  • 2024년 10월 25일
  • 2024년 10월 18일
  • 2024년 10월 11일
  • 2024년 10월 4일
  • 2024년 9월 27일
  • 2024년 9월 20일
  • 2024년 9월 13일
  • 2024년 8월 16일
  • 2024년 8월 9일
  • 2024년 8월 2일
  • 2024년 7월 26일
  • 2024년 7월 12일
  • 2024년 6월 28일
  • 2024년 6월 14일
  • 2024년 5월 31일
  • 2024년 5월 17일
  • 2024년 5월 10일
  • 2024년 4월 26일
  • 2024년 4월 19일
  • 2024년 4월 12일
  • 2024년 4월 5일
  • 2024년 3월 25일
  • 2024년 3월 18일
  • 2024년 3월 11일
  • 2024년 3월 4일
  • 2024년 2월 26일
  • 2024년 2월 19일
  • 2024년 2월 12일
  • 2024년 2월 5일
  • 2024년 1월 29일
  • 2024년 1월 22일
  • 2024년 1월 15일
  • LLM 문서
    • Rememberizer LLM 준비 문서
Powered by GitBook
On this page
  • Rememberizer가 벡터 임베딩을 사용하는 방법
  • 벡터 임베딩 이해하기
  • 텍스트를 넘어서: 다중 모달 임베딩
  • 실제 적용 사례
  • Rememberizer의 벡터 검색이 키워드 검색과 다른 점
  • 기술 자료
  • 현대 AI의 기초
  1. 배경

벡터 임베딩과 벡터 데이터베이스란?

왜 Rememberizer가 단순한 데이터베이스나 키워드 검색 엔진 이상인지

Previous배경Next용어집

Last updated 1 month ago

Rememberizer는 사용자 지식 소스 내에서 의미적 유사성을 검색할 수 있도록 벡터 데이터베이스에서 벡터 임베딩을 사용합니다. 이는 전통적인 검색 엔진이나 데이터베이스를 통해 콘텐츠에서 키워드를 단순히 찾는 것보다 근본적으로 더 발전되고 미묘한 정보 검색 방식입니다.

Rememberizer가 벡터 임베딩을 사용하는 방법

가장 발전된 형태(Rememberizer에서 사용되는 형태)로서, 벡터 임베딩은 OpenAI의 GPT 모델과 ChatGPT 서비스, Google(Gemini), Anthropic(Claude), Meta(LLaMA) 등에서 사용하는 AI LLM(대형 언어 모델)과 유사한 아키텍처를 가진 언어 모델에 의해 생성됩니다.

벡터 임베딩 이해하기

벡터 임베딩은 어떻게 생겼을까요? 2차원에서의 좌표 (x,y)를 고려해 보세요. 이것이 원점에서 이 지점까지의 선을 나타낸다면, 우리는 이것을 방향이 있는 선으로 생각할 수 있습니다. 즉, _2차원에서의 벡터_입니다.

Rememberizer의 맥락에서, 벡터 임베딩은 일반적으로 고차원 공간에서 벡터를 나타내는 수백 개의 숫자(종종 768, 1024 또는 1536)의 목록입니다. 이 숫자 목록은 "갑자기 내리치는 번개"와 같은 구의 의미를 정의하는 Transformer 모델의 가중치를 나타낼 수 있습니다. 이는 GPT-4와 같은 모델에서 사용되는 의미의 기본적인 동일한 표현입니다. 결과적으로, 좋은 벡터 임베딩은 현대 AI 언어 모델에서 볼 수 있는 동일한 정교한 이해를 가능하게 합니다.

텍스트를 넘어서: 다중 모달 임베딩

벡터 임베딩은 텍스트뿐만 아니라 이미지나 소리와 같은 다른 유형의 데이터도 표현할 수 있습니다. 적절히 훈련된 모델을 사용하면 미디어 유형 간 비교가 가능하여, 텍스트의 벡터 임베딩을 이미지와 비교하거나 그 반대도 가능합니다.

현재 Rememberizer는 사용자 문서 및 지식의 텍스트 구성 요소 내에서 검색을 가능하게 합니다. 텍스트-이미지 및 이미지-텍스트 검색 기능은 Rememberizer의 향후 개발 로드맵에 포함되어 있습니다.

실제 적용 사례

주요 기술 회사들은 제품에서 벡터 임베딩을 활용하고 있습니다:

Rememberizer의 벡터 검색이 키워드 검색과 다른 점

키워드 검색은 정확한 일치 항목이나 미리 정해진 동의어를 찾습니다. 반면, Rememberizer의 벡터 검색은 서로 다른 용어가 사용되더라도 개념적으로 관련된 콘텐츠를 찾습니다. 예를 들어:

  • "개 돌보기"에 대한 키워드 검색은 "개 건강 유지"에 관한 관련 문서를 놓칠 수 있습니다.

  • Rememberizer의 벡터 검색은 이러한 개념을 의미적으로 유사하다고 인식하고 둘 다 반환합니다.

이 기능은 Rememberizer가 다양한 지식 출처에서 관련 정보를 검색하는 데 특히 강력하게 만듭니다.

곧 출시: 벡터 검색 프로세스 시각화

이 다이어그램은 Rememberizer의 전체 의미 검색 워크플로를 설명합니다:

  • 문서 청크화 및 전처리

  • 벡터 임베딩 생성 프로세스

  • 벡터 데이터베이스에 저장

  • 검색 쿼리 임베딩

  • 유사성 매칭 계산

  • 전통적인 키워드 검색과의 나란히 비교

기술 자료

벡터 임베딩과 벡터 데이터베이스가 어떻게 작동하는지 깊이 이해하려면:

현대 AI의 기초

벡터 임베딩 뒤에 있는 기술은 시간이 지남에 따라 크게 발전했습니다:

Transformer 기반 모델의 주목할 만한 측면 중 하나는 스케일링 특성입니다. 데이터가 많아지고 매개변수가 많아질수록 이해력과 능력이 극적으로 향상됩니다. 이러한 스케일링 특성은 GPT-2와 같은 모델에서 관찰되었으며 AI 능력의 빠른 발전을 이끌었습니다.

이로 인해 벡터 임베딩은 AI 모델 프롬프트의 맥락에 포함할 관련 지식을 발견하는 데 자연스러운 선택이 됩니다. 이 기술들은 상호 보완적이며 개념적으로 관련이 있습니다. 이러한 이유로 LLM을 서비스로 제공하는 대부분의 공급자는 벡터 임베딩도 서비스로 제공합니다(예: 또는 ).

Google은 텍스트 검색(텍스트-텍스트) 및 이미지 검색(텍스트-이미지) 기능을 지원하기 위해 벡터 임베딩을 사용합니다 ()

**Meta (Facebook)**는 소셜 네트워크 검색을 위해 임베딩을 구현했습니다 ()

Snapchat은 벡터 임베딩을 활용하여 맥락을 이해하고 타겟 광고를 제공합니다 ()

부터 시작하세요.

Pinecone(벡터 데이터베이스 서비스)는 를 제공합니다.

Meta의 FAISS 라이브러리: "FAISS: A Library for Efficient Similarity Search and Clustering of Dense Vectors" by Johnson, Douze, and Jégou (2017)는 효율적인 벡터 유사성 검색에 대한 포괄적인 통찰을 제공합니다 ()

2017년 논문 "Attention Is All You Need" ()는 현대 LLM과 고급 임베딩 모델을 지원하는 Transformer 아키텍처를 소개했습니다.

"Approximate Nearest Neighbors: Towards Removing the Curse of Dimensionality" (, )는 고차원 공간에서 효율적인 유사성 검색을 위한 이론을 확립했습니다.

BERT (2018, )는 언어 이해 작업을 위한 양방향 훈련의 힘을 입증했습니다.

GloVe (2014, )와 Word2Vec (2013, )와 같은 초기 방법들은 신경 단어 임베딩의 기초를 마련했습니다.

Rememberizer와 함께 벡터 저장소를 사용하는 기술적 구현 세부사항 및 개발자 지침은 를 참조하세요.

구글 연구원들은 "Attention Is All You Need" ()에 설명된 원래의 Transformer 아키텍처 뒤에 있었지만, 이후 많은 조직들이 이 기초 작업을 바탕으로 발전시켰습니다.

Together AI의 임베딩 엔드포인트
OpenAI의 텍스트 및 코드 임베딩
reference
reference
reference
Hugging Face의 개요
벡터 임베딩에 대한 좋은 소개
GitHub 저장소
reference
1998
2010
reference
reference
reference
Vector Stores
patent reference
다차원 벡터 공간의 시각화
다차원 벡터 공간 시각화