이전 또는 새로운 방식으로 맥락화됩니다. 어떤 수준에서는 그들이 의미에 의해 단어와 개념을 연관 지을 수 있기 때문에 "이해"합니다. 그들은 수백만 또는 수십억 번 그 방식으로 그룹화된 것을 보았기 때문입니다. 개발자들이 자신의 LLM을 신속하게 구축하여 LLM 애플리케이션을 만들 수 있도록 하려면, 여러 데이터 세트에 쉽게 접근할 수 있어야 하며, 데이터 세트를 위한 장소가 필요합니다.
체인에서의 사용
OPENAI_API_KEY = getpass()
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
from langchain.chains import ConversationalRetrievalChain
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model_name="gpt-3.5-turbo")
qa = ConversationalRetrievalChain.from_llm(model, retriever=retriever)
questions = [
"RAG란 무엇인가요?",
"대형 언어 모델은 어떻게 작동하나요?",
]
chat_history = []
for question in questions:
result = qa.invoke({"question": question, "chat_history": chat_history})
chat_history.append((question, result["answer"]))
print(f"-> **질문**: {question} \n")
print(f"**답변**: {result['answer']} \n")
-> **질문**: RAG란 무엇인가요?
**답변**: RAG는 Retrieval-Augmented Generation의 약자입니다. 이는 외부 지식 기반에서 사실을 검색하여 대형 언어 모델(LLM)이 생성한 응답을 향상시키기 위한 AI 프레임워크로, 최신의 정확한 정보를 제공합니다. 이 프레임워크는 사용자가 LLM의 생성 과정을 이해하도록 돕고, 모델이 신뢰할 수 있는 정보 출처에 접근할 수 있도록 보장합니다.
-> **질문**: 대형 언어 모델은 어떻게 작동하나요?
**답변**: 대형 언어 모델(LLM)은 방대한 언어 데이터 세트를 분석하여 인간 언어 텍스트를 이해하고 생성하는 방식으로 작동합니다. 이들은 기계 학습, 특히 딥 러닝에 기반하여 구축되며, 이는 프로그램이 인간의 개입 없이 데이터의 특징을 인식하도록 훈련하는 과정을 포함합니다. LLM은 신경망, 특히 변환기 모델을 사용하여 인간 언어의 맥락을 이해하며, 이는 모호하거나 새로운 맥락에서도 언어를 해석하는 데 더 뛰어나게 만듭니다. 개발자는 여러 데이터 세트에 접근하고 Cloudflare의 Vectorize 및 Cloudflare Workers AI 플랫폼과 같은 서비스를 사용하여 자신의 LLM을 빠르게 구축할 수 있습니다.
