يمكنك دمج Rememberizer كأداة استرجاع في LangChain لتزويد تطبيق LangChain الخاص بك بإمكانية الوصول إلى بحث قوي في قاعدة بيانات المتجهات.
توضح هذه الدفتر كيفية استرجاع المستندات من Rememberizer وهو تنسيق المستندات المستخدم لاحقًا.
التحضير
ستحتاج إلى مفتاح API: يمكنك الحصول عليه بعد إنشاء معرفة مشتركة على https://rememberizer.ai. بمجرد حصولك على مفتاح API، يجب عليك تعيينه كمتغير بيئة REMEMBERIZER_API_KEY أو تمريره كـ rememberizer_api_key عند تهيئة RememberizerRetriever.
تحتوي RememberizerRetriever على هذه المعطيات:
- اختياري top_k_results: الافتراضي=10. استخدمه لتحديد عدد المستندات المعادة.
- اختياري rememberizer_api_key: مطلوب إذا لم تقم بتعيين متغير البيئة REMEMBERIZER_API_KEY.
get_relevant_documents() يحتوي على معطى واحد، query: نص حر يُستخدم للعثور على المستندات في المعرفة المشتركة لـ Rememberizer.ai
# إعداد مفتاح API
from getpass import getpass
REMEMBERIZER_API_KEY = getpass()
import os
from langchain_community.retrievers import RememberizerRetriever
os.environ["REMEMBERIZER_API_KEY"] = REMEMBERIZER_API_KEY
retriever = RememberizerRetriever(top_k_results=5)
docs = retriever.get_relevant_documents(query="كيف تعمل نماذج اللغة الكبيرة؟")
docs[0].metadata # معلومات الوصف للوثيقة
{'id': 13646493,
'document_id': '17s3LlMbpkTk0ikvGwV0iLMCj-MNubIaP',
'name': 'ما هي نموذج اللغة الكبيرة (LLM) _ _ Cloudflare.pdf',
'type': 'application/pdf',
'path': '/langchain/ما هي نموذج اللغة الكبيرة (LLM) _ _ Cloudflare.pdf',
'url': 'https://drive.google.com/file/d/17s3LlMbpkTk0ikvGwV0iLMCj-MNubIaP/view',
'size': 337089,
'created_time': '',
'modified_time': '',
'indexed_on': '2024-04-04T03:36:28.886170Z',
'integration': {'id': 347, 'integration_type': 'google_drive'}}
print(docs[0].page_content[:400]) # محتوى الوثيقة
قبل، أو في سياقات جديدة. على مستوى ما " يفهمون " الدلالات بمعنى أنهم يمكنهم ربط الكلمات والمفاهيم بمعانيها، بعد أن رأوا تجميعها معًا بهذه الطريقة ملايين أو مليارات المرات. كيف يمكن للمطورين البدء بسرعة في بناء نماذج اللغة الخاصة بهم لبناء تطبيقات LLM، يحتاج المطورون إلى وصول سهل إلى مجموعات بيانات متعددة، ويحتاجون إلى أماكن لتلك المجموعات
الاستخدام في سلسلة
OPENAI_API_KEY = getpass()
os.environ["OPENAI_API_KEY"] = OPENAI_API_KEY
from langchain.chains import ConversationalRetrievalChain
from langchain_openai import ChatOpenAI
model = ChatOpenAI(model_name="gpt-3.5-turbo")
qa = ConversationalRetrievalChain.from_llm(model, retriever=retriever)
questions = [
"ما هو RAG؟",
"كيف تعمل نماذج اللغة الكبيرة؟",
]
chat_history = []
for question in questions:
result = qa.invoke({"question": question, "chat_history": chat_history})
chat_history.append((question, result["answer"]))
print(f"-> **السؤال**: {question} \n")
print(f"**الإجابة**: {result['answer']} \n")
-> **السؤال**: ما هو RAG؟
**الإجابة**: RAG هو اختصار لـ Retrieval-Augmented Generation. إنه إطار عمل ذكاء اصطناعي يقوم باسترجاع الحقائق من قاعدة معرفية خارجية لتعزيز الردود التي تولدها نماذج اللغة الكبيرة (LLMs) من خلال توفير معلومات دقيقة ومحدثة. يساعد هذا الإطار المستخدمين على فهم العملية التوليدية لـ LLMs ويضمن أن النموذج لديه وصول إلى مصادر معلومات موثوقة.
-> **السؤال**: كيف تعمل نماذج اللغة الكبيرة؟
**الإجابة**: تعمل نماذج اللغة الكبيرة (LLMs) من خلال تحليل مجموعات ضخمة من بيانات اللغة لفهم وتوليد نصوص باللغة البشرية. إنها تعتمد على التعلم الآلي، وتحديدًا التعلم العميق، والذي ينطوي على تدريب برنامج للتعرف على خصائص البيانات دون تدخل بشري. تستخدم LLMs الشبكات العصبية، وتحديدًا نماذج المحولات، لفهم السياق في اللغة البشرية، مما يجعلها أفضل في تفسير اللغة حتى في السياقات الغامضة أو الجديدة. يمكن للمطورين البدء بسرعة في بناء نماذجهم اللغوية الكبيرة الخاصة بهم من خلال الوصول إلى مجموعات بيانات متعددة واستخدام خدمات مثل Cloudflare's Vectorize ومنصة Cloudflare Workers AI.
ساعدنا من خلال تقديم ملاحظاتك على هذه الصفحة من الوثائق:
