"
## 処理のバッチサイズ
BATCH\_SIZE = 100
## Supabase PostgreSQLに接続する
def connect\_to\_supabase(): try: conn = psycopg2.connect( host=SUPABASE\_DB\_HOST, port=SUPABASE\_DB\_PORT, dbname=SUPABASE\_DB\_NAME, user=SUPABASE\_DB\_USER, password=SUPABASE\_DB\_PASSWORD ) return conn except Exception as e: print(f"Supabase PostgreSQLへの接続中にエラーが発生しました: {e}") return None
## Supabase pgvectorからドキュメントを取得する
def fetch\_documents\_from\_supabase(conn, batch\_size, offset=0): try: cursor = conn.cursor()
```
# テーブル構造に基づいてこのクエリを調整してください
query = f"""
SELECT id, content, metadata, embedding
FROM {SUPABASE_VECTOR_TABLE}
ORDER BY id
LIMIT %s OFFSET %s
"""
cursor.execute(query, (batch_size, offset))
documents = cursor.fetchall()
cursor.close()
return documents
except Exception as e:
print(f"Supabaseからドキュメントを取得中にエラーが発生しました: {e}")
return []
```
## Rememberizerにドキュメントをアップロードする
def upload\_to\_rememberizer(documents): headers = { "x-api-key": REMEMBERIZER\_API\_KEY, "Content-Type": "application/json" }
```
results = []
for doc in documents:
doc_id, content, metadata, embedding = doc
# メタデータがJSON文字列として保存されている場合は解析する
if isinstance(metadata, str):
try:
metadata = json.loads(metadata)
except:
metadata = {}
elif metadata is None:
metadata = {}
document_name = metadata.get("filename", f"supabase_doc_{doc_id}")
if not content:
print(f"{doc_id}をスキップします - コンテンツが見つかりません")
continue
data = {
"name": document_name,
"content": content,
"metadata": metadata
}
try:
response = requests.post(
f"{BASE_URL}/vector-stores/{VECTOR_STORE_ID}/documents/text",
headers=headers,
json=data
)
if response.status_code == 201:
print(f"ドキュメント '{document_name}' が正常にアップロードされました！")
results.append({"id": doc_id, "success": True})
else:
print(f"ドキュメント {document_name} のアップロード中にエラーが発生しました: {response.text}")
results.append({"id": doc_id, "success": False, "error": response.text})
except Exception as e:
print(f"ドキュメント {document_name} のアップロード中に例外が発生しました: {str(e)}")
results.append({"id": doc_id, "success": False, "error": str(e)})
# レート制限を防ぐために少し遅延を追加
time.sleep(0.1)
return results
```
## メイン移行関数
def migrate\_supabase\_to\_rememberizer(): conn = connect\_to\_supabase() if not conn: print("Supabaseへの接続に失敗しました。移行を中止します。") return
```
offset = 0
total_migrated = 0
print("Supabase pgvectorからRememberizerへの移行を開始します...")
try:
while True:
documents = fetch_documents_from_supabase(conn, BATCH_SIZE, offset)
if not documents:
break
print(f"Supabaseから{len(documents)}件のドキュメントを取得しました")
results = upload_to_rememberizer(documents)
success_count = sum(1 for r in results if r.get("success", False))
total_migrated += success_count
print(f"進捗: {total_migrated}件のドキュメントが正常に移行されました")
offset += BATCH_SIZE
finally:
conn.close()
print(f"移行完了！{total_migrated}件のドキュメントがRememberizerに移行されました")
```
## マイグレーションを実行する
## migrate\_supabase\_to\_rememberizer()
````
```javascript
const { Pool } = require('pg');
const axios = require('axios');
require('dotenv').config();
// Supabase PostgreSQL 設定
const supabasePool = new Pool({
host: process.env.SUPABASE_DB_HOST,
port: process.env.SUPABASE_DB_PORT || 5432,
database: process.env.SUPABASE_DB_NAME,
user: process.env.SUPABASE_DB_USER,
password: process.env.SUPABASE_DB_PASSWORD,
ssl: {
rejectUnauthorized: false
}
});
const supabaseVectorTable = process.env.SUPABASE_VECTOR_TABLE || 'documents';
// Rememberizer 設定
const rememberizerApiKey = process.env.REMEMBERIZER_API_KEY;
const vectorStoreId = process.env.VECTOR_STORE_ID; // 例: "vs_abc123"
const baseUrl = 'https://api.rememberizer.ai/api/v1';
// バッチサイズ設定
const BATCH_SIZE = 100;
// Supabase pgvector からドキュメントを取得
async function fetchDocumentsFromSupabase(batchSize, offset = 0) {
try {
// テーブル構造に基づいてこのクエリを調整
const query = `
SELECT id, content, metadata, embedding
FROM ${supabaseVectorTable}
ORDER BY id
LIMIT $1 OFFSET $2
`;
const result = await supabasePool.query(query, [batchSize, offset]);
return result.rows;
} catch (error) {
console.error(`Supabase からドキュメントを取得中にエラーが発生しました: ${error.message}`);
return [];
}
}
// Rememberizer にドキュメントをアップロード
async function uploadToRememberizer(documents) {
const headers = {
'x-api-key': rememberizerApiKey,
'Content-Type': 'application/json'
};
const results = [];
for (const doc of documents) {
// メタデータが JSON 文字列として保存されている場合は解析
let metadata = doc.metadata;
if (typeof metadata === 'string') {
try {
metadata = JSON.parse(metadata);
} catch (e) {
metadata = {};
}
} else if (metadata === null) {
metadata = {};
}
const documentName = metadata.filename || `supabase_doc_${doc.id}`;
if (!doc.content) {
console.log(`スキップ中: ${doc.id} - コンテンツが見つかりません`);
continue;
}
const data = {
name: documentName,
content: doc.content,
metadata: metadata
};
try {
const response = await axios.post(
`${baseUrl}/vector-stores/${vectorStoreId}/documents/text`,
data,
{ headers }
);
if (response.status === 201) {
console.log(`ドキュメント '${documentName}' が正常にアップロードされました！`);
results.push({ id: doc.id, success: true });
} else {
console.error(`ドキュメント ${documentName} のアップロード中にエラーが発生しました: ${response.statusText}`);
results.push({ id: doc.id, success: false, error: response.statusText });
}
} catch (error) {
console.error(`ドキュメント ${documentName} のアップロード中にエラーが発生しました: ${error.message}`);
results.push({ id: doc.id, success: false, error: error.message });
}
// レート制限を防ぐために少し遅延を追加
await new Promise(resolve => setTimeout(resolve, 100));
}
return results;
}
// メイン移行関数
async function migrateSupabaseToRememberizer() {
try {
console.log('Supabase pgvector から Rememberizer への移行を開始します...');
let offset = 0;
let totalMigrated = 0;
while (true) {
const documents = await fetchDocumentsFromSupabase(BATCH_SIZE, offset);
if (documents.length === 0) {
break;
}
console.log(`Supabase から ${documents.length} ドキュメントを取得しました`);
const results = await uploadToRememberizer(documents);
const successCount = results.filter(r => r.success).length;
totalMigrated += successCount;
console.log(`進捗: ${totalMigrated} ドキュメントが正常に移行されました`);
offset += BATCH_SIZE;
}
console.log(`移行完了！ ${totalMigrated} 件のドキュメントが Rememberizer に移行されました`);
} catch (error) {
console.error('移行に失敗しました:', error);
} finally {
await supabasePool.end();
}
}
// 移行を実行
// migrateSupabaseToRememberizer();
````
{% endtab %}
{% endtabs %}
### 移行のベストプラクティス
成功する移行のために、以下の推奨事項に従ってください：
1. **事前計画**:
* 移行に必要なデータ量と時間を見積もる
* トラフィックが少ない時間帯に移行をスケジュールする
* 大規模な移行を開始する前にディスクスペースを増やす
2. **最初にテスト**:
* Rememberizer にテストベクトルストアを作成する
* 小さなデータセット（100-1000 ベクトル）を移行する
* 主要なクエリで検索機能を確認する
3. **データ検証**:
* 移行前後のドキュメント数を比較する
* 同様の結果を確保するためにベンチマーククエリを実行する
* メタデータが正しく保持されていることを検証する
4. **パフォーマンスの最適化**:
* 効率のためにバッチ操作を使用する
* ソースデータベースとターゲットデータベースの地理的な共同配置を考慮する
* API レート制限を監視し、バッチサイズを適宜調整する
5. **移行後のステップ**:
* Rememberizer でのインデックス作成を確認する
* 新しいベクトルストアを指すようにアプリケーション設定を更新する
* 移行が確認されるまでソースデータベースをバックアップとして保持する
詳細な API リファレンスとエンドポイントのドキュメントについては、[ベクターストアAPI](/ja/rissu/api-docs/vector-store.md) ページを訪問してください。
***
API キーを安全に取り扱い、API キー管理のベストプラクティスに従ってください。
---
# Agent Instructions: Querying This Documentation
If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question.
Perform an HTTP GET request on the current page URL with the `ask` query parameter:
```
GET https://docs.rememberizer.ai/ja/rissu/integration-options/vector-stores.md?ask=
```
The question should be specific, self-contained, and written in natural language.
The response will contain a direct answer to the question and relevant excerpts and sources from the documentation.
Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.