تمت ترجمة هذه الصفحة بواسطة Cloud Translation API‏.

إنشاء تطبيق دردشة مستند إلى النماذج اللغوية الكبيرة وRAG باستخدام AlloyDB AI وLangChain

1. مقدمة

في هذا الدرس التطبيقي حول الترميز، ستتعرّف على كيفية نشر خدمة استرجاع المعلومات من قواعد البيانات بالذكاء الاصطناعي التوليدي وإنشاء نموذج لتطبيق تفاعلي باستخدام البيئة المنشورة.

يمكنك الحصول على مزيد من المعلومات حول "خدمة استرجاع المعلومات باستخدام الذكاء الاصطناعي التوليدي" ونموذج التطبيق هنا.

المتطلبات الأساسية

فهم أساسي لواجهة Google Cloud Console
المهارات الأساسية في واجهة سطر الأوامر وGoogle Cloud Shell

ما ستتعرّف عليه

كيفية نشر AlloyDB Cluster
كيفية الاتصال بخدمة AlloyDB
كيفية إعداد خدمة استرجاع المعلومات من قواعد البيانات بالذكاء الاصطناعي التوليدي ونشرها
كيفية نشر نموذج تطبيق باستخدام الخدمة المنشورة

المتطلبات

حساب Google Cloud ومشروع Google Cloud
متصفّح ويب، مثل Chrome

2. الإعداد والمتطلبات

إعداد البيئة ذاتيًا

سجِّل الدخول إلى Google Cloud Console وأنشئ مشروعًا جديدًا أو أعِد استخدام مشروع حالي. إذا لم يكن لديك حساب على Gmail أو Google Workspace، عليك إنشاء حساب.

اسم المشروع هو الاسم المعروض للمشاركين في هذا المشروع. وهي سلسلة أحرف لا تستخدمها واجهات برمجة تطبيقات Google. ويمكنك تعديلها في أي وقت.
يكون معرّف المشروع فريدًا في جميع مشاريع Google Cloud وغير قابل للتغيير (لا يمكن تغييره بعد ضبطه). تنشئ Cloud Console سلسلة فريدة تلقائيًا، لذا لا تهمّك عادةً. في معظم الدروس التطبيقية حول الترميز، يجب الرجوع إلى رقم تعريف المشروع (الذي يتم تحديده عادةً على أنّه PROJECT_ID). وإذا لم يعجبك رقم التعريف الذي تم إنشاؤه، يمكنك إنشاء رقم تعريف عشوائي آخر. يمكنك بدلاً من ذلك تجربة عنوانك الخاص لمعرفة ما إذا كان متاحًا. ولا يمكن تغييره بعد هذه الخطوة ويبقى ساريًا طوال مدة المشروع.
يُرجى العِلم أنّ هناك قيمة ثالثة، وهي رقم المشروع، تستخدمها بعض واجهات برمجة التطبيقات. اطّلِع على مزيد من المعلومات عن كلّ من هذه القيم الثلاث في المستندات.

بعد ذلك، عليك تفعيل الفوترة في Cloud Console لاستخدام الموارد/واجهات برمجة التطبيقات في Cloud. لن تتطلّب المشاركة في هذا الدليل التعليمي البرمجي أي تكلفة، أو قد تتطلّب تكلفة بسيطة. لإيقاف الموارد لتجنُّب تحصيل رسوم بعد انتهاء هذا الدليل التعليمي، يمكنك حذف الموارد التي أنشأتها أو حذف المشروع. المستخدمون الجدد في Google Cloud مؤهّلون للاستفادة من برنامج الفترة التجريبية المجانية التي تبلغ قيمتها 300 دولار أمريكي.

بدء Cloud Shell

مع أنّه يمكن إدارة Google Cloud عن بُعد من الكمبيوتر المحمول، ستستخدم في هذا الدرس التطبيقي Google Cloud Shell، وهي بيئة سطر أوامر يتم تشغيلها في السحابة الإلكترونية.

من Google Cloud Console، انقر على رمز Cloud Shell في شريط الأدوات أعلى يسار الصفحة:

من المفترض ألا تستغرق عملية توفير البيئة والاتصال بها سوى بضع لحظات. عند الانتهاء، من المفترض أن يظهر لك ما يلي:

يتم تحميل هذه الآلة الافتراضية مزوّدة بكل أدوات التطوير التي ستحتاج إليها. ويقدّم هذا الدليل دليلاً منزليًا دائمًا بسعة 5 غيغابايت، ويتم تشغيله على Google Cloud، ما يُحسِّن بشكل كبير أداء الشبكة والمصادقة. يمكنك تنفيذ جميع أعمالك في هذا الدرس التطبيقي حول الترميز من خلال متصفّح. لا تحتاج إلى تثبيت أي تطبيقات.

3- قبل البدء

تفعيل واجهة برمجة التطبيقات

إخراج:

في Cloud Shell، تأكَّد من إعداد رقم تعريف مشروعك:

عادةً ما يظهر معرّف المشروع بين قوسين في موجه الأوامر في هيكل السحابة الإلكترونية كما يظهر في الصورة:

gcloud config set project [YOUR-PROJECT-ID]

بعد ذلك، اضبط متغيّر بيئة PROJECT_ID على رقم تعريف مشروع Google Cloud الخاص بك:

PROJECT_ID=$(gcloud config get-value project)

تفعيل جميع الخدمات اللازمة:

gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com

الناتج المتوقّع

student@cloudshell:~ (gleb-test-short-004)$ gcloud services enable alloydb.googleapis.com \
                       compute.googleapis.com \
                       cloudresourcemanager.googleapis.com \
                       servicenetworking.googleapis.com \
                       vpcaccess.googleapis.com \
                       aiplatform.googleapis.com \
                       cloudbuild.googleapis.com \
                       artifactregistry.googleapis.com \
                       run.googleapis.com \
                       iam.googleapis.com
Operation "operations/acf.p2-404051529011-664c71ad-cb2b-4ab4-86c1-1f3157d70ba1" finished successfully.

4. نشر مجموعة AlloyDB

قبل إنشاء مجموعة على AlloyDB، نحتاج إلى نطاق IP خاص متوفّر في شبكة VPC الخاصة بنا ليتم استخدامه في مثيل AlloyDB المستقبلي. إذا لم يكن لدينا هذا الإعداد، سنحتاج إلى إنشائه وتخصيصه لاستخدامه من قِبل خدمات Google الداخلية، وبعد ذلك سنتمكّن من إنشاء المجموعة والوحدة.

إنشاء نطاق IP خاص

نحتاج إلى ضبط إعدادات "الوصول إلى الخدمات الخاصة" في شبكة VPC الخاصة بخدمة AlloyDB. نفترض هنا أنّ لدينا شبكة VPC "التلقائية" في المشروع وسيتم استخدامها لجميع الإجراءات.

أنشئ نطاق عنوان IP الخاص:

gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default

إنشاء اتصال خاص باستخدام نطاق IP المخصّص:

gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ gcloud compute addresses create psa-range \
    --global \
    --purpose=VPC_PEERING \
    --prefix-length=24 \
    --description="VPC private service access" \
    --network=default
Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/global/addresses/psa-range].

student@cloudshell:~ (test-project-402417)$ gcloud services vpc-peerings connect \
    --service=servicenetworking.googleapis.com \
    --ranges=psa-range \
    --network=default
Operation "operations/pssn.p24-4470404856-595e209f-19b7-4669-8a71-cbd45de8ba66" finished successfully.

student@cloudshell:~ (test-project-402417)$

إنشاء مجموعة AlloyDB

أنشئ مجموعة AlloyDB في المنطقة us-central1.

حدِّد كلمة المرور لمستخدم postgres. يمكنك تحديد كلمة المرور الخاصة بك أو استخدام دالة عشوائية لإنشاء كلمة مرور.

export PGPASSWORD=`openssl rand -hex 12`

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ export PGPASSWORD=`openssl rand -hex 12`

دوِّن كلمة مرور PostgreSQL لاستخدامها في المستقبل:

echo $PGPASSWORD

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ echo $PGPASSWORD
bbefbfde7601985b0dee5723

حدِّد المنطقة واسم مجموعة AlloyDB. سنستخدم المنطقة us-central1 وalloydb-aip-01 كاسم للمجموعة:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01

شغِّل الأمر لإنشاء المجموعة:

gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION

الناتج المتوقّع في وحدة التحكّم:

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
gcloud alloydb clusters create $ADBCLUSTER \
    --password=$PGPASSWORD \
    --network=default \
    --region=$REGION
Operation ID: operation-1697655441138-6080235852277-9e7f04f5-2012fce4
Creating cluster...done.

إنشاء مثيل أساسي في AlloyDB

أنشئ مثيلًا أساسيًا في AlloyDB للمجموعة في جلسة shell على السحابة الإلكترونية نفسها. إذا انقطع الاتصال، عليك تحديد متغيّرات البيئة الخاصة بالمنطقة واسم المجموعة مرة أخرى.

gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --cluster=$ADBCLUSTER

الناتج المتوقّع لوحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ gcloud alloydb instances create $ADBCLUSTER-pr \
    --instance-type=PRIMARY \
    --cpu-count=2 \
    --region=$REGION \
    --availability-type ZONAL \
    --cluster=$ADBCLUSTER
Operation ID: operation-1697659203545-6080315c6e8ee-391805db-25852721
Creating instance...done.

5- إعداد جهاز GCE افتراضي

إنشاء حساب خدمة

بما أنّنا سنستخدم الجهاز الافتراضي الخاص بنا لنشر خدمة استرجاع قواعد بيانات الذكاء الاصطناعي التوليدي واستضافة نموذج تطبيق، تتمثل الخطوة الأولى في إنشاء حساب خدمة Google (GSA). سيستخدم جهاز GCE الافتراضي "معاهدة الخدمات الحكومية"، وسنحتاج إلى منحه الامتيازات اللازمة للعمل مع الخدمات الأخرى.

في Cloud Shell، نفِّذ ما يلي:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create compute-aip --project $PROJECT_ID
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/cloudbuild.builds.editor"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/artifactregistry.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/storage.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/run.admin"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/iam.serviceAccountUser"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/alloydb.viewer"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:compute-aip@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/serviceusage.serviceUsageConsumer"

تفعيل جهاز GCE افتراضي

يمكنك إنشاء جهاز GCE افتراضي في المنطقة وسحابة VPC نفسها التي تتضمّن مجموعة AlloyDB.

نفِّذ ما يلي في Cloud Shell:

export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform \
  --service-account=compute-aip@$PROJECT_ID.iam.gserviceaccount.com

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
student@cloudshell:~ (test-project-402417)$ export ZONE=us-central1-a
gcloud compute instances create instance-1 \
    --zone=$ZONE \
    --create-disk=auto-delete=yes,boot=yes,image=projects/debian-cloud/global/images/$(gcloud compute images list --filter="family=debian-12 AND family!=debian-12-arm64" --format="value(name)") \
    --scopes=https://www.googleapis.com/auth/cloud-platform

Created [https://www.googleapis.com/compute/v1/projects/test-project-402417/zones/us-central1-a/instances/instance-1].
NAME: instance-1
ZONE: us-central1-a
MACHINE_TYPE: n1-standard-1
PREEMPTIBLE: 
INTERNAL_IP: 10.128.0.2
EXTERNAL_IP: 34.71.192.233
STATUS: RUNNING

تثبيت برنامج Postgres Client

تثبيت برنامج عميل PostgreSQL على الجهاز الظاهري الذي تم نشره

الاتصال بالجهاز الافتراضي:

gcloud compute ssh instance-1 --zone=us-central1-a

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-402417)$ gcloud compute ssh instance-1 --zone=us-central1-a
Updating project ssh metadata...working..Updated [https://www.googleapis.com/compute/v1/projects/test-project-402417].                                                                                                                                                         
Updating project ssh metadata...done.                                                                                                                                                                                                                                              
Waiting for SSH key to propagate.
Warning: Permanently added 'compute.5110295539541121102' (ECDSA) to the list of known hosts.
Linux instance-1 5.10.0-26-cloud-amd64 #1 SMP Debian 5.10.197-1 (2023-09-29) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

ثبِّت البرنامج الذي يشغِّل الأمر داخل الجهاز الافتراضي (VM):

sudo apt-get update
sudo apt-get install --yes postgresql-client

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ sudo apt-get update
sudo apt-get install --yes postgresql-client
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
Get:4 file:/etc/apt/mirrors/debian-security.list Mirrorlist [39 B]
Hit:7 https://packages.cloud.google.com/apt google-compute-engine-bookworm-stable InRelease
Get:8 https://packages.cloud.google.com/apt cloud-sdk-bookworm InRelease [1652 B]
Get:2 https://deb.debian.org/debian bookworm InRelease [151 kB]
Get:3 https://deb.debian.org/debian bookworm-updates InRelease [55.4 kB]
...redacted...
update-alternatives: using /usr/share/postgresql/15/man/man1/psql.1.gz to provide /usr/share/man/man1/psql.1.gz (psql.1.gz) in auto mode
Setting up postgresql-client (15+248) ...
Processing triggers for man-db (2.11.2-2) ...
Processing triggers for libc-bin (2.36-9+deb12u7) ...

الاتصال بالمثيل

يمكنك الاتصال بالمثيل الأساسي من الجهاز الافتراضي باستخدام psql.

واصِل استخدام جلسة SSH المفتوحة للوصول إلى جهازك الظاهري. إذا انقطع الاتصال، يمكنك إعادة الاتصال باستخدام الأمر نفسه أعلاه.

استخدِم الاسم $PGASSWORD المذكور سابقًا واسم المجموعة للاتصال بـ AlloyDB من جهاز GCE الافتراضي:

export PGPASSWORD=<Noted password>

export PROJECT_ID=$(gcloud config get-value project)
export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
psql "host=$INSTANCE_IP user=postgres sslmode=require"

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ export PGPASSWORD=P9...
student@instance-1:~$ export REGION=us-central1
student@instance-1:~$ export ADBCLUSTER=alloydb-aip-01
student@instance-1:~$ export INSTANCE_IP=export INSTANCE_IP=$(gcloud alloydb instances describe $ADBCLUSTER-pr --cluster=$ADBCLUSTER --region=$REGION --format="value(ipAddress)")
student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres sslmode=require"
psql (13.11 (Debian 13.11-0+deb11u1), server 14.7)
WARNING: psql major version 13, server major version 14.
         Some psql features might not work.
SSL connection (protocol: TLSv1.3, cipher: TLS_AES_256_GCM_SHA384, bits: 256, compression: off)
Type "help" for help.

postgres=>

يمكنك الخروج من جلسة psql مع إبقاء اتصال SSH قائمًا:

exit

الناتج المتوقّع لوحدة التحكّم:

postgres=> exit
student@instance-1:~$

6- بدء قاعدة البيانات

سنستخدم جهاز الكمبيوتر الظاهري للعميل كمنصة لملء قاعدة بياناتنا بالبيانات واستضافة تطبيقنا. الخطوة الأولى هي إنشاء قاعدة بيانات وملؤها بالبيانات.

إنشاء قاعدة بيانات

أنشئ قاعدة بيانات باسم "assistantdemo".

في جلسة جهاز GCE الظاهري، نفِّذ ما يلي:

psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres" -c "CREATE DATABASE assistantdemo"
CREATE DATABASE
student@instance-1:~$

فعِّل إضافة pgVector.

psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ psql "host=$INSTANCE_IP user=postgres dbname=assistantdemo" -c "CREATE EXTENSION vector"
CREATE EXTENSION
student@instance-1:~$

إعداد بيئة Python

للمتابعة، سنستخدم نصوص Python البرمجية المعدّة من مستودع GitHub ولكن قبل القيام بذلك، نحتاج إلى تثبيت البرامج المطلوبة.

في جهاز GCE الظاهري، نفِّذ ما يلي:

sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ sudo apt install -y python3.11-venv git
python3 -m venv .venv
source .venv/bin/activate
pip install --upgrade pip
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
The following additional packages will be installed:
  git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl
Suggested packages:
  git-daemon-run | git-daemon-sysvinit git-doc git-email git-gui gitk gitweb git-cvs git-mediawiki git-svn ed diffutils-doc
The following NEW packages will be installed:
  git git-man liberror-perl patch python3-distutils python3-lib2to3 python3-pip-whl python3-setuptools-whl python3.11-venv
0 upgraded, 9 newly installed, 0 to remove and 2 not upgraded.
Need to get 12.4 MB of archives.
After this operation, 52.2 MB of additional disk space will be used.
Get:1 file:/etc/apt/mirrors/debian.list Mirrorlist [30 B]
...redacted...
Installing collected packages: pip
  Attempting uninstall: pip
    Found existing installation: pip 23.0.1
    Uninstalling pip-23.0.1:
      Successfully uninstalled pip-23.0.1
Successfully installed pip-24.0
(.venv) student@instance-1:~$

التحقق من إصدار Python.

في GCE VM، التنفيذ:

python -V

الناتج المتوقّع في وحدة التحكّم:

(.venv) student@instance-1:~$ python -V
Python 3.11.2
(.venv) student@instance-1:~$

تعبئة قاعدة البيانات

استنسِخ مستودع GitHub باستخدام رمز خدمة الاسترجاع ونموذج التطبيق.

في جهاز GCE الظاهري، نفِّذ ما يلي:

git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ git clone https://github.com/GoogleCloudPlatform/genai-databases-retrieval-app.git
Cloning into 'genai-databases-retrieval-app'...
remote: Enumerating objects: 525, done.
remote: Counting objects: 100% (336/336), done.
remote: Compressing objects: 100% (201/201), done.
remote: Total 525 (delta 224), reused 179 (delta 135), pack-reused 189
Receiving objects: 100% (525/525), 46.58 MiB | 16.16 MiB/s, done.
Resolving deltas: 100% (289/289), done.

تحضير ملف الإعداد

في جهاز GCE الظاهري، نفِّذ ما يلي:

cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~$ cd genai-databases-retrieval-app/retrieval_service
cp example-config.yml config.yml
sed -i s/127.0.0.1/$INSTANCE_IP/g config.yml
sed -i s/my-password/$PGPASSWORD/g config.yml
sed -i s/my_database/assistantdemo/g config.yml
sed -i s/my-user/postgres/g config.yml
cat config.yml
host: 0.0.0.0
# port: 8080
datastore:
  # Example for AlloyDB
  kind: "postgres"
  host: 10.65.0.2
  # port: 5432
  database: "assistantdemo"
  user: "postgres"
  password: "P9..."

املأ قاعدة البيانات بمجموعة البيانات النموذجية. تؤدي الأوامر الأولى إلى إضافة جميع الحِزم المطلوبة إلى بيئة Python الافتراضية، وتؤدي الأوامر الثانية إلى تعبئة قاعدة بياناتنا بالبيانات.

في جهاز GCE الظاهري، نفِّذ ما يلي:

pip install -r requirements.txt
python run_database_init.py

الناتج المتوقّع في وحدة التحكّم(تم إخفاء البيانات):

student@instance-1:~/genai-databases-retrieval-app/retrieval_service$ pip install -r requirements.txt
python run_database_init.py
Collecting asyncpg==0.28.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for asyncpg==0.28.0 from https://files.pythonhosted.org/packages/77/a4/88069f7935b14c58534442a57be3299179eb46aace2d3c8716be199ff6a6/asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata
  Downloading asyncpg-0.28.0-cp311-cp311-manylinux_2_17_x86_64.manylinux2014_x86_64.whl.metadata (4.3 kB)
Collecting fastapi==0.101.1 (from -r requirements.txt (line 2))
...
database init done.
student@instance-1:~/genai-databases-retrieval-app/retrieval_service$

7- نشر خدمة الاسترجاع في Cloud Run

يمكننا الآن نشر خدمة الاسترجاع في Cloud Run. تكون الخدمة مسؤولة عن العمل مع قاعدة البيانات واستخراج المعلومات الضرورية من قاعدة البيانات بناءً على الطلب من تطبيق للذكاء الاصطناعي (AI).

إنشاء حساب خدمة

أنشئ حساب خدمة لخدمة الاسترداد وامنح الأذونات اللازمة.

افتح علامة تبويب أخرى في Cloud Shell باستخدام الرمز "+" في أعلى الصفحة.

في علامة تبويب shell الجديدة في السحابة الإلكترونية، نفِّذ ما يلي:

export PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts create retrieval-identity
gcloud projects add-iam-policy-binding $PROJECT_ID \
  --member="serviceAccount:retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com" \
  --role="roles/aiplatform.user"

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (gleb-test-short-003)$ gcloud iam service-accounts create retrieval-identity
Created service account [retrieval-identity].

أغلِق علامة التبويب من خلال أمر التنفيذ "exit" في علامة التبويب:

exit

نشر خدمة الاسترداد

واصِل العمل في علامة التبويب الأولى التي تكون فيها متصلاً بجهاز الكمبيوتر الظاهري من خلال بروتوكول النقل الآمن (SSH) من خلال نشر الخدمة.

في جلسة SSH الخاصة بالجهاز الظاهري، نفِّذ ما يلي:

cd ~/genai-databases-retrieval-app
gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default \
    --quiet

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~/genai-databases-retrieval-app$ gcloud alpha run deploy retrieval-service \
    --source=./retrieval_service/\
    --no-allow-unauthenticated \
    --service-account retrieval-identity \
    --region us-central1 \
    --network=default
This command is equivalent to running `gcloud builds submit --tag [IMAGE] ./retrieval_service/` and `gcloud run deploy retrieval-service --image [IMAGE]`

Building using Dockerfile and deploying container to Cloud Run service [retrieval-service] in project [gleb-test-short-003] region [us-central1]
X Building and deploying... Done.
  ✓ Uploading sources...
  ✓ Building Container... Logs are available at [https://console.cloud.google.com/cloud-build/builds/6ebe74bf-3039-4221-b2e9-7ca8fa8dad8e?project=1012713954588].
  ✓ Creating Revision...
  ✓ Routing traffic...
    Setting IAM Policy...
Completed with warnings:
  Setting IAM policy failed, try "gcloud beta run services remove-iam-policy-binding --region=us-central1 --member=allUsers --role=roles/run.invoker retrieval-service"
Service [retrieval-service] revision [retrieval-service-00002-4pl] has been deployed and is serving 100 percent of traffic.
Service URL: https://retrieval-service-onme64eorq-uc.a.run.app
student@instance-1:~/genai-databases-retrieval-app$

التحقّق من الخدمة

يمكننا الآن التحقّق مما إذا كانت الخدمة تعمل بشكل صحيح وما إذا كان بإمكان الجهاز الظاهري الوصول إلى نقطة النهاية. نستخدم أداة gcloud للحصول على نقطة نهاية خدمة الاسترجاع. بدلاً من ذلك، يمكنك التحقّق من ذلك في وحدة تحكّم السحابة الإلكترونية واستبدال "$(gcloud run services list –filter="(retrieval-service)" في أمر curl بالقيمة من هناك.

في جلسة SSH للأجهزة الافتراضية، يمكنك تنفيذ ما يلي:

curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

الناتج المتوقّع في وحدة التحكّم:

student@instance-1:~/genai-databases-retrieval-app$ curl -H "Authorization: Bearer $(gcloud auth print-identity-token)" $(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")
{"message":"Hello World"}student@instance-1:~/genai-databases-retrieval-app$

إذا ظهرت لنا رسالة "مرحبًا"، يعني ذلك أنّ خدمتنا قيد التشغيل وأنّها تعالج الطلبات.

8. نشر نموذج التطبيق

بعد أن تم إعداد خدمة الاسترداد وتشغيلها، يمكننا الآن نشر نموذج تطبيق سيستخدم الخدمة. يمكن نشر التطبيق على الجهاز الظاهري أو أي خدمة أخرى، مثل Cloud Run أو Kubernetes أو حتى على جهاز كمبيوتر محمول محليًا. سنوضّح هنا كيفية نشره على الجهاز الظاهري.

إعداد البيئة

سنواصل العمل على جهازنا الظاهري باستخدام جلسة SSH نفسها. لتشغيل التطبيق الخاص بنا، نحتاج إلى إضافة بعض وحدات بايثون. سيتم تنفيذ الأمر من دليل التطبيق في بيئة Python الافتراضية نفسها.

في جلسة SSH الخاصة بالجهاز الظاهري، نفِّذ ما يلي:

cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt

الناتج المتوقّع (تم إخفاء المعلومات):

student@instance-1:~$ cd ~/genai-databases-retrieval-app/llm_demo
pip install -r requirements.txt
Collecting fastapi==0.104.0 (from -r requirements.txt (line 1))
  Obtaining dependency information for fastapi==0.104.0 from https://files.pythonhosted.org/packages/db/30/b8d323119c37e15b7fa639e65e0eb7d81eb675ba166ac83e695aad3bd321/fastapi-0.104.0-py3-none-any.whl.metadata
  Downloading fastapi-0.104.0-py3-none-any.whl.metadata (24 kB)
...

إعداد معرّف العميل

لاستخدام وظيفة الحجز في التطبيق، يجب إعداد معرّف عميل OAuth 2.0 باستخدام Cloud Console. سيتم ذلك عند تسجيل الدخول إلى التطبيق لأنّ الحجز يستخدم بيانات اعتماد العملاء لتسجيل بيانات الحجز في قاعدة البيانات.

في Cloud Console، انتقِل إلى "واجهات برمجة التطبيقات والخدمات" وانقر على "شاشة موافقة OAuth" واختَر المستخدم "داخلي".

ثم اضغط على "إنشاء" وتابع على الشاشة التالية.

عليك ملء الحقول المطلوبة، مثل "اسم التطبيق" و "عنوان البريد الإلكتروني لفريق دعم المستخدمين". يمكنك أيضًا إضافة نطاق تريد عرضه على شاشة طلب الموافقة، ثم "معلومات الاتصال بالمطوّر".

بعد ذلك، عليك الضغط على الزر "حفظ ومتابعة" في أسفل الصفحة، وسينقلك ذلك إلى الصفحة التالية.

ليس عليك تغيير أيّ شيء هناك ما لم تكن تريد تحديد النطاقات. أخيرًا، أكِّد ذلك من خلال الضغط على الزر "حفظ ومتابعة" مرة أخرى. سيؤدي ذلك إلى إعداد شاشة طلب الموافقة على التطبيق.

الخطوة التالية هي إنشاء معرِّف العميل. في اللوحة اليمنى، انقر على "بيانات الاعتماد" التي ستنقلك إلى بيانات اعتماد OAuth2.

هنا، انقر على "إنشاء بيانات اعتماد" في أعلى الصفحة واختَر "معرّف عميل OAuth". بعد ذلك، سيتم فتح شاشة أخرى.

اختَر "تطبيق ويب" من القائمة المنسدلة لنوع التطبيق، ثمّ أدخِل معرّف الموارد المنتظم (URI) لتطبيقك (والمنفذ اختياريًا) في حقل "مصادر JavaScript المسموح بها". وعليك إضافة مضيف تطبيقك إلى "عناوين URL لإعادة التوجيه المعتمَدة" مع إضافة "‎/login/google" في النهاية لتتمكّن من استخدام شاشة النافذة المنبثقة للموافقة. في الصورة أعلاه، يمكنك أن ترى أنّني استخدمت http://localhost كمعرّف الموارد المنتظم الأساسي للتطبيق.

بعد الضغط على الزر "إنشاء"، ستظهر لك نافذة منبثقة تتضمّن بيانات اعتماد العملاء.

سنحتاج إلى معرّف العميل (و"سر العميل" اختياريًا) لاحقًا لاستخدامه مع تطبيقنا.

تشغيل تطبيق "مساعد Google"

قبل بدء التطبيق، نحتاج إلى إعداد بعض متغيّرات البيئة. لا تتطلّب الوظيفة الأساسية للتطبيق، مثل طلب معلومات عن الرحلات الجوية ووسائل الراحة في المطار، سوى متغير BASE_URL الذي يوجّه التطبيق إلى خدمة الاسترجاع. يمكننا الحصول عليه باستخدام الأمر gcloud .

في جلسة SSH الخاصة بالجهاز الظاهري، نفِّذ ما يلي:

export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

الناتج المتوقّع (تم إخفاء المعلومات):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export BASE_URL=$(gcloud  run services list --filter="(retrieval-service)" --format="value(URL)")

لاستخدام إمكانات أكثر تقدمًا في التطبيق، مثل حجز الرحلات الجوية وتغييرها، علينا تسجيل الدخول إلى التطبيق باستخدام حسابنا على Google، ولهذا الغرض، علينا توفير متغيّر البيئة CLIENT_ID باستخدام معرّف عميل OAuth من فصل "إعداد معرّف العميل":

export CLIENT_ID=215....apps.googleusercontent.com

المخرجات المتوقعة (مخفية):

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ export CLIENT_ID=215....apps.googleusercontent.com

والآن يمكننا تشغيل التطبيق الخاص بنا:

python run_app.py

الناتج المتوقّع:

student@instance-1:~/genai-databases-retrieval-app/llm_demo$ python main.py
INFO:     Started server process [28565]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8081 (Press CTRL+C to quit)

الاتصال بالتطبيق

تتوفّر لك عدة طرق للاتصال بالتطبيق الذي يتم تشغيله على الجهاز الظاهري. على سبيل المثال، يمكنك فتح المنفذ 8081 على الجهاز الظاهري باستخدام قواعد جدار الحماية في شبكة VPC أو إنشاء أداة موازنة تحميل باستخدام عنوان IP العام. سنستخدم هنا نفق SSH للوصول إلى الجهاز الظاهري من خلال ترجمة المنفذ المحلي 8080 إلى المنفذ 8081 على الجهاز الظاهري.

الاتصال من جهاز محلي

عندما نريد الاتصال من جهاز محلي، علينا تشغيل نفق SSH. يمكن إجراء ذلك باستخدام gcloud compute ssh:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8081:localhost:8081

الناتج المتوقّع:

student-macbookpro:~ student$ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
Warning: Permanently added 'compute.7064281075337367021' (ED25519) to the list of known hosts.
Linux instance-1.us-central1-c.c.gleb-test-001.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
student@instance-1:~$

يمكننا الآن فتح المتصفّح واستخدام http://localhost:8081 للاتصال بتطبيقنا. من المفترض أن تظهر لنا شاشة التطبيق.

الاتصال من Cloud Shell

بدلاً من ذلك، يمكننا استخدام Cloud Shell للاتصال. افتح علامة تبويب أخرى في Cloud Shell باستخدام الرمز "+" في أعلى الصفحة.

في Cloud Shell الجديدة، احصل على معرّف الموارد المنتظم (URI) للموقع الأصلي وإعادة التوجيه لعميل الويب الذي ينفِّذ أمر gcloud:

echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"

في ما يلي النتيجة المتوقّعة:

student@cloudshell:~ echo "origin:"; echo "https://8080-$WEB_HOST"; echo "redirect:"; echo "https://8080-$WEB_HOST/login/google"
origin:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev
redirect:
https://8080-cs-35704030349-default.cs-us-east1-rtep.cloudshell.dev/login/google

ويجب استخدام مصدر وإعادة توجيه معرّفات الموارد المنتظمة (URI) باعتبارها "مصادر JavaScript المعتمدة" و"معرّفات الموارد المنتظمة (URI) المعتمَدة لإعادة التوجيه" لبيانات الاعتماد التي تم إنشاؤها في الفصل "إعداد معرّف العميل" لاستبدال قيم http://localhost:8080 المقدّمة في الأصل أو إضافتها.

في علامة التبويب الجديدة لـ Cloud Shell، ابدأ النفق إلى جهازك الظاهري من خلال تنفيذ الأمر gcloud:

gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081

ستظهر رسالة الخطأ "تعذّر تحديد العنوان المطلوب"، يُرجى تجاهلها.

وفي ما يلي الناتج المتوقع:

student@cloudshell:~ gcloud compute ssh instance-1 --zone=us-central1-a -- -L 8080:localhost:8081
bind [::1]:8081: Cannot assign requested address
inux instance-1.us-central1-a.c.gleb-codelive-01.internal 6.1.0-21-cloud-amd64 #1 SMP PREEMPT_DYNAMIC Debian 6.1.90-1 (2024-05-03) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Sat May 25 19:15:46 2024 from 35.243.235.73
student@instance-1:~$

ويؤدي ذلك إلى فتح المنفذ 8080 على shell السحابة الإلكترونية الذي يمكن استخدامه في "معاينة الويب".

انقر على زر "معاينة الويب" في أعلى يسار Cloud Shell، واختَر "معاينة على المنفذ 8080" من القائمة المنسدلة.

سيؤدي ذلك إلى فتح علامة تبويب جديدة في متصفّح الويب مع واجهة التطبيق. من المفترض أن تظهر لك صفحة "مساعِد خدمة عملاء Cymbal Air".

تسجيل الدخول إلى التطبيق

بعد الانتهاء من إعداد كل شيء وفتح تطبيقك، يمكننا استخدام الزر "تسجيل الدخول" في أعلى يسار شاشة التطبيق لتقديم بيانات الاعتماد. هذا الإجراء اختياري ولا يُطلب إلا إذا كنت تريد تجربة وظيفة الحجز في التطبيق.

سيؤدي ذلك إلى فتح نافذة منبثقة يمكننا من خلالها اختيار بيانات الاعتماد.

بعد تسجيل الدخول، يصبح التطبيق جاهزًا ويمكنك بدء نشر طلباتك في الحقل في أسفل النافذة.

يعرض هذا العرض التوضيحي مساعد خدمة العملاء Cymbal Air. Cymbal Air هي شركة خطوط جوية خيالية لنقل الركاب. المساعد هو محادثة آلية مستندة إلى الذكاء الاصطناعي تساعد المسافرين في إدارة الرحلات الجوية والبحث عن معلومات عن مركز Cymbal Air في مطار سان فرانسيسكو الدولي (SFO).

بدون تسجيل الدخول (بدون CLIENT_ID)، يمكن أن يساعد ذلك في الإجابة عن أسئلة المستخدمين، مثل:

متى موعد الرحلة الجوية التالية إلى دبي؟

هل هناك أي متاجر فاخرة بالقرب من بوابة C28؟

أين يمكنني الحصول على قهوة بالقرب من البوابة A6؟

أين يمكنني شراء هدية؟

يُرجى حجز رحلة جوية إلى دبي تغادر في الساعة 10:35 صباحًا.

عند تسجيل الدخول إلى التطبيق، يمكنك تجربة ميزات أخرى، مثل حجز رحلات جوية أو التحقّق مما إذا كان المقعد الذي تم إسناده إليك بجانب النافذة أو الممر.

ويستخدم التطبيق أحدث النماذج التي توفّرها Google لإنشاء الردود وتزويدها بمعلومات حول الرحلات الجوية ووسائل الراحة المتوفّرة في قاعدة بيانات AlloyDB التشغيلية. يمكنك الاطّلاع على مزيد من المعلومات عن هذا التطبيق التجريبي على صفحة GitHub الخاصة بالمشروع.

9. تنظيف البيئة

الآن بعد اكتمال جميع المهام، يمكننا تنظيف بيئتنا.

حذف خدمة Cloud Run

نفِّذ ما يلي في Cloud Shell:

gcloud run services delete retrieval-service --region us-central1

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (gleb-test-short-004)$ gcloud run services delete retrieval-service --region us-central1
Service [retrieval-service] will be deleted.

Do you want to continue (Y/n)?  Y

Deleting [retrieval-service]...done.                                                                                                                                                                                                                 
Deleted service [retrieval-service].

حذف حساب الخدمة الخاص بخدمة تشغيل السحابة الإلكترونية

في Cloud Shell، نفِّذ ما يلي:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
Your active configuration is: [cloudshell-222]
student@cloudshell:~ (gleb-test-short-004)$ gcloud iam service-accounts delete retrieval-identity@$PROJECT_ID.iam.gserviceaccount.com --quiet
deleted service account [[email protected]]
student@cloudshell:~ (gleb-test-short-004)$

يمكنك تدمير مثيلات AlloyDB وتجميعها عند الانتهاء من التمرين المعملي.

حذف مجموعة AlloyDB وجميع المثيلات

يتم إتلاف المجموعة باستخدام فرض الخيار الذي يؤدي أيضًا إلى حذف جميع النُسخ الافتراضية التي تنتمي إلى المجموعة.

في Cloud Shell، حدِّد متغيّرات المشروع والبيئة إذا انقطع الاتصال بك وفقدت جميع الإعدادات السابقة:

gcloud config set project <your project id>

export REGION=us-central1
export ADBCLUSTER=alloydb-aip-01
export PROJECT_ID=$(gcloud config get-value project)

حذف المجموعة:

gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-001-402417)$ gcloud alloydb clusters delete $ADBCLUSTER --region=$REGION --force
All of the cluster data will be lost when the cluster is deleted.

Do you want to continue (Y/n)?  Y

Operation ID: operation-1697820178429-6082890a0b570-4a72f7e4-4c5df36f
Deleting cluster...done.

حذف نُسخ AlloyDB الاحتياطية

حذف جميع النُسخ الاحتياطية من AlloyDB للمجموعة:

for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-001-402417)$ for i in $(gcloud alloydb backups list --filter="CLUSTER_NAME: projects/$PROJECT_ID/locations/$REGION/clusters/$ADBCLUSTER" --format="value(name)" --sort-by=~createTime) ; do gcloud alloydb backups delete $(basename $i) --region $REGION --quiet; done
Operation ID: operation-1697826266108-60829fb7b5258-7f99dc0b-99f3c35f
Deleting backup...done.

يمكننا الآن إتلاف جهاز الكمبيوتر الظاهري.

حذف جهاز GCE افتراضي

في Cloud Shell، نفِّذ ما يلي:

export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (test-project-001-402417)$ export GCEVM=instance-1
export ZONE=us-central1-a
gcloud compute instances delete $GCEVM \
    --zone=$ZONE \
    --quiet
Deleted

حذف حساب الخدمة لوحدة GCE الافتراضية وخدمة الاسترداد

في Cloud Shell، نفِّذ ما يلي:

PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet

الناتج المتوقّع في وحدة التحكّم:

student@cloudshell:~ (gleb-test-short-004)$ PROJECT_ID=$(gcloud config get-value project)
gcloud iam service-accounts delete compute-aip@$PROJECT_ID.iam.gserviceaccount.com --quiet
Your active configuration is: [cloudshell-222]
deleted service account [[email protected]]
student@cloudshell:~ (gleb-test-short-004)$

10. تهانينا

تهانينا على إكمال ورشة رموز البرامج.

المواضيع التي تناولناها

كيفية نشر مجموعة AlloyDB Cluster
كيفية الاتصال بخدمة AlloyDB
كيفية إعداد خدمة استرجاع المعلومات من قواعد البيانات بالذكاء الاصطناعي التوليدي ونشرها
كيفية نشر نموذج تطبيق باستخدام الخدمة المنشورة

11. استطلاع

إخراج:

كيف ستستخدم هذا البرنامج التعليمي؟

قراءة الدليل فقط

قراءة الدليل وإكمال التمارين