אימון מודל זיהוי אובייקטים באמצעות AutoML Vision Edge

מודל לזיהוי אובייקטים דומה למודל לתיוג תמונות, אבל במקום להקצות תוויות לתמונות שלמות, הוא מקצה תוויות לאזורים בתמונות. אפשר להשתמש במודלים של זיהוי אובייקטים כדי לזהות אובייקטים בתמונה ולאתר אותם, או כדי לעקוב אחרי תנועות של אובייקט בסדרה של תמונות.

כדי לאמן מודל זיהוי אובייקטים, מספקים את AutoML Vision Edge של קבוצת תמונות עם תוויות אובייקטים וגבולות אובייקטים תואמים. AutoML Vision Edge משתמש במערך הנתונים הזה כדי לאמן מודל חדש בענן, שבו אפשר להשתמש לזיהוי אובייקטים במכשיר.

תכונת אימון המודלים של

לפני שמתחילים

1. איסוף נתוני האימון

בשלב הראשון, צריך ליצור מערך נתונים לאימון של תמונות מתויגות. חשוב לזכור את ההנחיות הבאות:

  • התמונות צריכות להיות באחד מהפורמטים הבאים: JPEG, ‏ PNG, ‏ GIF, ‏ BMP, ‏ ICO.

  • כל תמונה צריכה להיות בגודל של עד 30MB. חשוב לזכור שמערכת AutoML Vision Edge מקטינה את רוב התמונות במהלך העיבוד המקדים, ולכן בדרך כלל אין יתרון ברמת הדיוק אם מספקים תמונות ברזולוציה גבוהה מאוד.

  • מומלץ לכלול לפחות 10 דוגמאות לכל תווית, ועדיף 100 דוגמאות או יותר.

  • מומלץ לכלול כמה זוויות, רזולוציות ורקעים לכל תווית.

  • נתוני האימון צריכים להיות קרובים ככל האפשר לנתונים שלפיהם רוצים לחזות את החיזוי. לדוגמה, אם תרחיש לדוגמה שלכם כולל תמונות מטושטשות ברזולוציה נמוכה (למשל, ממצלמת אבטחה), נתוני האימון צריכים להיות מורכבים מתמונות מטושטשות ברזולוציה נמוכה.

  • המודלים שנוצרים על ידי AutoML Vision Edge מותאמים במיוחד לתמונות של אובייקטים בעולם האמיתי. יכול להיות שהן לא יפעלו טוב עם צילומי רנטגן, ציורים ביד, מסמכים סרוקים, קבלות וכו'.

    כמו כן, בדרך כלל המודלים לא יכולים לחזות תוויות שבני אדם לא יכולים להקצות. לכן, אם אדם לא יכול להקצות תוויות על ידי התבוננות בתמונה למשך שנייה או שתיים, סביר להניח שלא ניתן לאמן את המודל לעשות זאת גם כן.

כשתמונות האימון יהיו מוכנות, עליכם להכין אותן לייבוא ל-Google Cloud. תוכל להגדיר אחת משתי אפשרויות:

אפשרות 1: Cloud Storage עם אינדקס CSV

מעלים את התמונות לצורך אימון אל Google Cloud Storage ומכינים קובץ CSV עם כתובת ה-URL של כל תמונה, ואפשר גם עם תוויות האובייקטים והאזורים המקיפים הנכונים לכל תמונה. האפשרות הזו שימושית כשמשתמשים במערכי נתונים גדולים.

לדוגמה, מעלים את התמונות ל-Cloud Storage ומכינים קובץ CSV כמו בדוגמה הבאה:

gs://your-training-data-bucket/001.jpg,accordion,0.2,0.4,,,0.3,0.5,,
gs://your-training-data-bucket/001.jpg,tuba,0.2,0.5,,,0.4,0.8,,
gs://your-training-data-bucket/002.jpg,accordion,0.2,0.2,,,0.9,0.8,,

תיבות תוחמות של אובייקטים מצוינות כקואורדינטות יחסיות בתמונה. ראו עיצוב קובץ CSV של נתוני אימון.

התמונות צריכות להיות מאוחסנות בקטגוריה שנמצאת באזור us-central1, וששייכת לפרויקט Google Cloud התואם של הפרויקט ב-Firebase.

אפשרות 2: תמונות ללא תווית

אחרי ההעלאה, מסמנים את התמונות לאימון ומציירים את גבולות האובייקטים במסוף Google Cloud. מומלץ להשתמש באפשרות הזו רק למערכי נתונים קטנים. יש הסבר בשלב הבא.

2. אימון המודל

בשלב הבא, מארגנים אימון של מודל באמצעות התמונות:

  1. פותחים את הדף Vision Datasets במסוף Google Cloud. בוחרים את הפרויקט הרצוי כשמופיעה הבקשה.

  2. לוחצים על New dataset, נותנים שם למערך הנתונים, בוחרים את סוג המודל שרוצים לאמן ולוחצים על Create dataset.

  3. בכרטיסייה Import של מערך הנתונים, מעלים את תמונות האימון, קובץ ארכיון zip של תמונות האימון או קובץ CSV שמכיל את המיקומים Cloud Storage שהעליתם אותן אליהם. מידע נוסף מופיע במאמר הרכבה של נתוני האימון.

  4. בסיום משימת הייבוא, תוכלו להשתמש בכרטיסייה Images כדי לאמת את נתוני האימון.

  5. אם לא העליתם קובץ CSV, צריך לשרטט לכל תמונה תיבות תוחמות סביב האובייקטים שרוצים לזהות ולתייג לכל אובייקט.

  6. בכרטיסייה אימון, לוחצים על התחלת האימון.

    1. נותנים שם למודל ובוחרים את סוג המודל Edge.

    2. קובעים את הגדרות האימון הבאות, שקובעות את הביצועים של המודל שנוצר:

      ביצוע אופטימיזציה של המודל לצורך... הגדרת המודל שבה רוצים להשתמש. אפשר לאמן מודלים מהר יותר, קטנים יותר כשזמן האחזור קצר או שהאריזה קטנה מדי – או שהמודלים שלהם גדולים יותר או איטיים יותר, כשהדיוק חשוב ביותר.
      תקציב שעות שימוש בצומת

      משך הזמן המקסימלי, בשעות מחשוב, להדרכת המודל. בדרך כלל, ככל שמשך האימון ארוך יותר, המודל יהיה מדויק יותר.

      לתשומת ליבכם: האימון עשוי להסתיים תוך פחות מהזמן שצוין אם המערכת קובעת שהמודל עבר אופטימיזציה ושאימון נוסף לא ישפר את הדיוק. אנחנו מחייבים אותך רק על השעות שבהן נעשה שימוש בפועל.

      זמני הדרכה אופייניים
      קבוצות קטנות מאודשעה אחת
      500 תמונותשעתיים
      1,000 תמונות3 שעות
      5,000 תמונות6 שעות
      10,000 תמונות7 שעות
      50,000 תמונות11 שעות
      100,000 תמונות13 שעות
      1,000,000 תמונות‫18 שעות

3. הערכת המודל

בסיום האימון, אפשר ללחוץ על הכרטיסייה Evaluate כדי לראות את מדדי הביצועים של המודל.

אחת מהשימושים החשובים בדף הזה היא לקבוע את סף האמון שמתאים ביותר למודל שלכם. סף האמון הוא רמת האמון המינימלית שהמודל צריך כדי להקצות תווית לתמונה. כשמזיזים את פס ההזזה של Confidence threshold, אפשר לראות איך ערכי סף שונים משפיעים על ביצועי המודל. ביצועי המודל נמדדים באמצעות שני מדדים: דיוק ורגישות.

בהקשר של סיווג תמונות, הדיוק הוא היחס בין מספר התמונות שסומנו בצורה נכונה לבין מספר התמונות שהמודל סימן בהתאם לסף שנבחר. כאשר לדגם יש רמת דיוק גבוהה, הוא מקצה תוויות באופן שגוי בתדירות נמוכה יותר (פחות תוצאות חיוביות שגויות).

אחזור הוא היחס בין מספר התמונות שתויגו בצורה נכונה למספר התמונות שהיה בהן תוכן שהמודל היה אמור להיות מסוגל להוסיף להן תווית. כאשר למודלים יש רמת זיכרון גבוהה, הם לא מקצים תווית לפחות מקרים (פחות תוצאות שליליות שגויות).

הבחירה אם לבצע אופטימיזציה לשיפור הדיוק או לשיפור הזכירה תלויה בתרחיש לדוגמה שלכם. למידע נוסף, עיינו במדריך למתחילים ב-AutoML Vision ובמדריך ל-ML כוללני – AutoML.

כשמוצאים ערך סף ביטחון שמניב מדדים שמתאימים לכם, כדאי לרשום אותו. תשתמשו בערך הסף הזה כדי להגדיר את המודל באפליקציה. (אפשר להשתמש בכלי הזה בכל שלב כדי לקבל ערך סף מתאים).

4. פרסום או הורדה של המודל

אם אתם מרוצים מהביצועים של המודל ואתם רוצים להשתמש בהם באפליקציה, יש לכם שלוש אפשרויות לבחירה: לפרוס את המודל לחיזוי אונליין, לפרסם את המודל ב-Firebase או להוריד אותו ולצרף אותו לאפליקציה שלכם.

פריסת המודל

בכרטיסייה Test & use של מערך הנתונים, אפשר לפרוס את המודל לחיזוי אונליין, שבו המודל פועל בענן. אפשרות זו מפורטת במסמכים של Cloud AutoML. המסמכים באתר הזה עוסקים בשתי האפשרויות הנותרות.

פרסום המודל

פרסום המודל ב-Firebase מאפשר לכם לעדכן את המודל בלי להשיק גרסה חדשה של האפליקציה, ולהשתמש ב-Remote Config וב-A/B Testing כדי להציג מודלים שונים באופן דינמי לקבוצות שונות של משתמשים.

אם בוחרים לספק את המודל רק על ידי אירוח שלו ב-Firebase, ולא לחבר אותו לחבילה של האפליקציה, אפשר לצמצם את גודל ההורדה הראשוני של האפליקציה. עם זאת, חשוב לזכור שאם המודל לא מצורף לחבילה של האפליקציה, כל הפונקציונליות שקשורה למודל לא תהיה זמינה עד שהאפליקציה תוריד את המודל בפעם הראשונה.

כדי לפרסם את המודל, אפשר להשתמש באחת משתי השיטות הבאות:

  • מורידים את מודל ה-TF Lite מהדף Test & use של מערך הנתונים במסוף Google Cloud, ולאחר מכן מעלים את המודל בדף Custom model במסוף Firebase. בדרך כלל זו הדרך הקלה ביותר לפרסם מודל יחיד.
  • מפרסמים את המודל ישירות מהפרויקט Google Cloud ב-Firebase באמצעות Admin SDK. אפשר להשתמש בשיטה הזו כדי לפרסם כמה מודלים בבת אחת, או כדי ליצור צינורות עיבוד נתונים אוטומטיים לפרסום.

כדי לפרסם את המודל באמצעות model management API של Admin SDK:

  1. מתקינים ומפעילים את ה-SDK.

  2. מפרסמים את המודל.

    צריך לציין את מזהה המשאב של המודל, שהוא מחרוזת שנראית כמו בדוגמה הבאה:

    projects/PROJECT_NUMBER/locations/us-central1/models/MODEL_ID
    PROJECT_NUMBER מספר הפרויקט של הקטגוריה Cloud Storage שמכילה את המודל. יכול להיות שזה פרויקט Firebase או פרויקט Google Cloud אחר. אפשר למצוא את הערך הזה בדף Settings (הגדרות) במסוף Firebase או במרכז הבקרה של מסוף Google Cloud.
    MODEL_ID מזהה המודל, שקיבלתם מ-AutoML Cloud API.

    Python

    # First, import and initialize the SDK.

# Get a reference to the AutoML model
source = ml.TFLiteAutoMlSource('projects/{}/locations/us-central1/models/{}'.format(
    # See above for information on these values.
    project_number,
    model_id
))

# Create the model object
tflite_format = ml.TFLiteFormat(model_source=source)
model = ml.Model(
    display_name="example_model",  # This is the name you will use from your app to load the model.
    tags=["examples"],             # Optional tags for easier management.
    model_format=tflite_format)

# Add the model to your Firebase project and publish it
new_model = ml.create_model(model)
new_model.wait_for_unlocked()
ml.publish_model(new_model.model_id)

    Node.js

    // First, import and initialize the SDK.

(async () => {
  // Get a reference to the AutoML model. See above for information on these
  // values.
  const automlModel = `projects/${projectNumber}/locations/us-central1/models/${modelId}`;

  // Create the model object and add the model to your Firebase project.
  const model = await ml.createModel({
    displayName: 'example_model',  // This is the name you use from your app to load the model.
    tags: ['examples'],  // Optional tags for easier management.
    tfliteModel: { automlModel: automlModel },
  });

  // Wait for the model to be ready.
  await model.waitForUnlocked();

  // Publish the model.
  await ml.publishModel(model.modelId);

  process.exit();
})().catch(console.error);

הורדה של המודל ויצירת חבילה עם האפליקציה

שילוב המודל עם האפליקציה מאפשר לוודא שתכונות למידת המכונה באפליקציה ימשיכו לפעול גם כשהמודל שמתארח ב-Firebase לא זמין.

אם תפרסמו את המודל ותצרפו אותו לאפליקציה, האפליקציה תשתמש בגרסה העדכנית ביותר שזמינה.

כדי להוריד את המודל, לוחצים על TF Lite בדף בדיקה ושימוש של מערך הנתונים.

השלבים הבאים

אחרי שתפרסמו או תורידו את המודל, תוכלו ללמוד איך להשתמש בו באפליקציות ל-iOS+ ול-Android.