Twórz eksperymenty z wysyłaniem wiadomości w aplikacji za pomocą Testów A/B

Gdy kontaktujesz się z użytkownikami lub rozpoczynasz nową kampanię marketingową, chcesz mieć pewność, że robisz to dobrze. Test A/B pomoże Ci określić, w optymalnym brzmieniu i prezentacji, testując warianty wiadomości wybranych części Twojej bazy użytkowników. Czy Twoim celem jest lepszy wskaźnik utrzymania użytkowników lub konwersji związanych z ofertą, test A/B może przeprowadzić analizę statystyczną określić, czy wariant wiadomości ma lepsze wyniki niż punkt odniesienia wybrany cel.

Aby przeprowadzić test A/B wariantów cech z użyciem punktu odniesienia:

  1. Utwórz eksperyment.
  2. Zweryfikuj eksperyment na urządzeniu testowym.
  3. Zarządzaj eksperymentem.
.

Utwórz eksperyment

Eksperyment z użyciem parametru Firebase In-App Messaging umożliwia ocenę wielu wariantów tylko jedną wiadomość w aplikacji.

  1. Zaloguj się w Konsola Firebase i sprawdź, czy w projekcie włączono Google Analytics. eksperyment ma dostęp do danych Analytics.

    Jeśli podczas tworzenia projektu nie włączono usługi Google Analytics, może go włączyć w sekcji Integrations (Integracje) do której masz dostęp za pomocą > Ustawienia projektu w Firebase konsoli.

  2. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing

  3. Kliknij Utwórz eksperyment, a następnie wybierz Wysyłanie wiadomości w aplikacji. gdy pojawi się prośba o wybranie usługi, z którą chcesz poeksperymentować.

  4. Możesz też rozwinąć menu nawigacyjne konsoli Firebase Zaangażowanie, a potem In-App Messaging. Następnie kliknij Nowa. eksperymentalną.

  5. Wpisz nazwę i opcjonalnie opis eksperymentu. kliknij Dalej.

  6. Wypełnij pola Kierowanie, wybierając najpierw aplikację, która korzysta z Twojego eksperymentu. Możesz też kierować reklamy na podzbiór użytkowników eksperymentu, wybierając opcje zawierające następujące elementy:

    • Wersja: co najmniej 1 wersja aplikacji.
    • Odbiorcy użytkowników: Analytics grup odbiorców używanych do kierowania reklam na użytkowników. którzy mogą wziąć udział w eksperymencie
    • Właściwość użytkownika: co najmniej 1 właściwość użytkownika w usłudze Analytics dla wybieranie użytkowników, którzy mogą zostać uwzględnieni w eksperymencie
    • Kraj/region: co najmniej jeden kraj lub region do wyboru. użytkownicy, którzy mogą zostać uwzględnieni w eksperymencie
    • Język urządzenia: co najmniej jeden język i region używany do wyboru. użytkownicy, którzy mogą zostać uwzględnieni w eksperymencie
    • Pierwsze uruchomienie: kierowanie na użytkowników według pierwszego uruchomienia. otworzyła Twoją aplikację
    • Ostatnie zaangażowanie w aplikację: kieruj reklamy na użytkowników na podstawie ostatniego użytkownicy, którzy skorzystali z Twojej aplikacji
    .

  7. Ustaw Procent docelowych użytkowników:wybierz odsetek użytkowników, użytkowników spełniających kryteria ustawione w sekcji Kieruj reklamy na użytkowników, by równomiernie podzielić między wariantem bazowym a co najmniej jednym wariantem eksperymentu. Może to być dowolna wartość procentowa między 0,01% a 100%. Wartości procentowe są losowo ponownie przypisywane użytkownikom w każdym eksperymencie. także duplikaty eksperymentów.

  8. W sekcji Wersje skonfiguruj podstawową wiadomość w aplikacji, którą chcesz wysłać. z grupą bazową przy użyciu interfejsu projektowania wiadomości. jakich używasz w normalnej kampanii z wiadomościami w aplikacji.

  9. Aby dodać wariant do eksperymentu, kliknij Dodaj wariant Odmiana. Domyślnie eksperymenty mają 1 wariant i 1 element bazowy.

  10. (Opcjonalnie) Podaj bardziej opisową nazwę dla każdej odmiany.

  11. (Opcjonalnie) U góry sekcji Wersje kliknij Porównaj wariantów, aby porównać jeszcze 1 wariant wiadomości na podstawie punktu odniesienia.

  12. Określ dane celu, które chcesz wykorzystać podczas oceny eksperymentu. wersji wraz z dodatkowymi danymi, których chcesz użyć z listy. Te dane obejmują wbudowane cele (zaangażowanie, zakupy, przychody, utrzymanie itp.), Analytics zdarzenia konwersji i inne Wydarzenia: Analytics.

  13. Skonfiguruj harmonogram eksperymentu:

    • Wyznacz datę rozpoczęcia i zakończenia eksperymentu.
    • Określ sposób wywoływania wiadomości w aplikacji we wszystkich wariantach.

  14. Kliknij Sprawdź, aby zapisać eksperyment.

możesz utworzyć maksymalnie 300 eksperymentów na projekt. który może się składać z maksymalnie 24 aktywnych eksperymentów (reszta jest w wersji roboczej lub zakończonej).

Weryfikowanie eksperymentu na urządzeniu testowym

Dla każdej instalacji Firebase możesz pobrać token uwierzytelniania instalacji i powiązane z nią. Za pomocą tego tokena możesz testować określone warianty eksperymentu na urządzeniu testowym z zainstalowaną aplikacją. Aby sprawdzić eksperyment na na urządzeniu testowym, wykonaj te czynności:

  1. Pobierz token uwierzytelniania instalacji w ten sposób:

    Swift

    do {
  let result = try await Installations.installations()
    .authTokenForcingRefresh(true)
  print("Installation auth token: \(result.authToken)")
} catch {
  print("Error fetching token: \(error)")
}

    Objective-C

    [[FIRInstallations installations] authTokenForcingRefresh:true
                                               completion:^(FIRInstallationsAuthTokenResult *result, NSError *error) {
  if (error != nil) {
    NSLog(@"Error fetching Installation token %@", error);
    return;
  }
  NSLog(@"Installation auth token: %@", [result authToken]);
}];

    Java

    FirebaseInstallations.getInstance().getToken(/* forceRefresh */true)
        .addOnCompleteListener(new OnCompleteListener<InstallationTokenResult>() {
    @Override
    public void onComplete(@NonNull Task<InstallationTokenResult> task) {
        if (task.isSuccessful() && task.getResult() != null) {
            Log.d("Installations", "Installation auth token: " + task.getResult().getToken());
        } else {
            Log.e("Installations", "Unable to get Installation auth token");
        }
    }
});
    MainActivity.java

    Kotlin+KTX

    val forceRefresh = true
FirebaseInstallations.getInstance().getToken(forceRefresh)
    .addOnCompleteListener { task ->
        if (task.isSuccessful) {
            Log.d("Installations", "Installation auth token: " + task.result?.token)
        } else {
            Log.e("Installations", "Unable to get Installation auth token")
        }
    }
    MainActivity.kt
  2. Na pasku nawigacyjnym konsoli Firebase kliknij Testy A/B.
  3. Kliknij Wersja robocza (lub Uruchomiono w przypadku opcji Zdalne) Eksperymenty konfiguracji), najedź kursorem na eksperyment i kliknij menu kontekstowe (), a następnie kliknij Zarządzanie urządzeniami testowymi
  4. Wpisz token uwierzytelniania instalacji urządzenia testowego i wybierz wariant eksperymentu, który ma zostać wysłany na urządzenie testowe.
  5. Uruchom aplikację i sprawdź, czy wybrany wariant jest odbierany urządzenia testowego.

Więcej informacji o instalacjach Firebase znajdziesz tutaj Zarządzanie instalacjami Firebase.

Zarządzanie eksperymentem

czy utworzysz eksperyment przy użyciu dodatku Remote Config, edytora powiadomień lub Firebase In-App Messaging, można sprawdzić i rozpocząć eksperyment, monitorować eksperymentu oraz zwiększyć liczbę użytkowników trwającego eksperymentu.

Po zakończeniu eksperymentu możesz zapoznać się z ustawieniami użytymi przez i wdrażać te ustawienia u wszystkich użytkowników. Możesz też przeprowadzić kolejny eksperyment.

Rozpocznij eksperyment

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
  2. Kliknij kolejno Wersja robocza i tytuł eksperymentu.
  3. Aby sprawdzić, czy aplikacja ma użytkowników, którzy są uwzględnieni w eksperymentu, rozwinąć szczegóły wersji roboczej i sprawdzić, więcej niż 0% w sekcji Kierowanie i dystrybucja. (np. 1% użytkowników spełniających kryteria).
  4. Aby zmienić eksperyment, kliknij Edytuj.
  5. Aby rozpocząć eksperyment, kliknij Rozpocznij eksperyment. Możesz wyświetlać reklamy maksymalnie przez 24 minuty eksperymentów na projekt.

Monitorowanie eksperymentu

Po pewnym czasie działania eksperymentu możesz sprawdzić jego stan swoje postępy i zobaczyć, jak będą wyglądać wyniki dla użytkowników, którzy uczestniczyli w kampanii do tej pory w eksperymencie.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing

  2. Kliknij Bieganie i kliknij lub wyszukaj tytuł swojej eksperymentu. Na tej stronie możesz zobaczyć różne zaobserwowane i modelowane modele, statystyki trwającego eksperymentu, w tym:

    • % różnicy w stosunku do punktu odniesienia – miara poprawy wskaźnika. dla danego wariantu w porównaniu z wartością bazową. Obliczane przez porównanie zakres wartości wariantu do zakresu wartości odniesienia.
    • Prawdopodobieństwo przekroczenia wartości podstawowej: szacunkowe prawdopodobieństwo, że dany wariant ma lepsze wyniki niż punkt odniesienia dla wybranego wskaźnika.
    • observed_metric na użytkownika: na podstawie wyników eksperymentu to przewidywany zakres, w którym wartość danych się znajdzie obecnie się znajdujesz.
    • Łącznie observed_metric: zaobserwowana skumulowana wartość dla lub wariantu. Wartość ta służy do pomiaru skuteczności poszczególnych elementów. eksperymentu i służy do obliczania wartości Poprawa, Zakres wartości, Prawdopodobieństwo przekroczenia wartości podstawowej i Prawdopodobieństwo który będzie najlepszą odmianą. W zależności od mierzonych danych ten wskaźnik może mieć etykietę „Czas trwania na użytkownika”, „przychody na użytkownika”, „Wskaźnik utrzymania”, lub „Współczynnik konwersji”.

  3. Po pewnym czasie działania eksperymentu (co najmniej 7 dni w przypadku modelu FCM i In-App Messaging lub 14 dni w przypadku Remote Config), dane na tej stronie wskazuje, który wariant jest „najlepszy”. Niektóre pomiary są wraz z wykresem słupkowym, który przedstawia dane w formacie wizualnym.

.

Wdrożenie eksperymentu dla wszystkich użytkowników

Gdy eksperyment minie dostatecznie długo, że uzyskasz tytuł „lidera”, lub wygrana wariantu, dla danych celu możesz udostępnić eksperyment wszystkim użytkownikom. Dzięki temu możesz wybrać wariant, który będzie od tej pory publikowany wszystkim użytkownikom. Równomierny jeśli eksperyment nie wyłoni zwycięzcy, można mimo to podjąć decyzję udostępnić wariant wszystkim użytkownikom.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
  2. Kliknij Ukończony lub Aktywny i wybierz eksperyment, który chcesz uruchomić. udostępnić wszystkim użytkownikom, kliknij menu kontekstowe () Wdróż wariant.

  3. Udostępnij eksperyment wszystkim użytkownikom, wykonując jedną z tych czynności:

    • W przypadku eksperymentu korzystającego z edytora powiadomień użyj metody Wdróż treść wiadomości w oknie, aby wysłać wiadomość do pozostałej grupy docelowej którzy nie uczestniczyli w eksperymencie.
    • W przypadku eksperymentu Remote Config wybierz wariant, aby określić, która Remote Config wartości parametru do zaktualizowania. Zdefiniowane kryteria kierowania podczas tworzenia eksperymentu jest dodawany jako nowy warunek w szablon, aby mieć pewność, że wdrożenie dotyczy tylko użytkowników, eksperymentu. Kliknij Sprawdź w Zdalnej konfiguracji, aby sprawdzić zmian, kliknij Opublikuj zmiany, aby zakończyć wdrażanie.
    • W przypadku eksperymentu In-App Messaging możesz w oknie określić, który wariant należy wdrożyć jako samodzielną kampanię In-App Messaging. Po wybraniu nastąpi przekierowanie na ekran tworzenia wiadomości FIAM, gdzie będzie można zmian (w razie potrzeby) przed opublikowaniem.

Rozwiń eksperyment

Jeśli okaże się, że eksperyment nie pozyskał wystarczającej liczby użytkowników w okresie A/B Testing Zwycięzcę można wskazać, zwiększając zasięg eksperymentu, dla większego odsetka użytkowników aplikacji.

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
  2. Wybierz aktywny eksperyment, który chcesz edytować.
  3. W omówieniu eksperymentu kliknij menu kontekstowe (), a potem Kliknij Edytuj aktywny eksperyment.
  4. W oknie Kierowanie widoczna jest opcja zwiększenia odsetka użytkowników biorących udział w prowadzonym eksperymencie. Wybierz liczbę większą niż obecna wartość procentowa, i kliknij Opublikuj. Eksperyment zostanie i przekazywane do określonego odsetka użytkowników.

Duplikowanie lub przerywanie eksperymentu

  1. W sekcji Zaangażowanie w menu nawigacyjnym konsoli Firebase kliknij A/B Testing
  2. Kliknij Ukończony lub W toku i najedź kursorem na eksperyment. kliknij menu kontekstowe () i a potem kliknij Duplikuj eksperyment lub Zatrzymaj eksperyment.

Kierowanie na użytkowników

Możesz kierować reklamy na użytkowników, którzy mają zostać eksperymentu z zastosowaniem poniższych kryteriów kierowania na użytkowników.

Kryterium kierowania Operatory Wartości Uwaga
Wersja zawiera,
nie zawiera,
jest dokładnie dopasowane,
zawiera wyrażenie regularne		 Wpisz wartość dla co najmniej jednej wersji aplikacji, którą chcesz uwzględnić w eksperymentu.

jeśli używasz filtrów zawiera, nie zawiera ani pasuje dokładnie, możesz podać listę rozdzielonych przecinkami .

Gdy używasz operatora zawiera wyrażenie regularne, możesz utworzyć zwykłe wyrażenia w RE2. . Wyrażenie regularne może pasować do całości lub części wersji docelowej ciągu znaków. Możesz też użyć kotwic ^ i $, aby dopasować początku, końca lub całości docelowego ciągu znaków.
Odbiorcy obejmuje wszystkie z,
obejmują co najmniej jedną z,
nie obejmuje wszystkich z,
nie zawiera co najmniej jednego z		 Wybierz co najmniej jedną grupę odbiorców Analytics, aby kierować reklamy na użytkowników, którzy mogą być uwzględnionych w eksperymencie. Niektóre eksperymenty kierowane na Google Analytics odbiorców mogą wymagać kilka dni na zebranie danych, ponieważ podlegają one Analytics opóźnienia przetwarzania danych. Takie opóźnienia najczęściej występują w przypadku nowych użytkowników, którzy zwykle są rejestrowane na kwalifikujących się odbiorców w ciągu 24–48 godzin od utworzenia; w przypadku niedawno utworzonych list odbiorców.
Właściwość użytkownika W przypadku tekstu:
zawiera,
nie zawiera,
ściśle pasuje do,
zawiera wyrażenie regularne

W przypadku numerów:
<, ≤, =, ≥, > 		Właściwość użytkownika Analytics służy do wybierania użytkowników, którzy mogą zostać uwzględnione eksperymentu z szeregiem opcji wyboru właściwości użytkownika .

Na kliencie można ustawić tylko wartości ciągu znaków dla użytkownika usług. W przypadku warunków z operatorami liczbowymi usługa Remote Config konwertuje wartość odpowiednich właściwości użytkownika na liczbę całkowitą/zmiennoprzecinkową.		 Gdy używasz operatora zawiera wyrażenie regularne, możesz utworzyć zwykłe wyrażenia w RE2. . Wyrażenie regularne może pasować do całości lub części wersji docelowej ciągu znaków. Możesz też użyć kotwic ^ i $, aby dopasować początku, końca lub całości docelowego ciągu znaków.
Kraj/region Nie dotyczy Co najmniej jeden kraj lub region służący do wyboru użytkowników, którzy mogą zostać uwzględnieni biorących udział w eksperymencie.  
Języki Nie dotyczy Co najmniej jeden język lub region użyty do wybrania użytkowników, którzy mogą zostać uwzględnione. biorących udział w eksperymencie.  
Pierwsze uruchomienie Ponad
Mniejsze niż
Pomiędzy 		Kieruj na użytkowników na podstawie tego, czy odwiedzili oni stronę po raz pierwszy uruchomili aplikację (liczbę dni).
Ostatnia interakcja z aplikacją Ponad
Mniejsze niż
Pomiędzy 		kierować reklamy na użytkowników na podstawie tego, kiedy ostatni raz weszli w interakcję z Twoją aplikacją, podawana w dniach.

A/B Testing wskaźnika

Tworząc eksperyment, wybierasz dane podstawowe, czyli cele, które są posłużymy do określenia zwycięskiego wariantu. Warto też śledzić inne dane, pomaga lepiej poznać skuteczność poszczególnych wariantów i śledzić ważne trendy, które mogą się różnić w przypadku poszczególnych wariantów, np. utrzymanie użytkowników, stabilności i przychodów z zakupów w aplikacji. Możesz śledzić maksymalnie 5 takich działań danych w eksperymencie.

Załóżmy, że dodajesz do aplikacji nowe zakupy i chcesz Porównać skuteczność dwóch różnych „ponagleń” wiadomości. W tym przypadku może zdecydować się na ustawienie Przychody z zakupów jako danych celu bo chcesz, aby zwycięski wariant reprezentował powiadomienie, które zanotowały najwyższe przychody z zakupów w aplikacji. A ponieważ chcesz też śledzić, który wariant przyczynił się do wzrostu liczby przyszłych konwersji i utrzymania użytkowników, może dodać te elementy w sekcji Inne dane do śledzenia:

  • Szacunkowe całkowite przychody, które pokazują, jak łączą się uzyskane przychody z reklam i zakupów w aplikacji. przychody różnią się w przypadku tych 2 wariantów,
  • Utrzymanie (1 dzień), Utrzymanie (2–3 dni), Utrzymanie (4–7 dni) na śledź dzienne/tygodniowe utrzymanie użytkowników
.

Poniższe tabele zawierają szczegółowe informacje o tym, jak dane celów i inne dane są obliczonych.

Dane celów

Dane Opis
Użytkownicy, u których nie wystąpił błąd Odsetek użytkowników, którzy nie napotkali błędów w aplikacji, zostały wykryte przez pakiet SDK Firebase Crashlytics podczas eksperymentu.
Szacunkowe przychody z reklam Szacunkowe zarobki z reklam
Szacunkowe łączne przychody Łączna wartość z zakupów i szacunkowe przychody z reklam.
Przychody z zakupów Połączona wartość dla wszystkich purchase i Wydarzenia: in_app_purchase.
Utrzymanie użytkowników (1 dzień) Liczba użytkowników, którzy wracają do Twojej aplikacji każdego dnia.
Utrzymanie użytkowników (2–3 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 2–3 dni.
Utrzymanie użytkowników (4–7 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 4–7 dni.
Utrzymanie użytkowników (8–14 dni) Liczba użytkowników, którzy wrócili do aplikacji w ciągu 8–14 dni.
Utrzymanie użytkowników (15 dni lub więcej) Liczba użytkowników, którzy wrócili do aplikacji co najmniej 15 dni po tym, jako ostatni.
first_open Zdarzenie Analytics, które jest wywoływane, gdy użytkownik po raz pierwszy otworzy aplikację instalując ją lub instalując ponownie. Używany jako część ścieżki konwersji.

Inne dane

Dane Opis
notification_dismiss Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez użytkownika Kreator powiadomień zostanie zamknięty (tylko Android).
notification_receive Zdarzenie Analytics, które jest wywoływane, gdy powiadomienie wysłane przez użytkownika twórca powiadomień jest odbierany, gdy aplikacja działa w tle (tylko Android).
os_update Zdarzenie Analytics, które śledzi, kiedy system operacyjny urządzenia jest zaktualizowany do nowej wersji.Aby dowiedzieć się więcej, zobacz Automatyczne zarejestrowanych zdarzeń.
screen_view Zdarzenie Analytics, które śledzi ekrany wyświetlone w aplikacji. Aby się uczyć więcej, patrz Śledzenie Wyświetlenia ekranu.
session_start Zdarzenie Analytics, które zlicza sesje użytkownika w Twojej aplikacji. Aby dowiedzieć się więcej, Więcej informacji: Automatycznie. zarejestrowanych zdarzeń.