Moderare il testo

La moderazione del testo analizza un documento rispetto a un elenco di gli attributi relativi alla sicurezza, che includono le "categorie dannose" e ad argomenti che possono essere considerati sensibili. Per moderare il testo di un documento, richiama il metodo moderateText.

Qui è disponibile un elenco completo delle categorie restituite per il metodo moderateText:

Punteggi di affidabilità degli attributi di sicurezza

A ogni attributo sicurezza è associato un punteggio di confidenza tra 0,00 e 1,00, riflettendo la probabilità di l'input o la risposta appartenente a una determinata categoria.

Esempio di risposta

{
  "moderationCategories": [
    {
      "name": "Toxic",
      "confidence": 0.10
    },
    {
      "name": "Insult",
      "confidence": 0.12
    },
    {
      "name": "Profanity",
      "confidence": 0.07
    },
    {
      "name": "Derogatory",
      "confidence": 0.04
    },
    {
      "name": "Sexual",
      "confidence": 0.00
    },
    {
      "name": "Death, Harm & Tragedy",
      "confidence": 0.00
    },
    {
      "name": "Violent",
      "confidence": 0.00
    },
    {
      "name": "Firearms & Weapons",
      "confidence": 0.00
    },
    {
      "name": "Public Safety",
      "confidence": 0.01
    },
    {
      "name": "Health",
      "confidence": 0.01
    },
    {
      "name": "Religion & Belief",
      "confidence": 0.00
    },
    {
      "name": "Illicit Drugs",
      "confidence": 0.01
    },
    {
      "name": "War & Conflict",
      "confidence": 0.02
    },
    {
      "name": "Politics",
      "confidence": 0.01
    },
    {
      "name": "Finance",
      "confidence": 0.00
    },
    {
      "name": "Legal",
      "confidence": 0.00
    }
  ]
}

Testare le soglie di confidenza

Puoi testare i filtri di sicurezza di Google e definire soglie di affidabilità che più adatti alla tua attività. Utilizzando queste soglie, puoi adottare misure complete per rilevare i contenuti che violano le norme o i Termini di servizio di Google e adottare le misure del caso.

I punteggi di confidenza sono solo previsioni. Non devi dipendere i punteggi di affidabilità o accuratezza. Google non è responsabile dell'interpretazione o dell'utilizzo di questi punteggi per le decisioni aziendali.

Differenza tra probabilità e gravità

I punteggi di affidabilità indicano che i contenuti appartengono alla categoria specificata e non alla gravità. Questo è importante da considerare perché alcuni contenuti possono avere una bassa probabilità di essere non sicuri, anche se la gravità del danno potrebbe essere comunque alta. Ad esempio, confrontando le seguenti frasi:

1. Il robot mi ha dato un pugno.
2. Il robot mi ha tagliato.

La frase 1 potrebbe avere una maggiore probabilità di non essere sicura, ma potresti considerare la frase 2 di maggiore gravità in termini di violenza.

È quindi importante testare e considerare attentamente ciò che il livello di blocco appropriato è per i casi d'uso, mentre minimizzando i danni agli utenti finali.

Lingue supportate

Come moderare il testo

Questa sezione mostra come moderare il testo in un documento. Devi inviare una richiesta separata per ogni documento.

Ecco un esempio di moderazione del testo fornito come stringa:

curl -X POST \
     -H "Authorization: Bearer "$(gcloud auth application-default print-access-token) \
     -H "Content-Type: application/json; charset=utf-8" \
     --data "{
  'document':{
    'type':'PLAIN_TEXT',
    'content':'Shut up!'
  }
}" "https://language.googleapis.com/v1/documents:moderateText"

Moderare il testo da Cloud Storage

Ecco un esempio di moderazione del testo archiviato in un file di testo su Cloud Storage:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
 https://language.googleapis.com/v1/documents:moderateText -d "{
  'document':{
    'type':'PLAIN_TEXT',
    'gcsContentUri':'gs://<bucket-name>/<object-name>'
  }
}"