Guide sur l'inclusion en matière de ML – AutoML
Chez Google, nous avons beaucoup réfléchi aux principes qui motivent et dirigent nos travaux sur l'intelligence artificielle (IA). Nous misons sur une approche centrée sur l'humain qui met au premier plan des pratiques d'IA responsables et des produits adaptés à toutes les personnes et à tous les contextes. Ces valeurs, pour une IA responsable et inclusive, sont au cœur de la suite de produits de machine learning AutoML et se manifestent de la manière suivante.
Grâce à AutoML, l'IA devient plus accessible et s'adresse à tous types d'organisations et de personnes. La plate-forme propose une expérience utilisateur facile d'accès, sans code et ne nécessitant aucune expérience préalable en machine learning.
S'appuyant sur des techniques algorithmiques telles que l'apprentissage par transfert et le "learning to learn", AutoML réduit les conditions d'accès pour les organisations, qui peuvent ainsi créer des modèles personnalisés basés sur des ensembles de données moins volumineux.
Avec AutoML, vous avez la possibilité de produire facilement des systèmes de ML qui sont représentatifs et pertinents dans votre cas. Par exemple, si vous constatez que notre modèle générique ne prend pas en compte l'argot ou le jargon de votre domaine, vous pouvez créer un modèle personnalisé qui inclut les caractéristiques linguistiques qui vous intéressent. Si vous trouvez que les modèles génériques appliqués à la classification des vêtements sont inadaptés à ceux de votre communauté, vous pouvez entraîner un modèle plus pertinent.
Dans le cadre de notre mission visant à démocratiser le machine learning et ses avantages, nous prenons grand soin de limiter les biais préexistants autour des catégories sociétales qui structurent et influencent nos vies. Chez Google, ce champ d'étude est couvert par les équipes chargées de l'équité dans le machine learning. Sur cette page, nous partageons nos réflexions actuelles sur le sujet ainsi que nos recommandations dans le cadre d'une utilisation d'AutoML dans les conversations, tout en préservant l'équité dans le ML.
Qu'est-ce que l'équité dans le machine learning ?
L'équité dans le machine learning est un champ de recherche particulièrement intéressant qui fait débat entre les universitaires, les professionnels et le public au sens large. L'objectif est de comprendre et d'éviter le traitement injuste ou préjudiciable des individus en fonction de leur origine ethnique, leurs revenus, leur orientation sexuelle, leur religion, leur sexe ou d'autres caractéristiques qui sont associées, historiquement, à des faits de discrimination et de marginalisation, lorsque ces phénomènes se manifestent dans les systèmes algorithmiques ou les processus décisionnels assistés par un algorithme.
Les problématiques soulevées par les algorithmes sont multiples et variées. Imaginons par exemple un biais sociétal intégré dans des ensembles de données d'entraînement, des décisions prises au cours du développement d'un système de ML et via des boucles de rétroaction complexes qui sont activées lorsqu'un système de ML est déployé dans la réalité.
Dans notre recherche d'un machine learning équitable, nous identifions plusieurs perspectives et objectifs qui nous semblent valables. Par exemple, nous pouvons entraîner des classificateurs de ML afin qu'ils effectuent des prédictions équitables pour tous les groupes sociaux. Nous pouvons aussi, en nous appuyant sur des études sur l'impact des injustices historiques, chercher à concevoir des systèmes de ML visant à corriger ou à minimiser les résultats défavorables à l'avenir. Ces exemples, comme bien d'autres approches, sont importants et souvent corrélés.
Pour en savoir plus, reportez-vous aux pratiques d'IA responsables et aux pratiques d'équité recommandées de Google, à la vidéo Google sur le machine learning et les biais humains, et au tutoriel sur l'équité dans le ML de Moritz Hardt et Solon Barocas.
Équité dans le ML et dans AutoML
AutoML nous offre la possibilité d'encourager l'inclusion et l'équité de différentes manières. Comme nous l'avons déjà évoqué, si les modèles de machine learning à votre disposition ne répondent pas entièrement aux besoins de votre communauté ou de vos utilisateurs (à cause de lacunes historiques ou d'une déformation des données), vous pouvez créer des modèles personnalisés qui vous conviennent davantage. Vous pouvez également appliquer des objectifs d'équité à tous les modèles personnalisés créés à l'aide d'AutoML. Pour cela, il vous suffit de fournir des données qui incitent le modèle à effectuer des prédictions équitables pour toutes les catégories de votre cas d'utilisation. Grâce à ces comportements en faveur de l'équité, vous participez à limiter les risques associés à certains systèmes de ML, ainsi que les conséquences négatives décrites ci-dessous.
Préjudice de représentation
Ce type de préjudice survient lorsqu'un système de ML amplifie ou reflète des stéréotypes négatifs à propos de groupes spécifiques. Par exemple, les modèles de ML qui génèrent des résultats de recherche d'images ou des suggestions de texte automatiques sont souvent entraînés à l'aide de précédents comportements d'utilisateurs (via les termes de recherche ou les commentaires les plus courants, par exemple). Ce type d'entraînement peut générer des résultats à caractère choquant. Le préjudice de représentation porte non seulement atteinte aux utilisateurs individuels au moment où ils voient les résultats, mais il présente également des effets sociétaux diffus à long terme sur des groupes étendus de personnes.
Déni d'opportunité
Les systèmes de machine learning sont de plus en plus utilisés pour effectuer des prédictions, et prendre des décisions qui ont des conséquences réelles et des implications durables sur l'accès des personnes aux opportunités, aux ressources et à une qualité de vie globale.
Défaillance excessive de produit
Dans certains cas, le manque d'équité est un problème lié à la facilité d'utilisation et d'accès. Par exemple, il a été démontré que certains distributeurs de savon installés dans des toilettes publiques fonctionnaient beaucoup moins bien lorsque les individus avaient la peau foncée.
Voyons maintenant quelques mesures que vous pouvez prendre pour promouvoir l'équité lorsque vous créez vos modèles personnalisés dans AutoML, également applicables à vos systèmes de ML. Nous allons nous concentrer sur la limitation des biais dans les ensembles de données d'entraînement, sur l'évaluation de vos modèles personnalisés afin d'identifier les disparités dans les performances, ainsi que sur les points importants à garder en tête lorsque vous utilisez votre modèle personnalisé.
Quelles sont les premières étapes à suivre pour apprécier l'équité du machine learning dans votre cas d'utilisation ?
Prenez en compte le contexte et l'utilisation de votre produit.
Dans certains cas, comme évoqué précédemment, l'équité est liée à la facilité d'utilisation et d'accès.
Dans d'autres cas, l'équité rejoint les lois et les réglementations qui limitent l'utilisation des données permettant d'identifier directement des caractéristiques sensibles (ou étant en lien étroit avec celles-ci), même si ces données sont pertinentes d'un point de vue statistique. Il est possible que des personnes possédant certaines de ces caractéristiques soient protégées par la loi contre les discriminations dans des contextes particuliers (par exemple, les "classes protégées").
Dans d'autres cas encore, l'iniquité ne saute pas aux yeux. Pour la détecter, il est nécessaire de se poser des questions sociales, politiques et éthiques plus subtiles sur la manière dont votre système de ML sera utilisé en pratique ou sur l'éventuelle apparition de biais au fil du temps. Par exemple, si vous utilisez l'IA pour générer des textes ou des traductions automatisés, il est important de déterminer les types de biais ou de stéréotypes susceptibles de poser un problème d'éthique (clichés liés au genre des métiers, ou amalgame entre religion et politique, par exemple).
Lorsque vous commencez à créer votre système de ML, vérifiez la réglementation sur la discrimination applicable dans votre région et dans les zones de diffusion de votre application. Renseignez-vous également sur les recherches existantes et récoltez toutes les informations sur les produits afin de connaître les problèmes d'équité les plus courants dans votre domaine.
Posez-vous les questions clés
Voici quelques questions clés qu'il peut être utile de vous poser. Si vous répondez "oui" à l'une de ces questions, nous vous conseillons de procéder à une analyse plus approfondie de votre cas d'utilisation afin d'identifier les problèmes causés par certains biais.
Pour votre cas d'utilisation ou produit, utilisez-vous les types de données suivants : données biométriques, origine ethnique, couleur de la peau, religion, orientation sexuelle, niveau socio-économique, revenus, pays, situation géographique, santé, langue ou dialecte ?
Pour votre cas d'utilisation ou produit, utilisez-vous des données susceptibles d'être en lien étroit avec l'une des caractéristiques personnelles répertoriées ci-dessus ? Par exemple, le code postal ou d'autres données géospatiales sont souvent liés au niveau socio-économique et/ou aux revenus, tandis que des images et vidéos peuvent révéler des informations concernant l'origine ethnique, le sexe et l'âge.
Votre cas d'utilisation ou produit pourrait-il avoir un impact négatif sur les opportunités, économiques ou autres, importantes dans la vie d'un individu ?
Venons-en maintenant aux approches que vous pouvez adopter pour promouvoir l'équité dans le machine learning lors des différentes étapes du flux de travail AutoML.
Consignes pour les données
Commençons par la première étape dans AutoML : réunir vos données d'entraînement. Il est impossible de garantir que des données d'entraînement soient vierges de tout biais. Néanmoins, vous pouvez grandement améliorer vos chances de créer un produit plus performant et plus inclusif si vous vérifiez avec soin les potentielles sources de biais dans vos données et prenez les mesures nécessaires pour les corriger.
Quels types de biais trouve-t-on dans les données ?
Distribution biaisée des données
Ce phénomène survient lorsque vos données d'entraînement ne sont pas véritablement représentatives de la population à laquelle vous destinez votre produit. Réfléchissez bien à la façon dont vos données ont été recueillies. Imaginons que vous disposez d'un ensemble de données constitué de photos prises par les utilisateurs. Si vous appliquez un filtre afin de conserver uniquement les images les plus nettes, vous prenez le risque de créer un décalage dans vos données, car les utilisateurs possédant un appareil photo onéreux seront surreprésentés. En général, pensez à la façon dont vos données sont distribuées par rapport aux groupes d'utilisateurs auxquels vous destinez votre produit. Vos données sont-elles suffisantes pour chaque groupe concerné ? Ce sont souvent des raisons subtiles et systémiques qui font que votre ensemble de données ne capture pas l'entière diversité de votre cas d'utilisation dans la réalité.
Pour pallier ce problème, vous pouvez essayer d'acquérir des données provenant de sources multiples ou de les filtrer soigneusement afin de ne conserver que les exemples les plus utiles dans les groupes surreprésentés.
Représentation biaisée des données
Vous disposez peut-être de la quantité de données adéquate pour chaque groupe démographique ciblé, mais il se peut que certains groupes soient représentés de façon moins positive que d'autres. Imaginons un ensemble de données composé de posts provenant de microblogs sur des acteurs. Vous avez peut-être réussi à recueillir équitablement les données, soit 50 % d'acteurs et 50 % d'actrices. Pourtant, lorsque vous étudiez le contenu plus en détail, vous réalisez que les posts concernant les actrices ont tendance à être plus négatifs que ceux concernant leurs homologues masculins. Ici, votre modèle est susceptible d'apprendre un biais de genre.
Pour certaines applications, la différence de représentation entre les groupes n'est pas problématique. Dans la classification médicale par exemple, il est essentiel de capturer les différences démographiques, aussi subtiles soient-elles, afin de réaliser des diagnostics plus précis. Mais pour d'autres applications, les biais par association négative peuvent entraîner des répercussions financières ou éducatives, limiter les opportunités économiques et générer une anxiété émotionnelle et psychologique.
Si possible, envisagez de vérifier manuellement vos données afin de rechercher ces associations négatives, ou appliquez des filtres basés sur des règles afin de supprimer les représentations négatives si cette méthode est adaptée à votre application.
Variables de substitution
Nous avons tendance à penser que lorsque l'on supprime les variables qui encodent des informations démographiques protégées, notre modèle ne contient plus de biais. Mais de nombreuses variables sont fortement corrélées aux données démographiques, telles que la localisation, le niveau d'études et les revenus, pour n'en citer que quelques-unes. Si vous avez accès aux informations démographiques sur vos données, il est judicieux d'analyser vos résultats en fonction de ces informations pour vous assurer que votre modèle traite les différents groupes de manière équitable.
Étiquettes biaisées
Une étape cruciale de la création de données d'entraînement pour AutoML consiste à attribuer des étiquettes en fonction de catégories pertinentes. Limiter la présence de biais dans ces étiquettes est tout aussi important que veiller à la représentativité des données. Sachez qui sont les personnes qui attribuent des étiquettes à vos données. Où se trouvent-elles ? Quelle est leur langue maternelle ? Quel âge ont-elles ? Quel est leur sexe ? Des équipes d'évaluateurs homogènes peuvent produire des étiquettes incorrectes ou faussées d'une manière qui pourrait ne pas être immédiatement remarquée.
Idéalement, veillez à ce que les étiqueteurs soient des experts dans votre domaine ou donnez-leur des instructions pour qu'ils acquièrent des compétences sur vos sujets, puis mettez en place un processus d'examen secondaire afin d'effectuer un contrôle ponctuel de la qualité des étiquettes. Plus les données sont compliquées à étiqueter, plus il est important de veiller à ce que vos étiqueteurs aient compris leur mission. Dessiner des cadres de délimitation et attribuer des étiquettes à des entités textuelles n'est pas intuitif pour tout le monde. Veillez donc à décomposer chaque tâche et anticipez les questions courantes. Dans les prises de décisions, cherchez à privilégier l'objectivité plutôt que la subjectivité. Sensibiliser les étiqueteurs aux "biais inconscients" permet également d'améliorer la qualité des étiquettes à l'égard du respect des objectifs de diversité. Enfin, si vous permettez aux étiqueteurs de signaler eux-mêmes les problèmes et de poser des questions afin de clarifier les instructions, vous contribuerez à réduire les risques de biais dans l'étiquetage.
Conseil : Si vous utilisez le service d'ajout manuel d'étiquettes dans AutoML, prenez en compte les consignes suivantes lorsque vous rédigez vos instructions.
Assurez-vous que les instructions sur l'étiquetage et les ressources d'entraînement contiennent des informations détaillées et spécifiques concernant votre cas d'utilisation, une description de vos utilisateurs finaux et des exemples illustratifs permettant aux étiqueteurs de se représenter la diversité de votre base d'utilisateurs.
Vérifiez tous les commentaires que vous recevez de la part des évaluateurs afin d'identifier les sources de confusion, et soyez très attentif aux catégories sensibles lorsque vous contrôlez, approuvez et refusez les étiquettes de données qui vous sont proposées.
Lorsque votre ensemble de données est prêt, spécifiez la répartition évaluation/apprentissage
Dans les guides destinés aux débutants d'AutoML, Vertex AI et Translation, nous avons examiné la manière dont votre ensemble de données est divisé au cours du processus de machine learning. Nous avons vu que, dans AutoML, vous pouvez demander à Google de scinder automatiquement votre ensemble de données, ou vous pouvez indiquer manuellement la répartition test/apprentissage. Si votre cas d'utilisation le permet, envisagez d'utiliser la seconde option.
Lorsque vous scindez manuellement vos données, gardez en tête nos recommandations précédentes afin de créer des ensembles de test aussi variés qu'inclusifs. Si vous utilisez toutes vos meilleures données inclusives pour l'entraînement, vous pourriez perdre en qualité d'évaluation, car vous risquez d'obtenir une image un peu trop optimiste des performances de votre modèle sur les petits groupes sous-représentés. Si vous manquez de données pour un sous-groupe particulier, effectuez la répartition manuellement pour que ces données soient réparties de façon représentative entre vos ensembles de test et d'entraînement. Dans certains produits AutoML tels qu'AutoML Tables, vous pouvez également spécifier des pondérations personnalisées pour les types de données rares afin de leur accorder plus d'importance dans le processus d'entraînement.
Vérifiez vos données d'entraînement
Évaluation : appréciez les performances de votre modèle
Pour évaluer l'équité de votre modèle, vous devez bien réfléchir à votre cas d'utilisation et à l'impact que votre modèle aurait sur les utilisateurs finaux s'il était biaisé. En d'autres termes, vous devez comprendre l'impact des différents types d'erreurs sur plusieurs groupes d'utilisateurs. C'est à ce stade qu'il est important de vous interroger sur les problèmes d'équité potentiels. Par exemple, les erreurs du modèle affectent-elles tous les utilisateurs de la même manière, ou certains groupes d'utilisateurs sont-ils plus touchés ?
L'examen de ces différents éléments vous permettra de déterminer la métrique de performance que vous devez optimiser (précision ou rappel, par exemple), d'évaluer les compromis et d'examiner des exemples d'erreurs pour identifier les biais.
Cas d'utilisation : Évaluation de photos de passeport
Imaginons que vous souhaitez créer un outil aidant les utilisateurs à modifier et à imprimer des photos pour leur passeport. Chaque pays applique ses propres règles en ce qui concerne les dimensions, le cadre, la couleur d'arrière-plan, l'expression du visage et d'autres éléments autorisés ou non. Avant que les utilisateurs n'envoient leur demande de passeport, vous souhaitez les informer que leur photo n'est peut-être pas réglementaire.
Faux positif
Ici, le faux positif correspond à une situation où le système indique qu'une photo n'est pas recevable alors qu'en réalité, les autorités de délivrance des passeports du pays l'auraient acceptée. Ce n'est pas bien grave, car la nouvelle photo aura encore plus de chance d'être acceptée.
Faux négatif
Dans ce cas, un faux négatif correspond à la non-détection d'une photo qui n'est pas recevable. L'utilisateur va engager les dépenses liées à l'impression de la photo et à l'envoi de la demande, mais celle-ci sera rejetée. Dans le pire des cas, l'utilisateur ne pourra pas participer à un voyage prévu, car il n'aura pas pu obtenir son passeport à temps.
Points à prendre en compte à l'égard de l'équité : dans ce cas, il est primordial de vérifier si le modèle produit des faux négatifs plus fréquemment pour certains groupes de personnes, par exemple en fonction de leur origine ethnique ou de leur sexe. AutoML vous permet d'obtenir cette information en examinant les faux négatifs individuellement afin d'identifier des schémas problématiques.
Élément à optimiser : dans ce cas, il convient d'optimiser le paramètre de rappel. Cette opération vise à réduire le nombre de faux négatifs, car ce sont eux qui posent le plus de problèmes dans ce scénario.
Cas d'utilisation : Filtrage de contenus destinés aux enfants
Imaginons que vous développez une application de lecture pour les enfants et que vous voulez y intégrer une bibliothèque numérique composée de livres classés par tranches d'âge. Vous souhaitez concevoir un outil de classification de texte qui puisse repérer les livres pour enfants dans un corpus général (pour adultes et enfants) en se basant sur le titre et la description de chaque ouvrage.
Faux positif
Dans ce cas, un faux positif correspond à un livre pour adultes qui est classé par erreur en tant que livre pour enfants et se retrouve dans l'application de lecture pour enfants. Ainsi, l'application peut exposer les enfants à du contenu inapproprié pour leur âge. Des parents mécontents risqueraient alors de supprimer l'application.
Faux négatif
Dans ce cas, un faux négatif correspond à un livre pour enfants qui est signalé par erreur en tant que livre pour adultes. Le livre est donc exclu de la bibliothèque de l'application. L'impact d'un faux négatif peut être minime, surtout s'il s'agit d'une obscure série de romans peu populaires. Mais selon l'ouvrage, l'erreur peut être plus problématique, par exemple si le livre pour enfants comporte du contenu jugé controversé par certains, mais généralement accepté pour sa valeur pédagogique ou sociale.
Points à prendre en compte à l'égard de l'équité : au premier abord, ce cas paraît simple. Toutefois, il montre bien que l'évaluation des cas d'utilisation peut se révéler complexe lorsqu'elle touche à l'équité. D'une part, les faux positifs doivent être évités au maximum afin de réduire le risque que les enfants soient exposés à du contenu inadéquat pour leur âge. D'autre part, les faux négatifs peuvent également être préjudiciables. Par exemple, si le classificateur de texte tend à signaler les livres pour enfants traitant de thèmes LGBTQ (tels que l'histoire d'un enfant ayant deux parents du même sexe) comme du contenu inapproprié, cela nuit à l'équité. De la même manière, si les livres qui traitent de certaines cultures ou régions sont exclus plus fréquemment que d'autres, l'équité est compromise.
Élément à optimiser : dans ce cas, il convient d'optimiser le paramètre de précision. De tous les livres pour enfants du monde, votre application n'en choisira qu'une infime partie. Vous pouvez donc vous permettre d'être très sélectif dans ce que vous recommandez aux utilisateurs. Envisagez également de mettre en place des solutions d'interface capables d'identifier certains livres pouvant nécessiter l'intervention des parents. Par exemple, vous pourriez ajouter une fonctionnalité qui recommande aux parents de lire un livre avec leurs enfants pour qu'ils puissent discuter des sujets évoqués.
Cas d'utilisation : Distribution d'une enquête
Imaginons que vous travaillez à la distribution d'une enquête et que vous voulez créer un modèle pour choisir les participants les plus susceptibles d'y répondre. Vous n'êtes pas autorisé à prendre en compte les revenus comme facteur de choix des participants, mais vos données ont une colonne "Revenus". Dans AutoML Tables, vous supprimez la colonne "Revenus" des données d'entraînement. Toutefois, lorsque vous décomposez les données en fonction des revenus pour savoir si cela a eu un impact sur les résultats, vous découvrez que votre modèle n'a pas choisi un nombre de participants égal entre les différentes catégories de revenus. Que s'est-il passé ?
Variables de substitution : bien que vous ayez supprimé la colonne "Revenus", vos données peuvent contenir de nombreuses autres variables qui fournissent des indices sur le niveau de revenus des personnes incluses dans votre ensemble de données. Disposez-vous de leur code postal, de leur niveau d'études, voire de leur âge ? Chacune de ces variables peut être corrélée aux revenus. Pour vous assurer que votre modèle choisit un échantillon représentant toutes les tranches démographiques, recherchez les corrélations dans l'onglet "Analyser" d'AutoML Tables. De plus, recherchez la présence de biais dans votre modèle avant de l'utiliser en production.
Prédiction : effectuez un test de confiance sur votre modèle
Après avoir évalué les performances d'équité de votre modèle à l'aide des métriques de machine learning d'AutoML, vous pouvez tester votre modèle personnalisé avec du nouveau contenu dans l'onglet "Prédiction". Pour ce faire, prenez en compte les recommandations qui suivent.
Réfléchissez attentivement à toute la complexité de votre domaine, et jaugez son potentiel d'iniquité et de biais. Vous êtes la personne la mieux placée pour connaître votre sujet. Est-il possible que votre classificateur d'images ou de vidéos soit influencé par les origines ethniques ou le sexe des personnes qui apparaissent ? Est-il possible que votre classificateur de texte soit sensible aux termes associés à des groupes démographiques ? Dans la combinaison linguistique que vous avez choisie pour votre traducteur, existe-t-il des différences culturelles susceptibles d'être mises en évidence, ou un ensemble de pronoms non concordants susceptibles de révéler un biais sociétal sous-jacent ? Identifiez les situations qui auraient un impact défavorable sur les utilisateurs si elles devaient survenir en production, et testez-les sur la page de prédiction ou dans vos propres tests unitaires.
N'oubliez pas que l'absence de prédictions claires (faux négatifs) peut, au même titre que les prédictions choquantes ou injustes, nuire à vos utilisateurs. Si vous trouvez que les résultats ne sont pas en accord avec l'expérience que vous souhaitez proposer à vos utilisateurs finaux, vous pouvez supprimer les biais de votre ensemble de données en ajoutant plus de données aux classes concernées. Vous pouvez également utiliser votre modèle de manière à corriger les problèmes détectés.
Utilisation : votre modèle en production
Mettez en œuvre des correctifs simples. Si votre modèle n'est pas parfait, vous n'êtes pas obligé d'effectuer un nouvel entraînement avec de nouvelles données. Parfois, vous pouvez résoudre votre problème grâce à une simple étape de prétraitement ou de post-traitement afin de supprimer certains termes ou types d'images.
Ajustez les seuils de score de votre modèle pour trouver un équilibre suffisamment "équitable" entre précision et rappel. Ces réglages dépendent de votre compréhension de l'impact de chaque type d'erreur sur vos utilisateurs finaux.
Lorsque votre modèle est créé et diffuse des prédictions, la distribution de vos données peut légèrement varier avec le temps, et votre modèle pourrait ne plus refléter les contextes pertinents pour votre application. Surveillez les performances de votre modèle au fil du temps pour vous assurer qu'elles correspondent bien à vos attentes. Recueillez des commentaires auprès de vos utilisateurs afin d'identifier les éventuels problèmes nécessitant de nouvelles données et un nouvel entraînement.
Vous serez parfois confronté à des cas spécifiques que vous n'avez pas anticipés. Mettez en place un plan de gestion des incidents si vous craignez que votre modèle puisse nuire aux utilisateurs et à votre activité.
Votre avis
Comme nous apprenons avec l'expérience, le présent document est en constante évolution. N'hésitez pas à nous faire part de vos commentaires sur les recommandations présentées ici. Envoyez-nous un e-mail à l'adresse [email protected] et racontez-nous votre expérience sur la création de modèles personnalisés. Qu'est-ce qui a bien fonctionné ? Qu'est-ce qui n'a pas marché ? Nous avons hâte de connaître votre avis.