Emerging linguistic universals in communicating neural network agents
Les universaux linguistiques émergeant dans les réseaux de neurones communicants
Résumé
The ability to acquire and produce a language is a key component of intelligence. If communication is widespread among animals, human language is unique in its productivity and complexity. By better understanding the source of natural language, one can use this knowledge to build better interactive AI models that can acquire human languages as rapidly and efficiently as children. In this manuscript, we build up on the emergent communication field to investigate the well-standing question of the source of natural language. In particular, we use communicating neural networks that can develop a language to solve a collaborative task. Comparing the emergent language properties with human cross-linguistic regularities can provide answers to the crucial questions of the origin and evolution of natural language. Indeed, if neural networks develop a cross-linguistic regularity spontaneously, then the latter would not depend on specific biological constraints. From the cognitive perspective, looking at neural networks as another expressive species can shed light on the source of cross-linguistic regularities – a fundamental research interest in cognitive science and linguistics. From the machine learning perspective, endowing artificial models with human constraints necessary to evolve communicative protocols as productive and robust as natural language would encourage the development of better interactive AI models.
In this manuscript, we focus on studying four cross-linguistic regularities related to word length, word order, semantic categorization, and compositionality. Across the different studies, we find that some of these regularities arise spontaneously while others are missing in neural networks’ languages. We connect the former case to the presence of shared communicative constraints such as the discrete nature of the communication channel. On the latter, we relate the absence of human-like regularities to the lack of constraints either on the learners’ side (e.g., the least-effort constraints) or language functionality (e.g., transmission of information). In sum, this manuscript provides several case studies demonstrating how we can use successful neural network models to tackle crucial questions about the origin and evolution of our language. It also stresses the importance of mimicking the way humans learn their language in artificial agents’ training to induce better learning procedures for neural networks, so that they can evolve an efficient and open-ended communication protocol.
La capacité d’acquérir et de produire un langage est un élément clé de l’intelligence humaine. En effet, même si de nombreuses espèces partagent un système de communication, le langage humain reste unique par sa productivité, sa récursivité ainsi que le nombre de symboles utilisés. En comprenant mieux les origines de l’apparition du langage, il sera possible de créer des modèles plus performants capable d’interagir et
d’acquérir notre langage aussi rapidement et efficacement que nous le faisons en tant que bébé.
Dans ce manuscrit, nous utilisons des réseaux de neurones communicants qui peuvent développer et faire évoluer un langage pour nous éclairer sur la question de l’origine du langage naturel. Nous comparons ensuite les propriétés de leur langage émergeant avec les propriétés universelles du langage naturel. Si les réseaux de neurones produisent spontanément une propriété linguistique, celle-ci ne dépendrait pas alors des contraintes biologiques. Autrement, dans le cas où le langage artificiel dévie du langage humain pour une régularité donnée, cette dernière ne peut être considérée comme une conséquence des simples contraintes de communication. D’un point de vue cognitif, considérer les réseaux de neurones comme une autre espèce expressive peut nous éclairer sur la source des propriétés universelles. Du point de vue de l’apprentissage automatique, doter les modèles artificiels de contraintes humaines nécessaires pour faire évoluer des protocoles de communication aussi productifs et robustes que le langage naturel encouragerait le développement de meilleurs modèles d’IA interactifs.
Ce manuscrit traite de l’étude de quatre régularités linguistiques qui ont à voir avec la longueur des mots, l’ordre des mots, la catégorisation sémantique et la compositionnalité. Certains chapitres exemplifient des cas où les régularités apparaissent spontanément dans le langage émergeant, tandis que d’autres montrent des cas où les réseaux de neurones développent un langage qui dévie du langage naturel. Nous
avons relié le premier cas à la présence de contraintes de communication telles que la nature discrète du canal de communication. Quant à l’absence de régularités naturelles, nous l’avons lié au manque de contraintes soit au niveau de l’apprenant (par exemple, la contrainte biologique de brièveté) soit au niveau de l’environnement (par exemple, la richesse d’environnement). Ainsi, cet ensemble de travaux fournit plusieurs études de cas démontrant l’intérêt d’utiliser des modèles de réseaux de neurones performants dans des tâches de traitement de texte pour aborder des questions cruciales sur l’origine et l’évolution de notre langage. Il souligne également l’importance d’entraîner les réseaux de neurones sous contraintes naturelles pour voir l’émergence d’un protocole de communication aussi efficace et productif que le langage naturel.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|