Cette thèse de doctorat est le résultat de mes travaux de recherche dans le domaine de l'apprentissage automatique, du traitement d'image et du transport intelligent pour résoudre le problème du système de protection des piétons (PPS) multi-tâches comprenant non seulement la classification, la détection et le suivi des piétons, mais aussi l'action des piétons- classification et prédiction des unités, et enfin estimation du risque piéton. De plus, notre système PPS utilise des approches originales d'apprentissage en profondeur inter-modalités. Le but de notre travail de recherche est de développer un composant de protection des piétons intelligent basé uniquement sur un système de vision stéréo unique utilisant une architecture d'apprentissage en profondeur cross-modalité optimale afin de classer l'action piétonne actuelle, de prédire leurs prochaines actions et enfin d'estimer le piéton risque au moment de traverser pour chaque piéton. Premièrement, nous étudions la composante de classification où nous avons analysé comment les représentations d'apprentissage d'une modalité permettraient de reconnaître d'autres modalités au sein de divers apprentissages profonds, un terme comme apprentissage multimodal. Deuxièmement, nous étudions comment l'apprentissage inter-modalité améliore la détection de l'action piétonne de bout en bout.Troisièmement, nous analysons la prédiction de l'action des piétons et l'estimation du temps à traverser.