Page en construction

Programme de recherche détaillé (projets en cours ou achevés)

Sous l’angle chronologique, mon parcours s’est tout d’abord focalisé sur l’analyse et la génération automatique de la prosodie pour la synthèse de la parole, il concerne davantage aujourd’hui les relations de la prosodie avec la linguistique cognitive et fonctionnelle Pour autant, la synthèse reste un outil de falsification et de modélisation essentielle, qui trouve toute sa place en particulier dans les expériences conduites à l’interface de la neurolinguistique (cf. infra § 3).
En pratique, je présente d’abord les travaux qui résultent de collaborations au sein de la linguistique dans le domaine de la macrosyntaxe et de l’analyse du discours. Dans un second temps, sont abordés les travaux réalisés au sein de quatre collaborations en psycholinguistique et/ou neurolinguistique (prosodie et focalisation pragmatique, prosodie et cohésion discursive, prosodie et parole expressive, prosodie et acquisition du langage). Ces contacts avec la psycholinguistique et les neurosciences sont précieux pour notre communauté si on s’accorde avec l’hypothèse que des connaissances sur les processus cognitifs qui sous tendent les formes manipulées et les représentations proposées par les linguistes permettront d’enrichir les descriptions structurales posées dans notre discipline.
Enfin, pas de théories sans matériel d’observation et d’outils pour le traiter, je conclurai donc cette présentation par mes travaux récents dans le domaine de la transcription prosodique de corpus oraux qui se poursuivent aujourd’hui dans le cadre de le projet d’ANR Rhapsodie.
.
1. Travaux d’habilitation (2003) : Modélisation prosodique du français


• Résumé

La conduite de mes travaux, entamés en 1994, à l’interface des aspects substanciels, formels, fonctionnels et cognitifs de la prosodie, m’a amenée à privilégier l’angle d’attaque suivant : quels sont les marqueurs intonosyntaxiques résultant de la projection de la structure communicative sur le message parlé ?
En pratique, j’ai choisi d’axer mes travaux sur la prosodie de la parole monologale (situation d’interview), en particulier : les constructions prosodiques des syntagmes circonstanciels en position post-verbale.
L’hypothèse unificatrice de ce travail consiste à réfuter l’autonomie et le primat de la syntaxe pour dériver les structures prosodiques : les constructions intonosyntaxiques sont considérées comme des systèmes adaptatifs fondamentalement déterminés par la visée communicative; et reflètent ainsi la gestion de l’information dans le flux discursif et le degré d’implication du locuteur. En d’autres termes, les patrons intonatifs ne peuvent pas être considérés comme des éléments stables, déterminés syntaxiquement une bonne fois pour toute, mais sont vus comme des entités dynamiques qui ont leur part d’indétermination et se structurent en fonction des relations symboliques dans lesquelles elles entrent. Les schémas intonatifs ont donc un potentiel de déformabilité dont il faut pouvoir rendre compte. Dans ce contexte, la notion de structure communicative est centrale, le rôle de cette dernière étant d’enrichir les connaissances du co-énonciateur. Son étude implique la mise en relation de marqueurs linguistiques, notamment prosodiques, avec les représentations mentales des interlocuteurs. Le dernier point situe ce travail dans une perspective constructiviste et située du message parlé. Il implique une autre notion centrale, celle de scène verbale, scène qui se situe dans un espace intersubjectif partagé par les interlocuteurs. Selon cette conception de l’interlocution, les données prosodiques contribuent largement à la construction de la scène verbale, puisqu’elles servent soit à évoquer des entités ou des événements sur cette scène, soit à en modifier le point de vue. Concernant plus particulièrement le traitement de l’information, plus un élément permet à l’information de se développer (les constituants autour desquels se construit l’information participent à des degrés divers au développement de la communication)., plus son degré, dans l’échelle du dynamisme communicatif, sera fort, d’où sa saillance prosodique a priori élevée : comme l’ont souligné plusieurs auteurs déjà : la gestualité de la voix empaquette l’expression du discours et révèle l’émergence de pics de dynamismes communicatifs. Il est donc possible de repérer des séquences temporelles privilégiées où le locuteur choisit de « pousser la communication en avant ».

Bilan et perspectives

Le premier chapitre de mon rapport d’habilitation a pour objet de situer mon travail et les hypothèses qui le sous-tendent dans le paysage actuel des recherches consacrées à la question ; d’une manière générale d’abord, concernant plus particulièrement les modèles prosodiques du français parlé ensuite. Je justifie enfin la restriction de mon champ d’investigation à l’étude prosodique de la circonstance et montre qu’une définition rigoureuse de la notion passe nécessairement par la distinction de deux niveaux de structuration fonctionnelle : la structure prédicative et la structure communicative.
Dans le second chapitre, je présente en premier lieu un modèle phonétique global de la prosodie validé perceptivement. J’expose ensuite, en introduisant le concept de période intonative et en tentant de définir la structuration interne de cette unité, le module phonologique dérivé tel qu’il a été construit dans l’optique de représenter les événements issus de l’analyse phonétique en termes de principes phonologiques autonomes et hiérarchisés. Les problèmes de représentation formelle et d’automatisation des principes formulés constituent le cœur de cette partie. C’est ainsi que je propose un découpage automatique des énoncés en périodes prosodiques (algorithme développé avec B. Victori fonctionnant sous matlab) et les principes de segmentation interne de ces dernières. Concrètement, la hiérarchie prosodique interne à une période intonative est déterminée par un critère phonologique générique d’inclusion, i.e. de dominance, qui peut s’actualiser sous l’angle phonétique par différents paramètres (degré de proéminence terminale, forme et dynamique des mouvements mélodiques, degré d’allongement syllabique terminal des groupes).
Le dernier chapitre, centré sur l’analyse fonctionnelle des données, présente les règles intonosyntaxiques développées pour calculer le statut d’un complément circonstanciel du point de vue du rôle qu’il occupe au sein de l’espace verbal – structure prédicative – et sous l’angle de la structure communicative. Située dans une perspective d’interprétation scénique des constructions intonatives, cette section a également pour objet de commenter le concept de schématisation discursive et de le mettre en rapport avec la géométrie des structures intonatives qui émergent à l’issue de l’analyse prosodique. Une étude de cas est conduite sur un échantillon de mon corpus pour illustrer et commenter les hypothèses et les règles développées dans ce travail.


Perspectives

Poursuite des travaux dans le cadre des opérations 2.1. (suspendue) et 2.2 (en cours) décrites ci-dessous.


2. Prosodie, micro- et macrosyntaxe


Les deux opérations présentées ici sont menées en collaboration. Elles concernent en premier lieu le statut des syntagmes circonstanciels cadratifs, en second lieu le statut de la prosodie et de la syntaxe dans l’organisation périodique des énoncés.

2.1. Adverbiaux spatio-temporels et discours (ASTD), projet ILF.

. • Résumé

Cette étude s’inscrit conjointement dans le prolongement de mes travaux d’HDR et de mes premiers travaux sur la topicalisation. Après avoir interrogé le rôle des constructions prosodiques des syntagmes adverbiaux (circonstanciels) en position post-verbale, il s’agit d’illustrer que des principes génériques de construction et de représentation se retrouvent également dans les distributions pré-verbales.

En pratique, l’objectif général de l’étude est d’examiner le rôle dans la structuration du discours des syntagmes adverbiaux, en particulier spatiaux, placés à l’initiale d’énoncés. Nous regardons la position initiale comme « stratégique » dans la mesure où elle permet une structuration du discours à la fois « vers l’arrière » (lien avec ce qui précède) et « vers l’avant » (lien avec ce qui suit). Nous nous intéressons tout particulièrement au second type de structuration, qui correspond à la possibilité pour les adverbiaux de lieu antéposés d’avoir une portée, non seulement sur la proposition (ou clause) qu’ils introduisent, mais sur d’autres propositions qui suivent – c’est-à-dire, suivant la théorie de l’encadrement du discours de Michel Charolles, d’ouvrir des « cadres » spatiaux.

Au sein du projet, mes thèmes d’étude se sont précisés de la façon suivante :
- Progression thématique et cadres spatiaux : Analyse des corrélations entre deux modes de structuration du discours : structuration thématique et cadrative. Les modifieurs adverbiaux ont fait l’objet d’un grand nombre d’études en syntaxe, en sémantique et en pragmatique, où leur contribution au sens de la phrase et à la signification a pu être précisée mais où leur comportement au niveau du discours et son marquage prosodique ont par contre été largement négligés. Le but est de montrer, sur les bases d’indices prosodiques, comment les constructions de ces constituants sont corrélées ou non à l’amorçage d’un nouveau cycle discursif, donnant lieu ainsi à un nouveau segment de discours.
- Identification des indices intonosyntaxiques dans la délimitation de la portée des cadres et analyse de l’interaction entre ces indices. Analyse de l’ouverture/ fermeture de cadres, et de l’évolution de la référence spatiale y afférant
- Etude de la mise en séquence et de la hiérarchisation prosodique de cadres introducteurs de propositions successives (inclusion vs. autonomie)


• Bilan & perspectives


Opération achevée dans le cadre institutionnel de l’ILF mais continue de manière informelle (A. Lacheret , J. Pynte, S. Prévost, coord.), avec en arrière plan la question suivante : dans quelle mesure la production de patrons intonatifs incongrus, i.e. incluant sous leur portée deux propositions alors que la portée sémantique n’en spécifie qu’une (ex. dans l’avion les passagers s’impatientent, l’aéroport est mal entretenu, le vol a du retard) altèrent le processus de compréhension (corpus défini et enregistré, expérience en psyco- expérimentale : mesure du temps de réponse en cours avec J. Pynte, Aix en Provence)


2.2. Portée micro-syntaxique et macrosyntaxique de la prosodie : qu’en est-il de l’organisation de la période ? Fonds National de la recherche scientifique Suisse (subside n°100012-113726/1, “La structure interne des périodes”, Université de Neuchâtel)


• Résumé

Cette étude s’inscrit dans le cadre des travaux en linguistique contemporaine qui récusent la notion de phrase, inopérante pour l’analyse de la langue parlée et proposent de lui substituer celles de clause et de période. Concrètement, ce travail est mené conjointement avec les équipes de Fribourg (A. Berrendonner coord.) et de Neuchâtel (M.J. Béguelin coord.) dans le cadre du FNS, collaboration qui devra donner lieu à la soutenance d’une thèse (en co-tutelle) amorcée en octobre 2005 : L’expression des relations spatiales en français contemporain : schématisation cognitive et organisation syntactico-prosodique (M. Avanzi)/p>

L’hypothèse fédératrice du travail consiste à poser que tout discours s’articule selon deux ordres de combinatoires superposés et irréductibles l’un à l’autre, nommés respectivement micro- et macro-syntaxe. Selon A.Berrendonner, Les relations micro-syntaxiques recouvrent les structures de rection, au sens large ; alors que les relations macro-syntaxiques relient entre elles des énonciations ou actions communicatives ; ces dernières s’articulent entre elles selon une combinatoire d’un autre ordre, définie par des contraintes d’appropriété aux états successifs du savoir partagé. Dans le cadre théorique ainsi esquissé, il s’agit de continuer à collecter et étudier un corpus oral d’indications d’itinéraires, en vue de modéliser la structure interne des périodes narratives qu’ils contiennent, i.e. d’élaborer un modèle détaillé des macro-syntagmes possibles au sein de la période. En partant de l’hypothèse que la prosodie et la syntaxe se relaient dans le processus de schématisation discursive, l’une prenant en charge ce que l’autre ne code pas, les angles d’attaque seront à la fois syntaxique , prosodique et sémantico-cognitif (appui sur les travaux en linguistique mathématique centrés sur l’expression de la trajectoire). Dès lors, nous nous proposons d’opérer une mise en relation explicite de ces différents niveaux de l’organisation langagière, en nous donnant comme objectif de fond de rendre compte de l’implication de la prosodie dans (i) la construction du sens en contexte, (ii) la mise en place de la structure informationnelle du message. Enfin, à l’appui des travaux qui se réclament plus ou moins explicitement du courant des grammaires cognitives (Langacker; Talmy; Jackendoff, etc.), une fois la segmentation et le typage des unités opératoires aux différents niveaux de l’analyse entrepris, nous pourrons nous interroger sur les rendements cognitifs-référentiel des diverses structures discursives rencontrées. A quoi les unités isolées (énonciations, macro-syntagmes et périodes) correspondent-elles dans la schématisation opérée par le locuteur ? Quel est leur rôle fonctionnel ? En quoi renseignent-elles sur le format des divers épisodes qui rythment la prescription ou la description des actions ? Autrement dit, dans les instructions d’itinéraires, qu’actualisent les unités de différents rangs en termes de portions de trajectoire ?


• Bilan et perspectives

XX publications

3. Prosodie et cognition

L’essor des méthodes d’imagerie cérébrale ces 15 dernières années permet d’aborder sous un angle nouveau le problème du rapport entre structures cérébrales et fonctions cognitives. Il est désormais possible de localiser avec une très grande précision spatiale les aires cérébrales impliquées dans la réalisation d’une activité particulière (imagerie par résonance magnétique fonctionnelle, IRMf) ou dans le traitement d’informations spécifiques. Il est également possible de suivre le décours temporel du traitement de ces informations en temps réel (électroencélographie, en particulier potentiels évoqués - PEs). Ces méthodes ouvrent donc des perspectives pour l’étude des régions cérébrales et des processus physiologiques et neurophysiologiques, qui sous-tendent l’activité linguistique. Dans ce contexte, de nombreuses expériences ont été réalisées dans le but d’analyser les caractéristiques anatomo-fonctionnelles des différents niveaux de traitement linguistique : morphologique, syntaxique et sémantique. En revanche, peu de travaux en imagerie cérébrale se sont fixés comme objectif de mieux comprendre le rôle et le traitement des informations prosodiques dans la compréhension et la production du langage. Aborder cette question, en collaboration avec des spécialistes du domaine, doit permettre de statuer objectivement sur le caractère intégratif ou autonome des différents niveaux de traitement et, dans ce cadre, sur les spécificités du traitement prosodique. Les trois opérations décrites ci-dessous concernent le rôle de la prosodie dans le traitement de l’information linguistique (3.1), la question de l’autonomie et de la préservation du traitement prosodique dans la parole perturbée chez les schizophrènes (3.2), le rôle de la prosodie dans le décodage de la parole expressive (3.3).


3.1. Prosodie et marquage du focus de contraste (Coord. M. Besson, neurolinguiste, Marseille & A. Lacheret, Caen, opération achevée)

• Résumé

La communication parlée passe par la mise en relief de l’information pertinente (focus) dans le contexte d’un discours. Cette mise en relief relève du niveau pragmatique du langage. En français, comme dans la plupart des langues, le focus peut être marqué par des constructions morpho-syntaxiques sépcialisées (c’est en histoire que j’ai eu une mauvaise note) mais aussi par des moyens prosodiques : des indices prosodiques tels que les « proéminences focales » sont ainsi utilisés dans ce but, à travers la fonction pragmatique de la prosodie. Dans le cadre général de la question des interactions entre les différents niveaux structurels du langage, on peut se demander d’une part, si l’auditeur utilise les proéminences focales en temps réel pour construire des représentations cohérentes de la structure informationnelle de l’énoncé, et d’autre part dans quelle mesure la distribution erronée d’un accent focal ou son absence perturbe la compréhension. Afin de répondre à cette question nous avons élaboré une expérience utilisant la méthode des Potentiels Evoqués (PEs). Cette méthode qui permet d’extraire de l’activité électrique de base du cerveau (électroencéphalogramme ou EEG) les variations liées à la présentation d’un événement particulier, offre en effet une excellente résolution temporelle. Elle permet donc de suivre en temps réel, avec une précision de l’ordre de la milliseconde, les variations électriques associées aux différentes étapes du traitement de l’information.

Nous avons utilisé un corpus composé de 240 couples question-réponse présentés dans la modalité auditive. L’idée était de produire une même phrase-réponse dont l’organisation accentuelle (marquage prosodique du focus) correspondait ou ne correspondait pas au focus induit par la question posée. Autrement dit, le matériel cible (réponse) restait constant mais le contexte amorce (question) variait si bien que la réponse devenait congruente ou incongrue par rapport à la question. Il a donc été possible de comparer les résultats pour une même réponse selon que le focus était congruent ou non par rapport au contexte établi par la question. Soit, à titre d’exemple, l’extrait suivant, où les caractères gras représentent l’item frappé par la proéminence accentuelle la plus forte (focus prosodique) :

Ce protocole expérimental nous a permis d’examiner précisément le décours temporel du traitement des patrons prosodiques des mots qui occupent une position médiane ou finale dans la phrase-réponse. Ces patrons prosodiques sont donc congruents ou incongrus par rapport au contexte pragmatique introduit par la question. Au total 120 couples congruents et 120 incongruents ont été présentés à 16 auditeurs (droitiers et de langue maternelle française). Une analyse phonétique exhaustive des patrons prosodiques a également été effectuée afin de saisir les corrélats substanciels de ces proéminences focales (portée syllabique locale ou déformation globale des unités porteuses du focus, voire de leur environnement)

Les résultats montrent que les patrons prosodiques sont associés à des effets électrophysiologiques différents selon qu’ils sont congruents ou incongrus. Ces effets sont largement modulés en latence et en polarité en fonction de la position médiane ou finale du mot dans la phrase réponse. Les résultats démontrent ainsi la validité psychobiologique du concept de focus exprimée à travers les indices prosodiques. En outre, la signification fonctionnelle des effets observés dépend de la position : pour les mots en position médiane, l’augmentation de positivité observée refléterait le traitement de patrons prosodiques surprenants mais pertinents pour la tâche ; pour les mots en position finale, l’augmentation de négativité observée reflèterait les problèmes d’intégration rencontrés dans la construction de la structure informationnelle de la phrase. Pour conclure, nos résultats ont ceci de particulièrement intéressants pour le linguiste qu’ils démontrent que le non respect du marquage focal par la prosodie entraîne une altération nette du processus de compréhension et que les effets se manifestent différemment en fonction de la distribution de l’erreur. Ces résultats plaident donc en faveur d’une interaction entre prosodie, sémantique et pragmatique au niveau des traitements lors de la compréhension.

• Bilan & perspectives

2 publications

  Perspectives Prolongation de l’étude envisagée dans deux directions :
Traitement (PEs) des erreurs intonosyntaxiques dans les processus de compréhension
Hiérarchie dans les processus de compréhension dans des contextes de violations prosodiques de contraintes : primat syntaxe ou pragmatique ?

3.2. Prosodie et schizophasie (Coord. : B. Pachoud, Psychiatre, CREA, opération suspendue)

• Résumé

L’étude des aspects prosodiques de discours désorganisés de schizophrènes a été ici envisagée pour contribuer à préciser les liens entre les niveaux structurels du langage, en particulier pour savoir si, dans cette pathologie, les différents niveaux linguistiques (principalement le niveau énonciatif-pragmatique et le niveau prosodique ou suprasegmental) étaient affectés de façon corrélée ou au contraire de façon indépendante. Cette étude des propriétés prosodiques du discours de schizophrènes était également motivée par le constat que les principales fonctions attribuées à la prosodie sont réputées altérées chez les schizophrènes. Les travaux linguistiques contemporains sur les fonctions de la prosodie (en français) insistent d’une part sur sa fonction démarcative, d’autre part sur sa fonction de gestion à la fois de la co-énonciation (dimension intersubjective de prise en compte de la façon dont le message sera reçu ou interprété), de la co-locution (gestion des tours de parole dans l’échange verbal) et enfin du travail de (re)formulation (les hésitations ou formulations insatisfaisantes et provisoires sont marquées prosodiquement). Une série d’arguments, essentiellement issus des déficits cognitifs actuellement reconnus chez les schizophrènes en matière de planification, d’attention ou encore de métacognition, incite à considérer que les schizophrènes sont déficitaires dans ces fonctions (gestion de la structure informationnelle, de la co-énonciation et de la co-locution), ce qui devrait se traduire par un appauvrissement ou une inadéquation des marques prosodiques assurant essentiellement ces fonctions.

Notre projet était de constituer un corpus enregistré et transcrit d’interactions verbales avec des schizophrènes présentant de façon manifeste des troubles du langage, de procéder ensuite à une analyse pragmatique-énonciative de ces discours pathologiques pour caractériser les incongruités les plus typiques conduisant à la déstructuration de ces discours, et de faire porter sur ces fragments « pathologiques » une analyse des marques prosodiques associées à ces incongruités au plan discursif.


• Bilan & perspectives

Notre travail s’est trouvé retardé par diverses difficultés, d’abord méthodologiques, puis pratiques  pour la constitution du corpus. L’accès aux patients en milieu hospitalier psychiatrique, puis la sélection de patients schizophrènes présentant des troubles du langage patents et acceptant de participer à l’étude s’est avérée une tâche beaucoup plus longue et complexe que nous l’avions prévu. Nous avons pu réaliser un enregistrement audio (numérique), et le plus souvent également vidéo (en vue d’une analyse ultérieure des marques mimiques, posturales et gestuelles coverbales) d’une trentaine de patients schizophrènes. Ces enregistrements concernent des entretiens cliniques de 40 minutes environ, réalisés par B. Pachoud. Dans certains cas, ces entretiens ont été suivis d’une situation de production verbale plus contrainte, destinée à permettre des comparaisons, dans laquelle le patient était invité à produire le récit d’un petit clip d’animation vidéo muet, immédiatement après la présentation visuelle (sur écran d’ordinateur) de cette petite histoire de 4 minutes.

L’examen de notre corpus nous a rapidement fait apparaître que le matériel le plus facilement exploitable était les discours les plus sévèrement désorganisés. Six entretiens, réalisés avec les trois patients présentant les troubles du langage les plus sévères, ont pour l’instant fait l’objet d’une transcription et d’une analyse pragmatique-énonciative. De larges extraits de ces entretiens transcrits et analysés ont également donné lieu à une analyse prosodique à l’aide du logiciel d’alignement Praat. Il se dégage de ces analyses des observations intéressantes qui restent à confirmer par la poursuite de l’analyse sur un plus large corpus.

L’analyse pragmatique-énonciative de ces interactions verbales retrouve, de façon convergente avec les travaux contemporains d’orientation pragmatique, que les problèmes de cohérence discursive sont en grande partie liés à des ruptures thématiques de divers types, parfois également à ces des confusions ou télescopages temporels ou à une mauvaise utilisation de connecteurs, enfin également et souvent à des indéterminations référentielles. L’approche énonciative permet de faire apparaître que ces ruptures thématiques s’accompagnent fréquemment d’un changement de niveau énonciatif, avec un passage du récit au discours (de type commentaire ou généralisation), suggérant un déficit chez ces patients à respecter le principe de cohérence discursive et d’isotopie sémantique, et une tendance à enchaîner les mots par association de proximité morphologique (paradigme morphologique j’étais déclenchant ils avaient) ou sémantique (champ sémantique : lunettes déclenchant vous voyez…).

Sur le plan prosodique :
On ne retrouve pas de marquage prosodique des ruptures thématiques, pas plus qu’on ne trouve de marquage verbal de ces ruptures, ce qui les rend précisément perturbantes pour l’interprétation du discours, tout se passant comme si le patient n’avait pas conscience de ces discontinuités.
Les schizophrènes dont le discours est fortement désorganisé (dans sa cohérence, sa continuité thématique) font cependant un usage des diverses marques prosodiques qui ne semble ni appauvri ni incongru.

D’après ces résultats préliminaires, il semble exister une nette dissociation entre le niveau pragmatique-énonciatif altéré chez ces patients, et le niveau prosodique qui apparaît préservé et qui, dans une certaine mesure, « répare » la désorganisation discursive au plan verbal. Le recours à la prosodie pour assurer une fonction démarcative et une structuration informationnelle du propos semble correctement assuré, alors même qu’on peut observer au plan verbal certains déficits de planification discursive. Il est encore plus remarquable que les marques prosodiques qui assurent la fonction co-énonciative (anticipation de l’interprétation par le destinataire du discours) semblent également normalement utilisées, alors même que l’analyse pragmatique permet d’établir au plan verbal un déficit de prise en compte de l’interlocuteur (ou du contexte partagé). Ces ressources prosodiques qui semblent donc en grande partie préservées chez des schizophrènes dont le discours est désorganisé infirment l’hypothèse d’un déficit de l’intersubjectivité chez ces patients, suggérant que le déficit concerne spécifiquement la planification verbale du discours et n’affecte donc pas la composante prosodique du discours.


3.3. Modélisation et simulation des prosodies affectives par voix de synthèse : étude psycholinguistique, neurofonctionnelle et phonétique de faisabilité (N. Mazoyer & A. Lacheret coord., Caen, opération achevée)

• Résumé

La prosodie est souvent décrite naïvement comme la « musique » du langage. Cette notion remonte en neuropsychologie en 1947, avec le cas décrit par Monrad-Krohn d’une femme qui avait subi une lésion cérébrale provoquant une altération de l’application des pauses et des accents dans la phrase. Ceci avait entraîné une modification de son accent et la faisait passer pour une étrangère : c’était la première description du syndrome de l’accent étranger. Malgré cette lésion, elle pouvait chanter normalement. En fait, on l’a vue, la prosodie a été peu étudiée en neurosciences, car les chercheurs se sont tout d’abord intéressés aux traitements syntaxique et sémantique du langage qui étaient mieux théorisés chez les linguistes et plus faciles à appréhender du point de vue instrumental.

Concernant la parole expressive, à l’heure actuelle, de nombreuses questions restent en suspend en psychologie et en phonostylistique. Malgré des études très sérieuses et déjà anciennes, aucun prototype prosodique émotif et attitudinal n’a pu être défini de façon stable et les modèles restent encore balbutiants.

En neurosciences, si la latéralisation hémisphérique de la prosodie émotionnelle semble admise, la spécialisation hémisphérique de la prosodie linguistique fait l’objet d’un débat, et les autres types de prosodies n’ont pas encore été étudiées à notre connaissance.

C’est donc sur ces deux versants que se situe notre collaboration. Un corpus de 320 phrases a été constitué et enregistré selon 6 modalités expressives (gaieté, colère, tristesse, ironie, doute, évidence) par des acteurs d’une part (avec prosodie affective), en voix de synthèse d’autre part (sans prosodie affective, uniquement une prosodie démarcative). Ce corpus a ensuite été validé par des tests psycho-expérimentaux (mesure du temps de réponse dans la reconnaissance d’une émotion). Cette première phase de notre travail a permis de mettre au point le paradigme d’imagerie par résonance magnétique fonctionnelle (IRMf). 28 sujets témoins ont participé à l'étude en IRMf. L'analyse des réponses correctes et des temps de réaction a conduit à mettre en évidence, pour la première fois, un effet facilitateur de la prosodie affective dans la compréhension des énoncés : les sujets faisaient moins d'erreur et répondaient plus vite en présence de prosodie affective. Par ailleurs, une comparaison entre la classification de phrases à contenu affectif et de phrases dites « neutres » a permis de mettre en exergue les régions de la compréhension du discours affectif. Deux types de régions ont été activés: (i) des aires sémantiques activées par les phrases neutres et les phrases à contenu affectif, mais plus activé par les secondes, (ii) des aires activées uniquement lorsqu'un contenu affectif est présent et qui correspondent au réseau des théories de l'esprit c'est-à-dire les régions en jeu lorsqu'on infère l'état mental d'autrui. Restait à comprendre, sous l’angle phonétique, les corrélats acoustiques et perceptifs de ces comportements neuronaux et de pouvoir les modéliser par voix de synthèse. Dans cette perspective, nous avons analysé les contours prosodiques des différents types d'affects pour en extraire les traits phonétiques caractéristiques afin de pouvoir produire une prosodie stylisée dans les types expressifs pour lesquels ces traits sont les plus nets (colère, évidence, doute). Cette analyse a conduit à la mise en place d’une cartographie acoustique de nos différentes modalités expressives.

 

• Bilan & perspectives


5 publications
Réalisation d’expériences psycho-acoustiques pour valider notre cartographie acoustique des émotions sur des stimuli synthétiques et confirmer les points d'ancrage acoustiques de la prosodie affective. L’'intégration des prosodies affectives à la synthèse vocale, avec constitution d'un dictionnaire de contours prosodiques et recherche automatique des contours adéquats, représentera l'aboutissement de ce projet.

4. Prosodie et acquisition du langage, perspective interactionniste (K. Martel coord, opération en cours.) : depuis 1994

• Résumé

Cette opération, centrée sur les conditions d’acquisition de la langue maternelle, a commencé en 1994 dans le cadre d’un encadrement de DEA puis d’une thèse soutenue en 2001. Interrompue depuis la fin de la thèse, elle est remise sur pieds depuis janvier 2006 et concerne l’étude de la structure du langage des adultes adressé au jeune enfant.

Ancrée sur les marqueurs de reformulation chez l’adulte, l’étude s’inscrit dans un champ déjà bien balisé concernant les comportements linguistiques parentaux (stéréotypes lexicaux et mélodiques, phatiques, etc). La question demeure encore sur le rôle que joue le langage adressé aux enfants (LAE) dans le processus général de l’acquisition du langage et, dans ce contexte, sur le poids des paramètres prosodiques lors de reprises imitatives.

En pratique, notre objectif est d’analyser la structuration prosodique des reprises imitatives de la parole adulte issue de dialogues enfant-adulte. (12, 28, 32, 38 mois). La question posée étant : existe-t-il des constructions intonatives types associées aux différentes formes itératives des énoncés produits par un adulte lors d’échanges avec un enfant en phase d’apprentissage de sa langue ? Comment ces patrons évoluent-ils longitudalement ? L’adulte peut tout aussi bien privilégier certaines stratégies selon l’âge du jeune partenaire, le format ou encore la nature des phrases de l’enfant. L’approche, interactionniste par essence, s’appuie sur l’hypothèse forte que l’acquisition du langage oral dépend des compétences que l’enfant construit au fil des échanges communicationnels. Les échanges avec des interlocuteurs compétents (dits échanges en dyades) sont donc considérés comme le lieu privilégié de l’appropriation du langage.

Au total, 10 dyades sont étudiées. Ces 10 corpus adulte/enfant ont été recueillis en crèche. L’adulte est un compère. Le travail de transcription est effectué avec le logiciel PRAAT en se fondant du moins au départ sur le protocole de codage formulé par Lyche et Lacheret dans le cadre du projet transcription prosodique au sein du projet Phonologie du français contemporain (cf. infra 5.1) : codage numérique, approche globale par contours prototypiques portées par des unités de taille variable (syllabe, groupes successifs des reprises, contours globaux des reprises).


• Bilan & perspectives

5 publications

C’est dans la perspective de la reprise de cette opération que j’ai proposé à Karine Duvignau d’organiser une école thématique : Acquisition du langage et corpus en linguistique et en psychologie dont l’un des objectifs essentiels est de mutualiser les données et outils sur l’acquisition du langage ; mutualisation qui pourrait prendre le format d’une plateforme web dévolue aux corpus enfant en prenant en compte les principaux niveaux d’analyse de la langue . En effet, dans l’état actuel des connaissances, les travaux proposés appellent des recherches inductives solides reposant sur la manipulation d’observables sur corpus, i.e. de données qualitativement et quantitativement représentatives. il était donc scientifiquement légitime et nécessaire de penser une formation exclusivement centrée sur les corpus de l’acquisition, tant le domaine est foisonnant et convoque à lui seul un ensemble d’hypothèses théoriques à valider sur corpus, et de questions pratiques associées. Cette école a eu lieu à Toulouse en mai 2006 et a donné lieu à la mise en place d’un GDR en acquisition du langage (langues, langage oral et cognition : acquisition et dysfonctionnements – nouvelles approches, M. Hickmann dir) qui a démarré en 2008. Elle a été également pour moi, l’occasion d’ancrer des relations scientifiques avec A. Morgenstein (ENS, Lyon) d’une part, dans le cadre de son projet d’ANR Léonard, et avec M.T. Lenormand (INSERM, hôpital R. Debré) d’autre part, avec qui je commence à collaborer sur la prosodie des enfants sourds implantés cochléaires.


5. Transcription prosodique de corpus oraux : ressources et outils

Les opérations ci-dessous s’articulent autour du problème de la mutualisation des ressources et outils (conceptuels, méthodogiques, instrumentaux) utilisables pour une analyse écologique de la prosodie. Il s’agit en fait de réfléchir sur les moyens pour faciliter le partage des données avec d’autres chercheurs en adoptant un standard d’édition et des principes communs de balisage facilitant l’échange des données, en particulier prosodiques.


5.1. La prosodie au sein du projet Phonologie du français contemporain (PFC), B. Laks, J. Durand, Ch. Lyche (coord.), depuis 2003

• Résumé

Le projet PFC se situe dans la tradition des grandes enquêtes phonologiques et vise à constituer sur 50 points d’enquête un grand corpus oral d’environ 500 locuteurs, constitué de données strictement comparables. Les enregistrements sont effectués sur la base d’un protocole unique avec la prise en compte de quatre registres (liste de mots et texte lus, conversation dirigée et libre) permettant de maintenir une réelle cohérence et une stabilité des méthodologies. A l’origine du projet, en 2002, l’objectif était exclusivement de nature segmentale. Le corpus constitué devait permettre des analyses de phénomènes typiquement variables, et ce faisant de tester les modèles phonologiques et phonétiques qui accordent une large place à la variation. Dans un premier temps l’accent a été mis sur le système phonémique du locuteur, sur le schwa et la liaison. En 2003, les coordinateurs du projet m’ont sollicitée pour intégrer la dimension prosodique. En pratique, PFC se donne comme objectifs prosodiques de (i) mettre en valeur le lien entre deux phénomènes hautement variationnels (le schwa et la liaison) et la prosodie, et (ii) dégager les caractéristiques prosodiques générales de chaque variété de français étudiée dans un but purement descriptif et comparatif. J’ai, pour ma part, été sollicitée pour la composante (i). Concrètement, pour chaque locuteur, le texte ainsi que quelques minutes d’entretien sont codés sous PRAAT, sur deux tires traitant respectivement le schwa et la liaison. Le codage, qui est effectué sur la base de la transcription orthographique, est alphanumérique et n’a pas pour ambition de proposer une analyse mais seulement de fournir un premier balayage des données qui servira de base à l’analyse ultérieure. Bien que le matériel d’observation s’avère radicalement différent (phénomènes catégoriels vs. continus) et de ce point de vue beaucoup plus difficile à traiter, ces mêmes principes nous habitent pour le codage de la prosodie dans son interaction avec le schwa et la liaison. La question essentielle au départ est donc la suivante : quelle stratégie adopter pour transformer de la matière brute – le signal de parole – de prime abord extrêmement hétérogène et variable, en données observables et manipulables pour le linguiste ? Les questions de segmentation et de transcription s’avèrent donc fondamentales.

En pratique, nous avons mis en place un protocole de codage qui se décline en deux modes : codages standard vs codage étendu, le premier est réalisable et interprétable par tous les membres de la communauté linguistique, néophyte en phonétique. Il prend comme point d’appui le groupe accentuel et s’articule autour de six champs qui indiquent le nombre de syllabes dans le groupe, le rang d’une syllabe dans le groupe, les proéminences perçues à l’intérieur et en frontière de groupe, les pauses silence et les pauses d’hésitation, les indices de durée, enfin la position du groupe dans un tour de parole. Concrètement, il doit permettre de répondre aux questions suivantes : (i) dans quelle mesure l’élision d’un ‘e’ laisse des traces prosodiques (ex. trait de  longueur) ?, (ii) dans quelle mesure la structure prosodique conditionne la prononciation ou l’élision du ‘e’ en français ? Nous nous sommes focalisées pour l’heure sur le point (ii) afin de tester les deux hypothèses suivantes : a) la distance accentuelle contraint la réalisation du schwa (plus le schwa initial ou interne de mot est distant de l’accent terminal d’un groupe, plus il a tendance à être maintenu), b) la longueur du groupe rythmique affecte également cette réalisation (un schwa se maintient dans un groupe court mais pas dans un groupe long).

Le protocole étendu quant à lui s’articule autour de 3 champs qui donnent des informations sur les corrélats psycho-acoustiques des distributions étudiées (mesure de la proéminence en termes de F0 et d’intensité, forme et direction des contours). Il nécessite une expertise phonétique et des logiciels dédiés en cours de développement dans le cadre de l’ANR Rhapsodie (infra, 5.3).


• Bilan & perspectives

Codage prosodique de 3 régions (Vendée, Suisse, Sud-Ouest, 5 locuteurs par région, 3 modes de production : conversation spontanée, conversation libre et texte lu) réalisé
Intégration du système de codage dans l’architecture globale de la base de données PFC avec système de requêtes associé (A. Tchobanov dir.)
Développement de logiciels d’interrogation et de visualisation des résultats en cours
Utilisation prévue des extraits codés dans le projet Rhapsodie

5.2. Prosodie et corpus d’interaction langagière (A. Lacheret & D. Luzzati coord., opération achevée) 2003-2005

• Résumé

 

Cette opération s’inscrivait dans le cadre de l’EPML 50 (équipe projets multi-laboratoire) du RTP14 (réseau thématique pluridisciplinaire) des STIC (coord. A. Nicolle) consacrée aux corpus d’interaction langagière et suivait l’évolution de la discipline (développement croissant de la linguistique de corpus depuis les années 1990). Cette croissance se matérialise par divers facteurs ; on rappellera notamment des ressources linguistiques informatisées de plus en plus volumineuses, l’essor des ouvrages et revues spécialisés sur la linguistique de corpus, la multiplication des journées d’étude et des colloques sur ce thème, la  création de la fédération de recherche « Institut de Linguistique Française » où la linguistique de corpus joue un rôle essentiel, notamment les corpus oraux, enfin la création très récente de centres de ressources, l’un consacré aux corpus oraux (Ph. Blache, M. Jacobson coord.). En parallèle, le dialogue entre informaticiens, concepteurs de systèmes, et linguistes utilisateurs, reste encore frileux ; un décloisonnement des disciplines est ici fondamentalement nécessaire.

Concernant le Domaine de l’interaction langagière, la mise au point de ressources mutualisées constitue un élément essentiel pour faire avancer les connaissances sur les recherches en dialogue oral (homme-homme, homme-machine), en particulier dans le domaine de la prosodie, et tester les résultats des travaux développés dans ce cadre. En conséquence, il est important d’une part de pouvoir réutiliser les différents corpus qui ont été recueillis au fil des années et de les distribuer largement, et d’autre part, à partir des connaissances acquises, de dresser un cahier des charges précis permettant à tout chercheur une collecte pérenne et mutualisable de données nouvelles (constitution, codage, catalogage, enrichissement automatique, etc). Notre objectif était donc double : (1) enregistrement d’un corpus dit « prototypique » et formulation de directives minimales qui permettent à un réseau d’équipes de travailler sur les mêmes bases à la production de nouvelles ressources, (2) recensement exhaustif des corpus existants au sein de la francophonie et des outils informatiques disponibles pour les traiter. Ces actions sont notamment issues du travail effectué dans le cadre de l’action spécifique ASILA « action spécifique sur l’interaction langagière et l’apprentissage », et se fondent tout particulièrement sur les conclusions du workshop de clôture en juin 2003 (CR consultable sur le site : http://www.loria/asila.fr). Elles sont fondées sur l’idée que, pour être partageables, les recherches qui portent sur l’interaction langagière doivent être fondées sur des données qui le soient. Cela suppose de coordonner les efforts des communautés scientifiques qui s’intéressent à ces questions (linguistique interactionnelle, phonologie et intonosyntaxe, linguistique de corpus, psychologie cognitive), en s’efforçant de maîtriser l’ensemble du paradigme réalisation-conservation-exploitation de corpus d’interaction langagière, et de diffuser aussi largement que possible cette compétence.

Concernant l’action Corpus prototypique, il s’agissait ambitieusement d’envisager toute la chaîne du travail : recueil (avec les conditions juridiques requises), représentations (signal audio-video, transcriptions), catalogage et codage, mise à disposition (consultation, travail, intégration du travail effectué), sur un corpus d’observation de petite taille (10 min de dialogue). Bien sûr, l’objectif n’était pas d’aboutir à un produit satisfaisant à tous égards, mais avant tout d’envisager l’ensemble des problèmes qui se posent, voire d’en faire émerger à cette occasion, en profitant des larges collaborations et croisements de compétences portées par le réseau. Le corpus a été enregistré par le groupe ICAR, la transcription prosodique de certains extraits effectués. Il est néanmoins apparu que si nous voulions continuer à faire vivre le projet, il était nécessaire de procéder à un nouveau recueil de corpus qui réponde à une qualité d’enregistrement minimale et, bien sûr, qui soit diffusable librement (signal et transcription), ce qui ne semble pas être le cas malgré les directives initiales.


. • Bilan & perspectives

L’EPML50 est à l’origine du lancement du site CATCOD – Catalogage et codage des corpus oraux (S. Heiden, M. Jacobson, E. Shang coord.), accessible sur le portail Technolangue.

Trois journées d’étude ont eu lieu à L’institut universitaire de France en décembre 2003, février 2005 et décembre 2005. Elles ont permis à l’équipe ICAR de présenter le corpus prototypique aux partenaires ; d’envisager différents types d’interrogation en langue naturelle de corpus XML, de poser les jalons du site catcod, de réfléchir sur l’adaptation de la TEI pour la transcription de l’oral, de présenter les outils disponibles à ce jour pour la transcription prosodique (PRAAT, WinPitch, Prosogram), de faire le point sur les questions juridiques (voir le guide des bonnes pratiques mis au point par la DGLFLF présenté par O. Baude), de présenter la base de données CLAPI. La dernière journée a été consacrée aux analyses interactionnelle (L. Mondada), morphosyntaxique (D. Luzzati) et prosodique (A. Lacheret & Ph. Martin) du corpus prototypique. Un premier travail sur le corpus avec les outils de la TEI a fait l’objet d’une communication par M. Quignard

Enfin les connaissances acquises dans le cadre du RTP14 m’ont permis en partie d’impulser le projet Rhapsodie

5.3. ANR-Rhapsodie : corpus prosodique de référence du français parlé lien

• Résumé

Depuis le début des années 1980, ont été lancés des projets de grande envergure pour la constitution de corpus oraux dans les langues de grande diffusion. Conjointement, des consortiums internationaux de coordination de projets ont vu le jour (ex. Clarin http://www.mpi.nl/clarin/). Dans ce contexte foisonnant, les français ont pris conscience du retard accumulé dans la constitution et l’exploitation des corpus oraux. C’est sans doute la raison pour laquelle de nombreux projets visant au développement de larges corpus de français parlé ont vu le jour au cours de ces 20 dernières années. Plus récemment, des structures de mutualisation et d’échanges de ressources ont été développées à l’échelle nationale (voir la mise en place du Centre de Ressources pour la Description de l’Oral). Trois questions fondamentales sont associées à ces entreprises de récolte, d’exploitation et d’hébergement de corpus oraux : l’échantillonnage des corpus, les conventions de transcription, les types d’annotation fournis, à laquelle est associée la question des standards d’annotation, question majeure pour la. prosodie qui, pour l’essentiel, reste le parent pauvre. Peu de corpus sont annotés et quand ils le sont, la transcription repose sur des présupposés théoriques trop forts pour être mutualisables. C’est le cas de TOBI imposé de facto comme norme pour l’annotation prosodique. C’est également le cas de C-ORAL-ROM où l’annotation est étroitement dépendante de la notion d’acte de langage telle que la conçoit E. Cresti. De même, le traitement syntaxique des corpus oraux reste pauvre, se réduisant le plus souvent à la lématisation et l’étiquetage en parties du discours.

Dans ce contexte, notre projet est consacré à l’élaboration d’un corpus de référence de français parlé échantillonné en différents genres discursifs et doté d’annotations prosodiques et syntaxiques exploitables pour l’analyse du statut de la prosodie dans le discours, de ses relations avec la syntaxe.et la structure informationnelle. Le label « corpus de référence » se justifie ici par plusieurs points essentiels

- Par l’échantillonnage qui se fonde sur la prise en compte exhaustive de différents types et genres discursifs. - Par un travail qui s’inscrit dans la continuité: nous prenons comme point d’ancrage d’une part les résultats issus des travaux en macro-syntaxe de ces 20 dernières années, d’autre part les résultats récents sur les structures prototypiques du français parlé issus des corpus de référence C-ORAL ROM et DELIC. Notre valeur ajoutée : enrichir les connaissances sur le profilage intonatif de ces structures bien répertoriées par nos collègues mais dont l’expertise prosodique reste à faire.. - Par une stratégie d’annotation qui ne s’inscrit pas dans un cadre phonologique étroit, ce qui permet d’envisager différentes démarches interprétatives conduites dans des cadres théoriques variés, autour de thématiques complémentaires, et qui viendront enrichir les grammaires de référence du français (parlé).
- Par l’implémentation d’algorithmes d’étiquetage et de segmentation semi-automatique robustes, pérennes, facilement utilisables et distribués librement donc mutualisables, et pouvant en conséquence être hébergés par l’antenne aixoise du Centre de Ressources de la Description de l’Oral
- « Référence » aussi, car le corpus aura été constitué en suivant les chartes minimales pour être distribuable librement. Concernant la qualité sonore des enregistrements, nous nous référerons au protocole PFC. Concernant le volet déontologique et juridique ensuite (demande d’autorisation et consentement éclairé, anonymisation) le codage et le catalogage des métadonnées sur l’identification sociologique des locuteurs, et les genres représentés etc.), nous suivons les recommandations dictées dans le guide des bonnes pratiques de la DGLFL.
« Référence » enfin, car le projet fera l’objet d’une réflexion soutenue sur les standards de normalisation à utiliser pour l’annotation et le formatage des ressources (TEI, XML), d’où, là encore un potentiel d’hébergement au CRDO (antenne parisienne)


• Bilan & perspectives


Les résultats attendus s’articulent autour de 7 points :
¬ mise au point de formats pour l’annotation et la lecture des données intonosyntaxiques dans une perspective d’interopérabilité et d’échange
¬ mise à disposition de ressources de français parlé alignées (30 heures) dont 6 heures feront l’objet d’annotations prosodiques et syntaxiques riches
¬ distribution en ligne d’outils pour traiter et analyser ces ressources avec manuels d’utilisation exhaustifs
¬ Présentation d’un ensemble d’hypothèses linguistiques sur l’interface prosodie-syntaxe-discours qui s’appuient sur les ressources élaborées. Nous donnons ainsi les moyens à la communauté de falsifier les hypothèses théoriques défendues (accès aux ressources utilisées, comparabilité des données et des résultats)
¬ Enrichissement des modèles intonosyntaxiques du français parlé
¬ Contribution à l’amélioration de la prosodie en synthèse de la parole
¬ Organisation à l’issue du programme d’un colloque international sur le thème de l’interface prosodie-discours qui nous permettra d’exposer nos résultats, de les confronter aux travaux des équipes reconnues internationalement dans le domaine et de faire le point sur les modèles prosodiques dans les langues du monde.
Ainsi, le projet, qui s’inscrit dans une perspective théorique et pratique, répond à deux aspects essentiels de l’appel d’offre de l’ANR sur les corpus : la constitution de corpus et leur analyse. Son originalité :
- proposer le premier corpus pilote de référence du français parlé en terme d’annotation prosodique riche
- poser explicitement la question de la spécificité de l’encodage des phénomènes intonosyntaxiques dans l’activité de discours.
Une première réunion de travail sur le codage syntaxique des corpus oraux a eu lieu en janvier 2008, une seconde réunion est prévue en avril 2008 pour faire le point sur els corpus (volet déontologique, juridique, point sur les corpus accessibles, problèmes de transcription et de codage)

Notes

[1] A. Di Cristo, « La prosodie au carrefour de la phonétique, de la phonologie et de l’articulation formes-fonctions », TIPA, 67-212.

[2] Selon Berrendonner, les clauses sont des unité maximales de la micro-syntaxe organisée autours d’îlots rectionnels et correspondant sur le plan pragmatique et cognitif - ou praxéologique - à des actions communicatives élémentaires dont .le rôle est de modifier la schématisation cognitive planifiée par les interlocuteurs en, la faisant évoluer.

[3] Unités macrosyntaxiques qui s’organisent autour de relations qu’on ne peut pas décrire à partir des rapports classiques de rection grammaticales mais qui convoquent d’autres marquages, en particulier prosodiques.

[4] Ce travail a été amorcé en janvier 2006 par l’étude du marquage prosodique des enchaînements paratactiques dans des périodes sérielles (marqueurs prosodiques de coalescence ou de rupture, ex. tu prends à droite, tu longes les rails du tram).

[5] Implémenter en les modifiant le cas échéant les principes d’organisation prosodique interne des périodes tels que j’ai pu les définir dans mon travail d’habilitation et tester l’hypothèse fribourgeoise selon laquelle . cette organisation interne se laisse décrire en termes de programmes praxéologiques ou « schémas d’action ».

[6] Les deux premières ont été amorcées au sein du projet TTT du Ministère de la Recherche (Terrains, techniques et Théories) sur le thème « Approche pluridisciplinaire de la complexité linguistique : spécificités et interactions entre les niveaux structurels du langage », la troisième dans le cadre d’un contrat Etat-Région, financé par le conseil régional sur « les bases neurales de la prosodie ».