Multimodalité (sémiotique)

La multimodalité, au sens sémiotique, désigne la mise en œuvre dans la production du sens de divers modes d'expression combinés — tels la parole, la gestuelle, les images fixes ou animées et un accompagnement sonore — en relation avec leurs modalités médiatiques de transmission, qui peuvent être synchrones ou asynchrones.

Le concept de multimodalité est utilisé en sémiotique et en didactique, où il aide à analyser et concevoir des pratiques d'enseignement adaptées à un environnement numérique en constante mutation.

Problématique

Jusqu'à tout récemment, le langage était le principal mode d'expression et la production de ses effets était bien connue car elle était étudiée par la rhétorique dès le IV^e siècle av. J.-C. Au cours du siècle dernier, le développement de la sémiotique et de la pragmatique a permis d'approfondir l'étude du langage comme un moyen de production du sens parmi plusieurs autres.

Avec le passage du livre à l'écran et la place de plus en plus importante que prennent les images, la production du sens ne fait plus seulement appel au langage mais implique souvent aussi des images et des sons, de façon multimodale. L'environnement numérique entraîne un foisonnement de nouvelles pratiques sémiotiques en même temps qu'une expansion des pratiques existantes. La fluidité qu'offre le numérique permet d'intégrer facilement des modes autrefois séparés, tels le texte, l'image et le son, multipliant ainsi les affordances ou possibilités offertes au producteur du message. Cela fait de la multimodalité un mode naturel d'expression. Selon Kress, cette situation va entraîner une transformation des modes et les spécialiser en fonction des besoins de représentation et de communication.

Le concept de « multimodalité », en anglais multimodality, provient des travaux de Gunther Kress (2003). Le terme a été introduit en français dans son sens sémiotique avec l'ouvrage de Lebrun, Lacelle et Boutin (2012). Selon ces auteurs, il désigne : « l'usage, en contexte réel de communication médiatique, de plus d'un mode sémiotique pour concevoir un objet ou un événement sémiotique. » Un mode sémiotique est une moyen d'expression et de représentation de type verbal ou non-verbal visant à produire du sens. Il peut être textuel, iconique ou sonore. La combinaison de divers modes produit un « texte multimodal » appelé aussi « multitexte ».

À titre d'exemple, les relations image/son donnent lieu à trois grandes classes d'applications, selon Zenouda :

• le son au service de l'image, comme dans l'audio-visuel classique ;
• l'image au service du son, comme dans l'informatique musicale qui permet de représenter et manipuler le son au moyen d'images ;
• l'image et le son dans une relation équilibrée visant à produire des effets de synesthésie et de fusion perceptibles entre les deux modalités.

Voir aussi

Articles connexes

• Hypermédia
• Hypertexte
• Multimédia
• Gunther Kress
• Theo van Leeuwen
• John A. Bateman
• Carey Jewitt

Bibliographie

• (en) Gunther Kress, Literacy in the new media age, Routledge, 2003
• Monique Lebrun, Nathalie Lacelle et Jean-françois Boutin, La littératie médiatique multimodale, Montréal, Presses de l'Université du Québec, 2012
• Nathalie Lacelle, Jean-françois Boutin et Monique Lebrun, La littératie médiatique multimodale appliquée en contexte numérique. Outils conceptuels et didactiques, Montréal, Presses de l'Université du Québec, 2017
• (en) Jennifer Rowsell, Working with multimodality. Rethinking literacy, Routledge, 2013
• Hervé Zenouda, « Délinéariser le son dans son rapport à l'image : émergence d'un nouvel objet audiovisuel complexe », dans Caroline Angé, Les objets hypertextuels. Pratiques et usages hypermédiatiques, Londres, ISTE, 2015