À l'heure où les institutions du savoir généralisent la diffusion multimédia, les travailleurs intellectuels ne disposent toujours pas d'un instrumentarium permettant la conduite efficace d'un projet critique portant sur un corpus impliquant images et enregistrements sonores. L'état de l'art informatique de la « lecture critique multimédia » est tiraillé entre, d'une part, une approche documentaire visant l'annotation/structuration d'un document unique, et d'autre part, une approche hypertexte/hypertexte spatiaux visant la manipulation de relations sémantiques entre fragments au niveau du corpus, mais négligeant la matérialité des contenus.
Notre contribution à cette question consiste en premier lieu en un modèle conceptuel générique négociant cette tension qui existe entre les opérations matérielles spécifiques à chaque média (marquage, segmentation, spatialisation, recombinaison…) et les opérations sémantiques incarnant le processus interprétatif (annotation, structuration, mise en relation…), tension qui constitue le fondement de toute lecture critique.

Nous proposons également un prototype d'environnement logiciel tirant parti de ce modèle, et ayant donné lieu à différentes expériences de « lecture savante augmentée », menées avec des musicologues (structuration, synchronisation, segmentation et relinéarisation de partions) et des étudiants en SHS (commentaires composés multimédias de séminaires de philosophie enregistrés, analyses sémiologiques de corpus de presse et de pièces musicales).