Mapping Texts

Fruit de la collaboration entre la North Texas University et la Stanford University, le projet Mapping Texts, développé par Andrew J. Torget et Jon Christensen, est un outil d’interrogation et de recherches, portant sur un corpus composés de journaux numérisés. Et c’est une information de première importance : Mapping Texts n’est pas un projet de numérisation mais une interface permettant le traitement de données numérisées par ailleurs.

En l’occurrence, il s’agit d’une vaste collection de journaux texans, sortis des presses entre 1829 et 2008 (232.500 pages au total), et numérisés dans le cadre du Chronicling America project, un programme de numérisation de journaux, lancé par la Library of Congress et le National Endowment for the Humanities. Ces journaux sont accessibles depuis le Portal to Texas History de la North Texas University, à côté d’autres ressources intéressant l’histoire du Texas (photographies, livres d’école, cartes anciennes, journaux).

Présentation générale

Le projet est né d’une volonté de proposer des méthodes de travail efficaces, pour faire face au considérable amoncellement des ressources numériques, fruit des programmes de numérisation massive lancés aux USA depuis plusieurs années. Il n’est donc pas surprenant que Mapping Texts se consacre à la presse papier puisqu’elle représente l’une des plus grandes richesses documentaires américaines pour l’étude des 250 dernières années. Il faut dire qu’à partir du milieu du 19e s., chaque communauté ou à peu près, produisait son propre journal. Toutefois, en dépit de cette grande richesse, la presse papier est la ressource la moins exploitée, du fait même de sa surabondance.

Pour ce faire, Mapping Texts permet une lecture distante du corpus. Un procédé de consultation qui permet d’y repérer certains types de phénomènes lexicaux, sans qu’il soit besoin de passer en revue le détail des ressources pour y repérer les expressions ou schémas linguistiques souhaités. Le chercheur peut ainsi identifier les sous-collections intéressées par son étude, et poursuivre plus avant, en consulter un fonds d’archives par exemple, ses recherches. C’est également une manière de savoir si telle ou telle section du corpus général vaut la peine d’être étudiée, compte tenu la problématique de départ.

Dans la pratique, l’interface en ligne propose quatre paramètres de recherche / critères d’appréciation des résultats retournés :
– la quantité : compte le nombre de mots disponibles pour une publication (ou un ensemble de publications) et une période données.
– la qualité : compte le nombre de mots correctement numérisés (c’est-à-dire lisibles donc exploitables) au regard du nombre total de mots scannés par OCR.
– l’espace : donne l’origine géographique des publications retournées. Trois échelles sont disponibles : maison d’édition, ville, état.
– le temps : une timeline ajustable jalonne les interfaces du projet, qui permet d’observer des phénomènes sur des périodes données (comprises entre 1829 et 2008).

La variation de chacun de ces quatre critères rend possible une exploration aussi bien quantitative que qualitative du corpus. Dans la pratique, les outils proposés permettent de voir si, pour une période, un lieu donnés, les numérisations des publications disponibles sont de suffisamment bonne qualité que pour être digne d’intérêt.

Enfin, les porteurs du projet étant clairement orienté travail collaboratif et open source, il n’est pas surprenant de constater qu’ils tiennent à la disposition de chacun aussi bien leurs données (fichiers contenant les résultats des outils de traitement linguistique utilisés : Word counts, named entity recognition, Topic models) que les codes sources des outils de visualisation interactifs.

« Assessing Digitization Quality »

C’est à partir de cette première interface qu’il est possible de visualiser aussi bien la quantité d’information disponible, que la qualité de cette même quantité d’information (mots reconnaissables / bruit). De cette façon, il est facile d’identifier le volume et la fiabilité de l’information disponible quelles que soient la période (comprise entre 1829 et 2008) et la zone du Texas visée.

Fig. 1 : L’interface de visualisation quantitative (détail).

Elle se compose de trois champs principaux que l’utilisateur est libre de calibrer comme il l’entend, et qui correspondent chacun à un type de données.
La timeline (en haut à droite) est le premier niveau de commande de cette visualisation. Elle présente deux échelles et superpose deux courbes, correspondant au nombre total de mots disponibles et au nombre de mots reconnus.
Après quelques manipulations, ce premier outil permet notamment d’observer que les périodes 1883-1911 (Âge d’or) et 1925-1942 (Grande crise) surreprésentent la période couverte (1829-2008). Ce qui ne veut pas pour autant dire qu’il y avait plus de journaux à ces deux époques qu’aux autres. Cela signifie simplement qu’il existe davantage de ressources numérisées sur ces deux périodes, particulièrement déterminantes pour l’histoire des Etats-Unis – deux périodes largement étudiées et pour lesquelles il est plus facile de monter des programmes de financement de la recherche. À titre d’exemple, le programme Chronicling America’s 2007 a permis le financement d’une campagne de numérisation portant sur la période 1880-1910.

Le deuxième espace de visualisation est la carte, où chaque ville du Texas est représentée par un cercle, dont la taille et la couleur sont variables. Une Detail Box précise, pour chaque ville, le taux (en %) de texte exploitable, et donne la liste des publications disponibles. Il suffit de cliquer sur le nom d’un journal pour accéder à l’archive en ligne et basculer ainsi d’une lecture distante à une lecture suivie.
Remarquons au passage que les villes les plus riches en ressources (Houston : 185 535 043 mots et Fort Worth : 137 267 081 mots) ne sont pas celles qui affichent les taux les plus élevés. Ainsi, Houston et Fort Worth, respectivement 185 535 043 et 137 267 081 mots, culminent à 66% et 72 % de mots exploitables. En revanche, des villes aux corpus plus modestes – Palestine, 30 693 323 mots et Canadian, 9 139 987 – offre des scores plus intéressants : 86 et 85 % – ce qui, du reste, ne doit pas nous étonner.

Enfin, une seconde timeline indique, en bas de l’écran, les principales dates et recense les faits marquants.

« Assessing Language Patterns »

La deuxième interface de visualisation, qualitative celle-ci, permet l’identification des phénomènes lexicaux – les language patterns – que l’on cherche à observer (c’est d’ailleurs celle des deux interfaces dont la manipulation est la plus lourde).

Fig. 2 : L’interface de visualisation qualitative (détail).

L’espace de la page est lui aussi composé de plusieurs champs, tous interactifs. La frise et la carte permettent de déterminer dans le temps et l’espace le corpus souhaité. Les résultats obtenus sont alors de trois trois natures, et correspondent chacun à ce que les responsables du projet considèrent comme les trois indicateurs plébiscités par les chercheurs :
– Word Count : c’est le classement des mots par nombre d’occurrences pour le corpus choisi (temps et lieu). Les mots dits « stop-words » sont laissés de côté.
– Name entity counts : correspond au classement des noms propres (personnes, lieux, etc.) par nombre d’occurrence pour le corpus choisi.
– Topic models : cet indicateur (le plus intéressant mais aussi le plus discutable), produit des rassemblements thématiques à partir des mots contenus dans le corpus. À chaque thème correspond une liste de 100 mots qui entretiennent des relations statistiques fortes.

Fig. 3 : Les trois indicateurs de l’interface de visualisation qualitative.

Si Mapping Texts dissimule derrière une interface utilisateur plutôt simple et relativement fonctionnelle des traitements complexes et volumineux, le projet pose surtout la question de l’obsolescence de ce type d’outils, technologiquement très avancés. Des outils qui ne voient le jour qu’à la faveur d’un modèle économique organisé en financement de projet, et dont l’utilisation, parce qu’ils sont accessibles en ligne uniquement, dépend des possibilités (et de la volonté) de maintenance et de mise à jour du site. Des outils aussi pointus que fragiles, donc, parce que bientôt voués à n’être plus exploitables ?

Gllm Rouvière

More Posts

Follow Me: