===========================
Outil d'évaluation des OCRs
===========================

Cette archive contient un outil d'évaluation des systèmes de reconnaissance de 
caractères (OCR).
Il a été développé en 2010 par les laboratoires :
- Laboratoire d'Informatique, du Traitement de l'Information et des Systèmes (LITIS)
de l'Université de Rouen
- Laboratoire d'Informatique de l'Université de Tours

avec un financement de l'Agence Nationale de la Recherche (ANR), pour le compte de 
la bibliothèque nationale de France (BnF).

Il peut être utilisé ou modifié à condition de citer les auteurs en cas de publication
de résultats ou de redistribution.
Il est distribué sous licence Apache 2.0:


** Distribué sous licence Apache, Version 2.0 (la "Licence");
** Vous ne pouvez utiliser ce fichier qu'en conformité avec la licence.
** Vous pouvez obtenir une copie de la licence sur
** http://www.apache.org/licenses/LICENSE-2.0
** Sauf si requis par la loi applicable ou convenue par écrit, les logiciels
** distribués sous la licence sont distribués "TELS QUELS",
** SANS GARANTIES OU CONDITIONS D'AUCUNE SORTE, explicite ou implicite.
** Voir la licence régissant les autorisations et
** limitations de l'utilisation.


Utilisation
===========

	Sous Linux
	==========	
	Deux scripts Bash permettant de compiler et d'exécuter le programme se trouvent dans le répertoire racine : 		"compile_and_run" et "run"

	Sous Windows
	============
	Utiliser l'exécutable "evalOCRs_windows.jar" dans le répertoire "jar"


Contraintes sur le contenu des répertoires
==========================================

Le répertoire racine de l'application doit contenir l'arborscence suivante (les répertoires sont en majuscules et les fichiers en minuscules):

	REPERTOIRE_RACINE
		DONNEES
			ID_OUVRAGE_1
				X
					num_page.xml
				T
					num_page.tif
				OCR
					NOM_OCR_1
						num_page.xml
					NOM_OCR_2
						num_page.xml
					......NOM_OCR_N
			ID_OUVRAGE_2
				X
				T
				OCR
			.........ID_OUVRAGE_N
		EXE
			OCRTK
				nom_executable.exe (Windows)
				nom_executable (Linux)
			CLUZO
				cluzo (executable Linux)
				cluzo-init
		INDEX
			ID_OUVRAGE_NOM_OCR.index
		JAR
			executables .jar de l'application
		RESULTATS
			fichier_resultat.res
		SRC
			*.java



Le répertoire "donnees" doit contenir un repertoire pour chaque ouvrage à évaluer. Ces répertoires contiendront chacun
trois répertoires:

	- Le répertoire "T" contient les images (au format tif).

	- Le répertoire "X" contient les fichiers XML de la vérité terrain (au format ALTO). Chaque fichier XML doit avoir
	le même nom (à l'extension près) que l'image correspondante du répertoire "T".

	- Le répertoire "OCR" contient lui même des répertoires portant les noms des systèmes d'OCR à tester. Chaque répertoire d' 		OCR doit contenir les fichiers XML contenant les résultats de l'OCRisation. Chaque fichier XML doit avoir le même nom (à 	 l'extension près) que l'image correspondante du répertoire "T". Ces fichiers XML doivent être au format Alto (sauf pour 	l'OCR "ABBYY" pour lequel une fonction de conversion en Alto a été implémentée).



Fonctionnement:
===============

le traitement se fait en deux étapes successives:


1- L'indexation : elle consiste à récupérer l'information utile (contenu textuel et coordonnées des éléments - blocs de texte, lignes et mots -) disponible dans des fichiers XML (supposés être au format ALTO, une exception étant prévue pour les fichiers au format propriétaire d' ABBYY FineReader pour lesquels une fonction de conversion a été intégrée à l'outil) et de conserver cette information dans des fichiers index (on obtient deux fichiers par ouvrage: un index de la vérité-terrain et un index du résultat de l'OCRisation). Cette indexation permet d'accélérer le traitement lors de l'étape d'évaluation.

2- L'évaluation proprement dite : elle consiste à comparer les contenus des deux fichiers index (vérité-terrain et OCR), elle peut s'effectuer selon deux modes:
                a- Mode "page": On récupère tout le contenu textuel d'une page dans un fichier texte, et on compare les deux fichiers obtenus (OCR et vérité-terrain) pour calculer des scores de performance (dont je parlerai plus bas).
                b- mode "ligne": Dans lequel le taux de segmentation correcte (une ligne est mal segmentée si ses coordonnées dans le fichier OCR ne correspondent à aucune des lignes de la vérité-terrain - avec une certaine marge de tolérance sur les coordonnées) des lignes mal segmentées est calculé (100 - % de pixels de zones "texte" labelisés par l'OCR dans des zones "non-texte" , on calcule le recouvrement entre les rectangles englobants de chacun des éléments de la vérité-terrain et le rectangle englobant de la ligne "OCR" actuelle) qui permet de pondérer le taux de reconnaissance calculé sur des lignes qui elles ont été correctement segmentées (en tenant compte du nombre de caractères de chaque ligne et en appliquant une "règle de trois"). Ce mode permet d'évaluer séparément le module de reconnaissance et le module de segmentation de l'OCR et d'identifier plus précisément les problèmes.

- L'interface permet de choisir le type de documents à évaluer (selon des critères de date, de type et de taille de police...etc) et fournit en fin de traitement un fichier où sont résumés les résultats sur l'ensemble des documents sélectionnés (on peut cependant retrouver les résultats page par page dans des fichiers temporaires stockés dans le répertoire où se trouvent les données).


Calcul des taux de reconnaissance:
==================================

L'outil permettant de comparer deux fichiers texte pour fournir le taux de reconnaissance est OCRTk [1] qui a été développé à l'institut ISRI de l'Université du Nevada à Las Vegas (UNLV) au début des années 90 et utilisé dans les compétitions OCR internationales pour évaluer les systèmes d'OCR.

L'outil OCRTk compare deux fichiers texte (un fichier de référence et un résultat d'OCRisation) et fournit comme résultats 2 types de fichiers par document traité: une évaluation au niveau "caractère" et une évaluation au niveau "mot" . Chacun de ces deux fichiers contient plusieurs "scores" différents.

A- Pour ce qui est du niveau "caractère", les scores sont données dans l'ordre suivant:

1- Précision (accuracy) = 100 - nb_erreurs / nb_total_caractères

- Sont considérées comme erreurs : soit la suppression d'un caractère, la substitution d'un caractère par un ou plusieurs caractères différents ou l'insertion d'un caractère absent du texte de référence.

- Il n'est pas tenu compte des espaces en début et fin de ligne.

- Métrique utilisée: Calcul d'une distance d'édition entre 2 chaînes de caractères avec une fonction de coût de (1,1,1) - c'est-à-dire que les pénalités associées à une suppression, insertion et substitution, sont respectivement de 1, 1 et 1 (il s'agit donc plus précisément d'une distance de Levenshtein) - en utilisant un algorithme de "plus petite sous-chaîne de caractères commune" appelé algorithme d'Ukkonen. Tu trouvera plus de détails sur ces notions et sur l'algorithme d'Ukkonen dans le fichier PDF que j'ai mis en pièce-jointe.

2- Précision après correction des caractères marqués (Accuracy After Correction) = Précision sans tenir compte des erreurs "marquées" par des caractères spéciaux.

- Un caractère est dit "marqué" s'il est associé à un des caractères spéciaux:
   a- caractère de rejet : tilde "~", remplace n'importe quel caractère sans que celà soit compté comme une erreur
   b- caractère suspect: "^", le caractère qui le suit ( et éventuellement aussi le caractère précédent) n'est pas compté comme une erreur, qu'il soit correct ou pas.
 
3- Taux de reconnaissance par classes de caractères (%Right): Taux calculés pour différents groupes de caractères (espaces, majuscules, minuscules, chiffres...). Un taux de reconnaissance est différent d'une précision: les insertions de caractères sont ignorées.

4- Une liste des confusions.
5- Un taux de reconnaissance pour chacun des caractères.


B- Au niveau mot: calcul de distance d'édition entre 2 chaînes de MOTS avec fonction de coût de (1,0,1) (les insertions de mots sont ignorées).

1- Précision (l'unité considérée est maintenant le mot et non plus le caractère--> si un mot contient une erreur sur un ou plusieurs caractères il est considéré comme étant incorrect ).

2- Taux de reconnaissance sur les "mots-vides" (la liste de mots-vides utilisée est donnée dans exe/OCRTk/mots_vides.txt).

3- Taux de reconnaissance sur les "non-mots-vides"

4- Précision au niveau Phrases (l'unité est maintenant la phrase).

5- Taux de reconnaissance pour chacun des mots-vides.

6- Taux de reconnaissance pour chacun des non-mots-vides.


Evaluation de la segmentation:
==============================
L'outil d'évaluation Cluzo inclus dans le logiciel Pink Panther [2] a été utilisé. Il permet de comparer la segmentation en blocs produite par un OCR et les coordonnées
réelles des blocs contenus dans le document (vérité-terrain) et calcule des scores tels que:
- Pourcentage de pixels de zones de texte identifiés par l'OCR comme zones d'image
- Pourcentage de pixels de zones de texte identifiés par l'OCR comme zones de bruit
- Pourcentage de pixels de zones de d'image identifiés par l'OCR comme zones texte
- Pourcentage de pixels de zones de bruit identifiés par l'OCR comme zones de texte
....etc

Nous utilisons ces scores pour recalculer les taux de reconnaissance de l'OCR à partir du taux obtenu pour des zones de texte correctement
segmentées pondéré avec ces scores de segmentation
Les informations sur les coordonnées des blocs utilisées par Cluzo sont dans un format particulier appelé RDIFF (voi réf.)




Références:
===========

[1] http://www.isri.unlv.edu/ISRI/OCRtk

[2] B.A. Yanikoglu, and L Vincent, "Pink Panther: a complete environment for ground-truthing and benchmarking document page segmentation", Pattern Recognition, volume 31, number 9, pp. 1191-1204, 1994


