Le 5 février dernier notre  "Jeudi du Préau"  avait pour thème:"Evaluer la qualité de nos formations en ligne"

Parmi les cinq présentations de cette rencontre nous proposons aux lecteurs de Tice Actu de consulter l'enregistrement vidéo de l'intervention  Alexandre HOLLE - Responsable pédagogique DRI/E-CCIP qui décrit la mise en place par  la Direction des relations internationales de l'Enseignement de la CCIP d' un test de langue répondant aux critères de validité, fidélité et fiabilité édictés par la communauté scientifique.

Nous avons réuni dans le dossier qui suit quelques repères bibliographiques et « webographiques » qui complèteront les interventions de ce « jeudi » sur les thèmes indissociables de la qualité et de l'évaluation en formation.

1 - Organismes de référence pour l'évaluation de dispositifs de formation

*** L'AERES. L'agence de l'évaluation de la recherche et de l'enseignement supérieur
L'AERES est organisée en 3 sections pour assurer la production des évaluations :
 des établissements, des unités de recherche, des formations et diplômes (licences, masters, écoles doctorales...).  Le site de l'AERES donne accès aux rapports d'évaluation des unités déjà produits.

*** EFQM.  European Foundation for Quality Management
Site officiel de la démarche EFQM: tout sur l'approche qualité totale européenne: méthodologie, outils et textes de référence

*** ENQA
L'ENQA the European Association for Quality Assurance in Higher Education diffuse l'information sur les expériences et les bonnes pratiques dans le domaine de l'assurance qualité dans l'enseignement supérieur pour les agences de l'assurance qualité les organismes publics et les institutions de l'enseignement supérieur.

*** Références et lignes directrices pour le management de la qualité dans l'espace européen de l'enseignement supérieur
"Le rapport ENQUA  (janvier 2006) est composé de quatre chapitres. Après un chapitre introductif sur le contexte, les
buts et les principes, les suivants portent sur les références et les lignes directrices pour le management de la qualité; un système d'évaluation par les pairs pour les agences d'évaluation ; les perspectives et les défis à venir."

*** SMART -  Système Méthodologique d'Aide à la Réalisation de Tests
« SMART est un service de l'IFRES (Institut de Formation et de Recherche en Enseignement Supérieur) de  l'Université de Liège. SMART est dédié à l'évaluation pédagogique.
Il aide les enseignants et les formateurs à réaliser les évaluations de leurs apprenants, les organismes de formation à évaluer la qualité de leurs formations.
Le site de SMARTcontient le  rappel des notions de bases dans toutes les spécialités de Smart. »


2 - Outils spécifiques pour l'évaluation de dispositifs de formation

*** SEVAQ
SEVAQ est une démarche qualité européenne pour l'évaluation et l'amélioration en continu des dispositifs de formation en ligne, fondée à la fois sur une approche de qualité totale(EFQM) et selon les niveaux d'évaluation de la formation du modèle Kirkpatrick.
Pour être formé et habilité à la démarche SEVAQ et à son outil logiciel, vos correspondants pour la France sont  PREAU-CCIP et VIDEOSCOP (Université Nancy 2)
Consulter la présentation vidéo de la démarche SEVAQ

*** EvaSys
EvaSys est un logiciel d'enquête majoritairement utilisé par les universités allemandes.

*** Formaeva
La société Formaeva propose un service d'évaluation "clé en main" des formations qui inclut l'administration des évaluations (processus de collecte et de suivi)et la production de tableaux de bord consultables via le web.


 3 - Quelques  logiciels génériques pour l'évaluation

*** Quiz Manager
Quiz Manager est un logiciel de la société Xperteam, destiné aux professionnels de la formation et du recrutement désirant produire des questionnaires d'évaluation. Il permet de créer des quiz et d'analyser les résultats en ligne.

*** Questionmark Perception
Le système d'administration des épreuves Questionmark Perception  permet aux enseignants et aux formateurs de créer, programmer, diffuser et établir des rapports sur des tests, quiz, enquêtes et examens.

*** Perspective123
 Perspective123 accompagne les formateurs en développant des solutions pour évaluer des niveaux de connaissances et mesurer la satisfaction des stagiaires.
  

4 - Théories et méthodologies de l'évaluation : livres et documents en ligne

*** ENDRIZZI,  Laure et REY, Olivier - L'évaluation au cœur des apprentissages
INRP, Dossier d'actualité n° 39,  novembre 2008.
Au sommaire de ce dossier: D'une évaluation à l'autre - L'évaluation formative ou évaluation pour l'apprentissage - Le feedback des élèves pour réguler les enseignements? - L'évaluation des compétences Le portfolio : un outil réflexif au service de l'évaluation ? - Bibliographie.
Ce dossier en ligne qui traite plus particulièrement de l'évaluation en milieu scolaire, contient cependant de nombreux liens vers des sites de référence en matière de théories et méthodologie sur l'évaluation. 

*** Kirkpatrick Donald L., Kirkpatrick James D. - Evaluating Training Programs: The Four Levels.  Berrett-Koehler Publishers, Inc. San Francisco 2006, 3ème ed.
Le modèle de Kirkpatrick définit, à la fin des années 50, les 4 niveaux de l'évaluation:  évaluation des réactions, évaluation des apprentissages, évaluation du niveau de transfert, évaluation des résultats. Un modèle qui vise à augmenter l'efficacité de la formation.
Les auteurs ont conçu cet ouvrage comme un guide méthodologique à destination des professionnels de la formation en charge de concevoir, mettre en oeuvre et évaluer un projet de formation.

*** ARDOUIN, Thierry -  Ingénierie de formation pour l'entreprise : analyser, concevoir réaliser, évaluer. Dunod,  2006, 274 p.
Résumé de l'éditeur :  « L'ingénierie de formation est une démarche structurée qui intègre la formation dans un ensemble politique et stratégique, avec une volonté éducative forte. Cet ouvrage qui combine réflexion conceptuelle et méthodologie pratique détaille les quatre étapes nécessaires au déploiement de cette démarche : analyser, concevoir, réaliser et évaluer. Cette deuxième édition s'enrichit d'un chapitre sur le pilotage de la fonction formation. »

*** BONIFACE, Jean et  PERETTI, André(de) -  Encyclopédie de l'évaluation en formation et en éducation. ESF,2005, 572 p.
Résumé de l'éditeur: Cet ouvrage propose un panorama exhaustif et critique des méthodes d'évaluation. Riche d'une multitude d'exemples, il permet à son utilisateur de choisir, dans toute situation éducative, l'outil d'évaluation adapté, pertinent au regard des objectifs poursuivis, de la nature du public ainsi que de la démarche générale qui est mise en place.
Des mini-tests, des pauses évaluatives, des mémentos le ponctuent et permettent de faire le point régulièrement sur ses propres acquisitions, ce qui en fait un véritable outil d'auto-formation.

*** DENNERY, Marc -  Evaluer la formation. Des outils pour optimiser l'investissement en formation. ESF, 2001, 223p. 
Dans sa première partie, cet ouvrage expose les différentes dimensions de l'évaluation en formation et les bénéfices qu'on peut en attendre. Il explique comment mesurer les effets concrets d'une formation et son retour sur investissement. L'auteur aborde également l'apport des techniques d'évaluation pour optimiser l'investissement formation. La deuxième partie de l'ouvrage propose au lecteur de tester les connaissances qu'il a acquises au cours de sa lecture.

*** BARBIER, Jean-Marie -  L'évaluation en formation. PUF, 2001, 310 p.
Extrait du résumé de la Librairie Decitre "... l'objectif principal de cet ouvrage, à l'intention des praticiens, est de les mettre à distance en proposant un outil d'analyse des pratiques d'évaluation, dans la diversité de leurs conditions d'émergence de leurs objets, de leurs fonctionnements et fonctions.
Loin d'être une nouvelle prescription pour l'action, il a pour ambition d'être un outil de travail sur des pratiques ordinaires."

*** RODET, Jacques. Evaluation à distance(sitographie)
Sur son site, Jacques Rodet rassemble  plusieurs références de documents en ligne sur le thème de l'évaluation à distance.

*** AFNOR - La qualité en formation professionnelle. AFNOR, 2007, 4e éd., 294 p. Coll.Normes & Réglementation

*** AFNOR - Assurer la qualité dans les organismes de formation. La certification ISO 9001. AFNOR , 1998, 245 p.
Au sommaire de cet ouvrage méthodologique: La qualité et l'assurance qualité en formation - Construire son système qualité - la norme ISO 9001 - Répondre pas à pas aux exigences de la norme ISO 9001 - Les temps forts du projet de certification - La norme ISO 9001

*** BEAU, Dominique - La boîte à outils du formateur : 100 fiches de pédagogie. Editions d'Organisation, 2008, 213 p.
"La boîte à outils du formateur" en est à sa 6ème édition depuis 1976. Il accompagne le formateur pas à pas, dans la mise en oeuvre de ses objectifs à travers quatre  questionnements possibles: construire une formation dès maintenant ? Prendre le temps de concevoir un programme ? S'initier à la pédagogie des adultes ? Analyser sa pratique de formateur ? A ces quatre objectifs correspondent quatre modes de navigation dans l'ouvrage. L'un des 9 chapitres du sommaire s'intitule "Evaluer le système de formation"

*** Le Guide Pratique de la Formation -  Auteurs multiples -  ESF, à paraître en mars 2009, 1600 p. Un service de mise à jour trimestriel accompagne cet ouvrage. L'édition 2008 du guide est disponible.
Un ouvrage de référence pour le formateur et l'entreprise. Il couvre les aspects de politique de formation, plan de formation, évaluation, analyse des besoins, ingénierie pédagogique, réglementation… Il comporte conseils méthodologiques et outils clés en main pour optimiser et sécuriser les  pratiques : tableaux, check-lists, encadrés, adresses utiles...Il fait également le point sur l'actualité juridique et les sujets marquants du secteur de la formation professionnelle et rassemble des témoignages et retours d'expériences .

*** DENNERY, Marc - Piloter un projet de formation. Du diagnostic des besoins à la mise sous assurance qualité. ESF, 2008. 216 p.
Cet ouvrage apporte des réponses concrètes aux questions suivantes : Comment analyser une demande de formation ? Comment étudier la faisabilité du projet de formation ? Comment mettre en oeuvre le processus pédagogique le plus pertinent et le mieux outillé possible ? Comment sélectionner les meilleurs organismes de formation ? Comment évaluer les résultats du projet de formation et le mettre sous assurance qualité ?

*** Questionmark. "Legal Defensibility of Assessments: What You Need to Know". Questionmark, 2008, 30 p.
Ce nouveau livre blanc Questionmark examine les points importants à prendre en considération dans votre démarche d'évaluation et vous permettra de maximiser la qualité, la sécurité ainsi que la cohérence de vos épreuves.

*** Xperteam. "Définir une stratégie d'évaluation en ligne"
Ce  nouveau livre blanc d'Xperteam fournit un court état de l'art sur la question des évaluations afin d'aider le formateur à
- situer le processus d'évaluation au sein du processus d'apprentissage,
- appréhender les enjeux de l'évaluation dans un contexte de management des compétences,
- identifier les différents types d'évaluation et leurs rôles dans le processus d'apprentissage,
- définir sa propre stratégie d'évaluation en fonction de sa problématique