Evaluation du projet

Sommaire:

Avant-propos

Responsabilité dans le processus d'évaluation

Le plan d'évaluation

Les résultats de phases

Phase 1

Phase 2

Phase 3

Phase 4

L'évaluation européenne

-------------------------------------------------

L'évaluation SEINE après un an d'utilisation

 

 

Avant-propos :

 « Tout progrès de la connaissance profite à l'action, tout progrès de l'action profite à la connaissance ».

Edgar Morin, La connaissance de la connaissance, 1986.

L’évaluation du projet Fleuves Grandeur Nature a été menée au niveau interne, par l'équipe européenne et est basée sur l’idée que l’évaluation est une activité de recherche appliquée “critique”. En ce sens, les connaissances produites par l’évaluation ont nourri la mise en œuvre concrète du projet ; un « va-et-vient » permanent entre l’évaluation et le projet lui-même a eu lieu. Par ailleurs, nous avons mobilisé des méthodes, processus et critères transparents, annoncés dès le départ et vérifiés tout au long du projet, qui ont garantit la fiabilité de la démarche.

Ainsi, l’objectif de l'évaluation était d’analyser, de la manière la plus complète possible, tous les aspects du projet: la qualité de son contenu (la production intellectuelle), la qualité du travail, l’impact des activités sur le développement professionnel de l’ensemble des acteurs et actrices, les compétences acquises, les bénéfices et impacts durables.

Si notre souhait est de proposer une évaluation, qui soit au plus proche de la réalité, nous avons pleinement conscience des limites de notre travail, soulignées par Edgar Morin (op. cit.):

« les limites de toutes activités humaines de connaissance sont la possibilité effective de pouvoir représenter la complexité de la vie humaine, le multidimensionnel et l’inséparable ». 

En effet, nous savons que nous ne pourrons être exhaustifs et qu’en tant qu’acteurs et actrices sociaux-ciales, nous restons emprunts d’une certaine subjectivité et partialité.

Cependant, notre fort engagement dans la démarche et notre expérience dans la conduite d’évaluations, au niveau national et européen, est, sans nul doute, un point de force du projet « Fleuves Grandeur Nature ».

 

Responsabilité dans le processus d'évaluation

Solidarci est l'organisme référent en charge du pilotage de l'évaluation du projet en collaboration direct avec la Ligue 42 et la LEEP. En son nom, Milvia Rastrelli, chercheuse et experte évaluatrice a réalisé le pilotage de l'évaluation et le travail a été développé de manière coopérative entre nos trois organismes.

Ainsi, l'analyse de données et l'écriture de l'ensemble des analyses jointes en pdf ci-dessous a été réalisée par Milvia Rastrelli (Solidarci), la revision lexicale et les commentaires conduits par Juliette Bossé (LEEP) et enfin la relecture des contenus et la supervision générale par Mr Larue et Mr Beysson (Ligue42) en tant qu'organisme coordinateur du projet européen. La rédaction des différents supports d'évaluation (questionnaires) a été réalisé de manière collégiale par différents membres de nos organismes.

Le plan d'évaluation

Le plan d'évaluation a pour objectif de permettre d'évaluer, quantitativement et qualitativement, la nature des réalisations du projet (et leur pertinence), l'atteinte des résultats attendus à travers le projet et de leurs impacts.

Partant des attentes et des objectifs initiaux, il évalue la méthode et les résultats en corrélation avec les besoins initiaux des acteurs:

Le plan d'évaluation complet:

Plan_évaluation_FGN.pdf

 

 

 Résulats de phases

          Phase 1

La phase 1 a permis de faire un premier point d'étape en évaluant d'une part la situation et les attentes des partenaires porteur du projet mais également celles des partenaires relais associés au développement des outils "Fleuves Grandeur Nature" ainsi que leurs profils (FGN souhaitant s'adapter à des acteurs très diverses dans de multiples situations).

Pour cela, différents questionnaires ont été réalisés et complétés par des dizaines de partenaires (enseignants, éducateurs, formateurs) ainsi que par l'équipe européenne puis analysés.

Ci-dessous, les liens de téléchargement pour accéder aux détails de cette phase:

Les attentes et la situation initiale de l'équipe Europe (Leep, Solidarci et Ligue de l'Enseignement):

Rapport-Evaluation-P1-Partenaires.pdf

Les attentes et la situation initiale des partenaires relais (amenés à tester les outils):

Rapport_Evaluation-P1-partenaires-relais.pdf

 

        Phase 2

La phase 2 a permis d'évaluer à mi-parcours l'avancement du projet et l'évolution de la situation pour les partenaires européens. La même chose a été réalisé pour les partenaires qui pendant un an et demi, ont testé FGN face à leurs publics (enfants, adolescents, adultes...). Ce travail a permis de faire évoluer de manière conséquente le projet,  la rédaction, l'impression et la réalisation finale des matériaux pédagogiques (fresques, trames d'animation, ergonomie des matériaux, systèmes de rangement, étiquettes réutilisables micro-ventouses etc...).

Pour cela, différents questionnaires ont été réalisés et complétés par des dizaines de partenaires ainsi que par l'équipe européenne puis analysés.

Ci-dessous, les liens de téléchargement pour accéder aux détails de cette phase:

La situation de l'équipe Europe (Leep, Solidarci et Ligue de l'Enseignement) à mi-parcours:

Rapport-Evaluation_P2-Partenaires_Intermédiaire-.pdf

La correspondance entre les attentes initiales des partenaires relais (qui ont testé FGN dans les 3 pays partenaires)et la proposition FGN faite :

Rapport-Evaluation-partenaires-relais-P2-Post_test.pdf

 

        Phase 3

La phase 3 a permis d'évaluer en fin de parcours les résultats du projet. Pour cela, les 3 partenaires européens ont d'une part évaluer les apports du projet pour leurs organismes et leurs équipes mais également mesuré l'atteinte, la non-atteinte ou la dépassement des objectifs initiaux du projet.

Parallèlement l'évaluation des événements de disséminations en présence de partenaires relais et de nombreuses structures nouvelles destinatrices des productions finales a permis de confirmer la corrélation de notre travail avec les besoins initiaux tant pour la malle pédagogique que le site Internet.

Pour cela, différents questionnaires ont été réalisés et complétés par près de 140 partenaires ainsi que par l'équipe européenne puis analysés.

Ci-dessous, les liens de téléchargement pour accéder aux détails de cette phase:

L'évaluation finale de l'équipe Europe (Leep, Solidarci et Ligue de l'Enseignement):

Rapport-Evaluation-P3-Partenaires.pdf

L'évaluation finale des partenaires de terrain qui ont reçu la malle pédagogique et formés à son utilisation:

 Rapport_Evaluation initiale-P3-partenaires-relais.pdf

 

        Phase 4

La phase 4 sera réalisé en 2018 suite à près d'un an d'utilisation de Fleuves Grandeur afin d'établir un bilan consolidé. Il permettra de mesurer la durabilité des productions ainsi que l'impact du projet après un an d'utilisation partout dans les 8 bassins-versants ciblés (Rhône, Loire, Garonne, Volturno, Tibre, Seine, Escaut, Meuse).

 

L'évaluation européenne

Parallèlement à ce plan interne d'évaluation, Fleuves Grandeur Nature a été soumi à l'évaluation continu du programme ERASMUS +. Pour cela, le consortium des partenaires européens a établi 2 rapports intermédiaires (le rapport final est en cours de rédaction). Ces rapports ont été soumis à des évaluateurs externes qui ont ainsi pu mesurer la qualité du projet et de sa méthode. L'évaluation intermédiaire une a permis de réajuster le projet pour lui permettre d'évouler vers plus de coopération européenne. Suite à modifications, le rapport 2 a montré la pertinence de la réalisation du projet vis à vis des objectifs des partenariats stratégiques européens.

Pour aboutir à ce résultat, nous avons modifié les objectifs initiaux afin de permettre de renforcer la coopération européenne.

Les axes principaux de cette orientation ont été :

- Réduction de l'ambition de dissémination sur le territoire français.

- Réduction du nombres d'activités pédagogiques sur le territoire français et harmonisation du nombre d'activités éditées sur chacun des 8 bassins-versants.

- Accroissement des ambitions sur le territoire italien et belge

- Développement des fresques interactives du site Internet également sur les bassins italiens et belges.

 

 

L'évaluation du bassin Seine après un an de vie dans les territoires

Un questionnaire a été construit afin de permettre une évaluation précise et complète.

Les objectifs du questionnaire « d’évaluation de l’utilisation des outils pédagogiques » transmis aux organismes possédant la malle étaient de :

Le rapport décrit les résultats obtenus dans l'importante phase d’utilisation qui a eu lieu entre juin 2017 (formation des acteurs) et juin 2018.

Rapport-Evaluation-Partenaires-SEINE-Un an-06-2017 à 06-2018.pdf