Feedback, Nutzen, Evaluation: Die Wirksamkeit von Schulungsmaßnahmen beurteilen /#24

von | 15/07/2014 | 4 Kommentare

Was bringt es eigentlich dem Unternehmen, wenn Mitarbeiter geschult werden? Welchen Nutzen stiften Trainings? Und wie lässt sich bewerten, ob die teure Coaching-Maßnahme bessere Auswirkungen auf die Resultate hat als das weniger kostspielige Seminar? Wer sich mit solchen Fragen auseinandersetzt, denkt über Evaluation nach. Wer es noch nicht tut, wird über kurz oder lang damit beginnen – müssen.

Feedbackbögen …

Jedes Unternehmen hat ein vollkommen legitimes Interesse daran, dass seine Investitionen in Kommunikations- und Qualifizierungsmaßnahmen einen erkennbaren Nutzen stiften. Nicht erst seit gestern interessieren sich Controller für Antworten auf die Frage nach dem „Return on Investment“. Ins Visier geraten zunehmend auch Qualifizierungsmaßnahmen. Die zuständigen Bereiche, in aller Regel die HR-Bereiche, Personalentwicklungsstellen sowie weitere Querschnittsfunktionen, geraten jedoch nicht selten in Verlegenheit, denn eindeutige Nachweise über die Wirksamkeit der ergriffenen Maßnahmen – und genau das ist mit „Evaluation“ gemeint – sind nicht ohne weiteres zu liefern.

Oder doch? Man spürt beinahe körperlich die Erleichterung, sobald der glückliche Ruf erschallt: „Wir haben doch jede Menge ausgefüllter Feedbackbögen!“ Und tatsächlich, seit vielen Jahren sind Feedbackbögen zur selbstverständlichen Praxis geworden. Mitarbeiter werden zu beinahe jeder einzelnen Maßnahme, zusätzlich zur darunter liegenden Konzeption um Feedback gebeten. Lassen wir es mal dahin gestellt, ob das eingesammelte Feedback wirklich genutzt und ausgewertet wird – es liegt immerhin vor.

Outcome und nicht nur auf Output: worauf Evaluation zielt

Aber: Feedbackbögen, die von Teilnehmern üblicherweise zum Ende der Maßnahme ausgefüllt werden, sagen etwas darüber aus, wie ihnen die Maßnahme gefallen hat. Es geht um die Inhalte, die Medien, die Art der Darbietung oder um die Vermittler; es geht um die Organisation, die Verpflegung und um die Rahmenbedingungen. Das sind durchaus relevante Aspekte, die jedoch aus der individuellen Perspektive des Teilnehmers unmittelbar zum Ende der Veranstaltung bzw. nach Abschluss der Maßnahme bewertet werden. Aber was sagt ein Feedbackbogen zu diesen Fragen aus:

  • Hat der Teilnehmer die vermittelten Inhalte verstanden?
  • Wurden die Kommunikations- bzw. Lernziele erreicht?
  • Ist der Teilnehmer motiviert und befähigt, die vermittelten Inhalte bzw. Kompetenzen im alltäglichen Kontext anzuwenden?
  • Hat die Qualifizierungsmaßnahme direkt oder indirekt positive Auswirkungen auf seine Leistungen bzw. die Leistungen seines Teams?
  • Was hat das Unternehmen insgesamt davon, dass es in diese Kommunikations- bzw. Qualifizierungsmaßnahme investiert hat?

Evaluation fragt also deutlich mehr, als ein üblicher Feedbackbogen beantworten kann. Es geht um handfeste Auswirkungen auf das Unternehmensergebnis – es geht um Outcome und nicht nur um Output. Der Feedbackbogen ist zwar Teil der Evaluation, deckt aber nur einen kleinen Ausschnitt ab.

Empfehlenswerte Evaluationssystematik

Wer Orientierung für eine durchdachte Evaluationssystematik sucht, wird bei dem (kürzlich verstorbenen) US-amerikanischen Berater Donald L. Kirkpatrick fündig. Kirkpatrick unterscheidet 4 Ebenen (Levels) der Evaluation (vgl. Abbildung):

4-Ebenen-Modell nach Kirkpatrick

  • 1. Level: die „Reaction“ des Teilnehmers
    • Leitfrage: wie hat es Ihnen gefallen? > z.B. zu erfassen mittels Feedbackbogen
  • 2. Level: das „Learning“
    • Leitfrage: was haben Sie gelernt/ behalten > z.B. zu erfassen mittels Lernerfolgskontrolle
  • 3. Level: das „Behavior“
    • Leitfrage: was wendet der Teilnehmer im Alltag an, was ändert er? > z.B. zu erfassen durch Vorgesetzten- oder Kollegenbeurteilung
  • 4. Level: die „Results“
    • Leitfrage: welchen Nutzen hat das Unternehmen, das die Maßnahme schließlich finanziert hat? > zu erfassen nur noch über multivariate Bewertungsverfahren.

In aufsteigender Rangfolge erlaubt die sukzessive Beantwortung der mit den vier Levels verbundenen Leitfragen eine immer exaktere Evaluation von Nutzen und Wirksamkeit einer Schulungsmaßnahme.

Erfahrungen

Wir haben in den letzten Jahren einige Erfahrungen mit dem Einsatz des 4-Ebenen-Modells von Kirkpatrick gewinnen können. Die wichtigste war: Die Anwendung lohnt sich, erst recht dann, wenn verschiedene Personengruppen in die Evaluation eingebunden werden. Grundsätzlich sollten – und das ergibt bereits die nähere Auseinandersetzung mit Kirkpatricks Ansatz – für eine stichhaltige Evalu­a­tion auf den höheren (und für die Wirksamkeit der Maßnahme aussagefähigen) Levels eingebunden werden:

  • der Teilnehmer selbst
  • der Trainer, der die Maßnahme verantwortlich durchgeführt hat,
  • der Vorgesetzte des Teilnehmers, der die Schulungsmaßnahme angeregt bzw. bewilligt hat und die von der Maßnahme betroffenen (und hoffentlich verbesserten) Leistungen des Teilnehmers beurteilen kann,
  • Kollegen aus dem Tätigkeitsumfeld (z.B. aus demselben Aufgabenbereich, aus angrenzenden Schnittstellenbereichen),
  • ggf. solche (Controlling-) Bereiche, die Auskunft über die Auswirkungen einer Maßnahme auf die Unternehmensergebnisse geben können.

Sicherlich überrascht die Vielzahl der genannten Funktionen, doch erst die Einbindung des Praxisumfelds des Teilnehmers erlaubt eine Wirksamkeitsbeurteilung im Kontext seines Arbeitsalltags. Genau das strebt die Evaluation an. Außerdem steigt die Aufmerksamkeit im persönlichen Umfeld des Schulungsteilnehmers, was die Wertigkeit der Maßnahme betont(vgl. hierzu Besser 2005 sowie Schirmer 2005).

Dem gegenüber steht der Aufwand, den eine derart ausgefeilte Evaluation mit sich bringt. Deshalb empfehle ich, eine ausgefeilte Evaluationssystematik für das Unternehmen zu konzipieren und anzuwenden. Ihr Einsatz sollte jedoch wohl dosiert erfolgen: Nicht jede Maßnahme kann und muss vollumfänglich evaluiert werden.

Literatur

Besser, Ralf (2005): Evaluation einmal anders. Machen statt messen; in: ManagerSeminare Heft 85, April 2005, Seite 74-80

Kirkpatrick, Donald (19982: Evaluating Training Programs. The four Levels, San Francisco (Berret-Koehler Publishers, Inc.)

Schirmer, Frank C. (2005): Bildungscontrolling. Plädoyer für die Isolation; in: ManagerSeminare Heft 87, Juni 2005, Seite 60-67

4 Kommentare

  1. Angela Raab

    Lieber Guido,
    ein wertvoller Beitrag; dieses Evaluierungsmodell kannte ich auch noch nicht – werde ich mich mal genauer mit beschäftigen. Einen wichtigen Hinweis möchte ich dennoch noch geben:
    Vor einer Maßnahme (Seminar, Coaching usw.) sollten genaueste Ziele definiert werden – und diese – soweit wie möglich – auch messbare Ziele beinhalten! Hier wird meines Erachtens viel zu wenig Zeit investiert, der Trainer/Coach bekommt lediglich grob umrissene Ziele genannt, der Vorgesetzte betont nur, dass etwas oder jemand besser werden soll. Der Personalentwickler sollte hier nicht locker lassen. Selbstverständlich können die dann festgestellten Ergebnisse in das vorgeschlagene Evaluierungsmodell einfließen bzw. die Maßnahmen genauer betrachten, für die dieses Evaluierungsmodell vielleicht zu aufwendig wäre.
    Beste Grüße
    Angela

  2. Guido Wolf

    Liebe Angela, vielen Dank für das Feedback. Ich kann Dir nur Recht geben: Viel zu selten werden Ziele definiert, die durch eine Personalentwicklungsmaßnahme zu erreichen sind. Insofern beginnt die Evaluation eigentlich schon in der Planungsphase einer PE-Maßnahme.

  3. Dirk Schmidt

    Lieber Guido, ich danke Dir für Deinen erneut sehr lesenswerten Beitrag. Das wir im Kontext unseres Nachhaltigkeitsprojektes beim “Immateriellen” ansetzen, haben wir ja schon vielfach besprochen, wobei die “Materialität” der Kommunikation natürlich zu beachten ist. Nicht minder bedenkenswert im Rahmen unseres Projektes scheint mir dabei der Zusammenhang von Evaluation und Nachhaltigkeit, wobei die Methodik in Richtung der “immateriellen Ressourcen” weiterentwickelt werden muss. Ein weites Feld! Also nochmals vielen Dank für Deinen “Impuls”. Herzlich Dirk

    • Hans J. Beins

      Hallo Guido,
      auch für unsere Fortbildungsarbeit eine gute Anregung. Oft endet die Evaluation ja schon auf Ebene 2 und manchmal davor, wenn die Bedeutung von Kaffee und Keksen abgefragt wird…

Antworten auf Guido Wolf Antworten abbrechen

Dr. Guido Wolf,
Kommunikationsforscher

Unternehmensberater – Trainer – Moderator – Coach

Institutsleitung conex.

Institut für Consulting, Training, Management Support

Nähere Informationen über mich finden Sie hier > (PDF)

Hier finden Sie weitere Informationen über mein Beratungsinstitut
www.conex-Institut.de

Hier finden Sie nähere Informationen über mein Angebot zum Executive Coaching
www.exe-co.de

Dr. Guido Wolf

Heinrich-von-Kleist-Str. 11
53113 Bonn
Germany

Tel.: +49 (0) 228 911 44 22
Mobil: +49 (0) 171 47 58 115
E-Mail: gwolf@conex-institut.de