Open OLAT

Kaizen im eLEarning - geht das?

Zürich, November 2018 - Bildungsmonitoring im Kontext von eLearning ist in aller Munde - was wohl auch damit zusammenhängt, dass der Aufwand für eine eAcademy beträchtlich ist. LMS, Content, Autoren, Instruktoren, Moderatoren, Kursverwaltung und so weiter wollen aufgebaut, alimentiert und unterhalten werden. Es kann also als legitimes Bedürfnis angesehen werden, wenn Unternehmens- oder Bildungsverantwortliche wissen möchten, ob sich diese Investitionen auch wirklich lohnen? Und ob die Qualität des Angebotes auch stimmt? Aber genügt es, dazu einfach am Ende eines Kurses einen Fragebogen in der Klasse herumzureichen? Braucht es dazu nicht mehr? Wir sind der Meinung, dass dazu verlässlichere Werkzeuge und Methoden zum Einsatz kommen sollten.

Kaizen - von der Philosophie zum PDCA-Zyklus

Im engeren Sinne ist mit Kaizen eine fortschreitend-inkrementelle Verbesserung gemeint, in die Führungskräfte und Mitarbeiter gleichermassen involviert sind. Im Japanischen bedeutet "Kai" = Veränderung oder Wandel; "Zen" = zum Guten hin. Wenn wir der Philosophie des Kaizen folgen, dann führt der Weg zum Erfolg nicht über punktuelle Verbesserung des Produktes mittels Innovation, sondern die schrittweise erfolgende Perfektionierung des bewährten Produkts. Soweit die "innere Haltung".

Was noch fehlt ist ein "Umsetzungsprozess". Hier kommt der Deming-Kreis ins Spiel. Der Begriff Deming-Kreis ist nach William Edwards Deming benannt, einem amerikanischen Physiker, dessen Wirken massgeblich den heutigen Stellenwert des Qualitätsmanagements beeinflusst hat. Der Deming-Kreis beschreibt die vier Phasen eines zyklischen Problemlösungsprozesses. Die Phasen im Einzelnen sind: Planen-Tun-Überprüfen-Umsetzen (Plan-Do-Act-Check oder eben kurz PDCA).

Quality Improvement
Von Johannes Vietze - Eigenes Werk, CC BY-SA 3.0, 

 

 

 

 

 

 

 

 

 

 

 

Vom Fragebogen zum Datenerhebungsgenerator

Wer im Bildungskontext aber Performance messen möchte oder Verbesserungspotentiale detektieren, benötigt aussagekräftige Erhebungsmethoden. In der Regel werden im Qualitätsmanagement gerne unabhängige Experten beauftragt, um mit einer Vielzahl an Methoden und Werkzeugen den Stand der Qualität von Organisation und Prozessen zu messen (Beobachtung, Interview, Experiment, Fallstudie, Statistische Methoden, Wirkungsanalyse, Fragebogen, und so weiter). Unser Ansatz weicht an dieser Stelle vom Standard ab und möchte den KVP (kontinuierlicher Verbesserungsprozess) von innen heraus steuern und dokumentieren. Dazu haben wir im Learningmanagement OpenOLAT folgende Infrastrukturen aufgebaut und weiterentwickelt:


  • Neuer Fragebogen mit Wertesystem und Likertskalen
  • Datenerhebungszentrale mit Kontexteinbindung und Steuerung des Befragungsgegenstandes
  • Datenerhebungsgenerator, der für bestimmte Fragebogen die Taktung der einzelnen vollautomatisierten Datenerhebungen vorgibt
  • Analyse: Heatmap und Detailreports mit Filtern und "Saved Searches" für vordefinierte oder kundenspezifische Abfragen

Natürlich haben die Entwickler noch jede Menge Logik in die Infrastruktur eingebracht, sodass im Generator pro Befragungsgegenstand auch ein gewünschter Auslösezeitpunkt für die Datenerhebung festgelegt werden kann (z.B. nach der 15. Lektion, immer freitags um 12:00 Uhr, am Anfang des Kurses oder des Lehrgangs). Teilnehmer nehmen im Rahmen einer Veranstaltung an einer Befragung teil, neu kann man mittels "positive list" auch bestimmte Zielgruppen für eine Umfrage mobilisieren.

Ein Versandmechanismus lädt die Teilnehmer zur Befragung ein und/oder informiert Management, Vorgesetzte oder Teilnehmer über die Zwischenresultate einer Datenerhebung.

Datenerhebung

 

 

 

 

 

 

 

 

 

 

 

Akteurfokussierte Sichtweise versus Gegenstände

Stellt man die Elemente von Lernarrangements, die Akteure, in den Fokus der Betrachtung, ergibt sich eine andere Sicht auf bestehende Ansätze. Bei dieser Sicht stehen nicht die Gegenstände und Verfahren im Vordergrund, sondern die beteiligten Akteure, in unserem Fall beispielsweise Unterrichtende einer Schule mit einem breiten Weiterbildungsangebot.

Für die Auswertung sind Kontextinformationen zum Beispiel einer Studienklasse eminent wichtig, um eruieren zu können, in welchem Ausbildungsgang an welchem Standort in welchen Fächern zum Beispiel Verbesserungsbedarf besteht. Diese Kontextinformationen werden dem Fragebogen mitgegeben und stehen dann als Filterkriterien in der Analyse - Heatmap - zur Verfügung.

Befragungsgegenstand, Teilnehmer und der Kontext innerhalb dessen die Befragung durchgeführt wird, bilden die Basis für eine breitabgestützte Erhebung. Dass der Fragequalität innerhalb des Standardfragebogens dabei eine gewichtige Rolle zufällt, versteht sich von selbst.

Der Datenerhebungsgenerator in OpenOLAT kann auch für Erst- und Folgebefragungen zum selben Befragungsgegenstand konfiguriert werden, sodass man beispielsweise übers Semester verteilt mehrere Messpunkte hat. Wurden zwischen den einzelnen Messpunkten/Datenerhebungen auch Verbesserungsmassnahmen eingeleitet oder umgesetzt, kann mittels einer Nachbefragung geprüft werden, ob diese Massnahmen bereits greifen.

 

Analyse

Im Bereich Analyse laufen quasi alle gesammelten Informationen aus den Datenerhebungen mit Kontextinformationen der Teilnehmenden eines Fragebogens zusammen.

Mit der gewählten Skala im Fragebogen geht eine Punktemessung auf Frageebene einher. Ein einzelner Wert der Werteskala liegt gleichzeitig in einer gewissen Spanne (ungenügend, neutral oder gut). Sowohl bei Zwischenreports wie auch bei der Analyse, also der Sammlung aller Zwischenreports von abgeschlossenen Befragungen werden diese Spannen farblich unterschieden:

  • grün = gut
  • orange = neutral
  • rot = ungenügend

Die Grösse der Punkte macht ausserdem deutlich, wie breit abgestützt eine Aussage ist (mehr Antworten = grosser Bullet).

Mit der Gruppierung und den Filtern kann nun gezielt nach Verbesserungsfeldern gesucht werden aber auch Standort- oder Abteilungsvergleiche sind möglich.

Mit der Analyse kann ein Vorgesetzter auch als Vorbereitung für eine Mitarbeiterbeurteilung die Feedback-Informationen zu einem Lehrenden sichten und gezielt Verbesserungsvorschläge einbringen.

Mit dem Modul "Qualitätsmanagement" von OpenOLAT kann ein Unternehmen oder eine Schule über das ganze Bildungsangebot hinweg Datenerhebungen auslösen und auswerten. Mit der Implementierung des Datenerhebungsgenerators ist OpenOLAT in der Lage, die Bildungsqualität dort zu messen, wo Lernen vermittelt wird, nämlich im Learning Management System. Keine externen Werkzeuge sind mehr nötig, denn Qualitätsmanagement ist quasi mit an Bord. 

 

Qualitätsmanagement