How authenticity impacts validity: Developing a model of teacher education assessment and exploring the effects of the digitisation of assessment methods Über Validität und Authentizität: Effekte des Transfers von Testinstrumenten in ein digitales Format auf die erhobenen Aspekte der professionellen Handlungskompetenz - Kulgemeyer, Christoph; Riese, Josef; Vogelsang, Christoph; Buschhüter, David; Borowski, Andreas; Weißbach, Anna; Jordans, Melanie; Reinhold, Peter; Schecker, Horst (Zeitschrift für Erziehungswissenschaft)
Abstract Based on a literature review of studies on teachers’ professional competence and related assessment tools, this paper introduces a model of teacher education assessment. It is influenced by Miller’s (1990) framework of assessment in medical education and includes, among other aspects, performance assessments. This model is used to understand the potential effects of transferring assessment tools into a digital format with assessment feedback. Five examples for such a transfer will be discussed: three methods for various aspects of communication, a test for pedagogical content knowledge, and a test for content knowledge. All five are established instruments well-described in terms of validity. All five have recently been transferred into a digital format. The analysis of this transfer also reveals a potentially harmful effect of digital assessment. The closer an assessment instrument is to assessing action-related parts of professional competence, the more authenticity is required; however, digitisation tends to decrease this authenticity. This suggests that an increasing number of digital assessment tools in teacher education might result in an even more dominant focus on knowledge tests, ignoring other parts of professional competence. This article highlights the role of authenticity in validity and discusses the most suitable assessment format to address various parts of professional competence. It ends by highlighting the lessons learned from the transfer of assessment instruments into a digital format that other academic disciplines might find interesting.
Keywords: Education

Entwicklung von Unterrichtsplanungsfähigkeit im Fach Physik: Welchen Einfluss hat Professionswissen? - Riese, Josef; Vogelsang, Christoph; Schröder, Jan; Borowski, Andreas; Kulgemeyer, Christoph; Reinhold, Peter; Schecker, Horst (Zeitschrift für Erziehungswissenschaft)
Zusammenfassung Im Lehramtsstudium sollen Studierende grundlegende Fähigkeiten zur theoriegeleiteten Unterrichtsplanung erwerben. In Übereinstimmung mit Modellen zur professionellen Handlungskompetenz von Lehrkräften wird hierbei meist angenommen, dass das im Studienverlauf erworbene Professionswissen eine wesentliche Grundlage für den Aufbau von Fähigkeiten zur Unterrichtsplanung bildet. Lerngelegenheiten zur Anwendung dieses Professionswissens bieten vor allem schulpraktische Phasen im fortgeschrittenen Studienverlauf. Es wird aber ebenso angenommen, dass gerade Erfahrungen mit der Unterrichtsplanung den Aufbau von Professionswissen unterstützen. Der Zusammenhang zwischen dem Ausmaß des Professionswissens und der Entwicklung von Planungsfähigkeit ist bisher unzureichend empirisch geklärt. Eine besondere methodische Herausforderung besteht darin, Planungsfähigkeiten sowohl möglichst authentisch als auch auf standardisierte Weise zu erfassen. Zur Untersuchung des genannten Zusammenhangs wurde eine längsschnittliche Studie im Prä-Post-Design bei angehenden Physiklehrkräften ( N = 68 im Längsschnitt) an vier Universitäten durchgeführt. Die Unterrichtsplanungsfähigkeit wurde mit Hilfe eines standardisierten Performanztests vor und nach dem Absolvieren eines Praxissemesters erfasst, indem als Standardsituation der Entwurf einer Unterrichtsstunde zum 3. Newton’schen Axiom unter definierten Zeitvorgaben im Praxissemester simuliert wurde. Zusätzlich wurden das fachliche, fachdidaktische und pädagogische Wissen der Studierenden mit Hilfe standardisierter Instrumente zu beiden Zeitpunkten erhoben, sowie die einschlägigen Lerngelegenheiten im Praxissemester über einen Fragebogen erfasst. Sowohl für Unterrichtsplanungsfähigkeit als auch für alle Wissensvariablen können Zuwächse im Praxissemester beobachtet werden. Cross-Lagged-Panel-Analysen zeigen, dass insbesondere die Ausprägung des fachdidaktischen und pädagogischen Wissens der Studierenden am Beginn des Praxissemesters die Entwicklung von Unterrichtsplanungsfähigkeit begünstigt.
Keywords: Education

Nutzungsverhalten von Lehrkräften bei der Implementierung einer physikdidaktisch innovativen Unterrichtskonzeption - Breuer, Judith; Vogelsang, Christoph; Reinhold, Peter (Zeitschrift für Didaktik der Naturwissenschaften)
Zusammenfassung Eine zentrale Aufgabe fachdidaktischer Forschung stellt die Verbesserung schulischen Unterrichts dar. Die freie Bereitstellung wirksamer Unterrichtskonzeptionen zur Unterstützung des Selbststudiums von Lehrkräften bildet eine Strategie für eine flächendeckende Implementierung fachdidaktischer Innovationen. Allerdings etablieren sich zahlreiche, empirisch erfolgreich evaluierte Unterrichtskonzeptionen nicht nachhaltig an Schulen. Daher untersucht das vorliegende Forschungsvorhaben den Implementationsprozess solcher Materialien unter authentischen Bedingungen. Dazu wurde kriteriengeleitet eine evidenzbasierte, fachdidaktisch innovative Unterrichtskonzeption ausgewählt: das Münchener Unterrichtskonzept zur Quantenmechanik (MILQ). Diese wurde den teilnehmenden Lehrkräften fakultativ zur Verfügung gestellt. Mittels Fallstudien wurde die Implementierung von MILQ von elf Lehrkräften durch halbstandardisierte Interviews zu Beginn und am Ende einer Unterrichtsreihe zur Quantenmechanik sowie zwei Unterrichtsbeobachtungen mit je einem anschließenden stimulated recall explorativ erfasst. Die Probanden setzten sich überwiegend heuristisch mit MILQ auseinander und implementierten vor allem Elemente auf Sichtstrukturebene im Unterricht, die konform zu ihren bisherigen Vorstellungen waren. Dadurch wurde das fachdidaktische Innovationspotential nicht ausgeschöpft. Bezeichnend ist, dass der empirische Wirksamkeitsnachweis von MILQ für die Beurteilung der Lehrkräfte nicht relevant war, was aus theoretischer Sicht bislang als ein zentrales Argument der Bereitstellungsstrategie zur Implementierung fachdidaktischer Innovation angenommen wurde.
Keywords: General Medicine

Entwicklung von Unterrichtsplanungsfähigkeit im Fach Physik: Welchen Einfluss hat Professionswissen? - Riese, Josef; Vogelsang, Christoph; Schröder, Jan; Borowski, Andreas; Kulgemeyer, Christoph; Reinhold, Peter; Schecker, Horst (Zeitschrift für Erziehungswissenschaft)
Zusammenfassung Im Lehramtsstudium sollen Studierende grundlegende Fähigkeiten zur theoriegeleiteten Unterrichtsplanung erwerben. In Übereinstimmung mit Modellen zur professionellen Handlungskompetenz von Lehrkräften wird hierbei meist angenommen, dass das im Studienverlauf erworbene Professionswissen eine wesentliche Grundlage für den Aufbau von Fähigkeiten zur Unterrichtsplanung bildet. Lerngelegenheiten zur Anwendung dieses Professionswissens bieten vor allem schulpraktische Phasen im fortgeschrittenen Studienverlauf. Es wird aber ebenso angenommen, dass gerade Erfahrungen mit der Unterrichtsplanung den Aufbau von Professionswissen unterstützen. Der Zusammenhang zwischen dem Ausmaß des Professionswissens und der Entwicklung von Planungsfähigkeit ist bisher unzureichend empirisch geklärt. Eine besondere methodische Herausforderung besteht darin, Planungsfähigkeiten sowohl möglichst authentisch als auch auf standardisierte Weise zu erfassen. Zur Untersuchung des genannten Zusammenhangs wurde eine längsschnittliche Studie im Prä-Post-Design bei angehenden Physiklehrkräften ( N = 68 im Längsschnitt) an vier Universitäten durchgeführt. Die Unterrichtsplanungsfähigkeit wurde mit Hilfe eines standardisierten Performanztests vor und nach dem Absolvieren eines Praxissemesters erfasst, indem als Standardsituation der Entwurf einer Unterrichtsstunde zum 3. Newton’schen Axiom unter definierten Zeitvorgaben im Praxissemester simuliert wurde. Zusätzlich wurden das fachliche, fachdidaktische und pädagogische Wissen der Studierenden mit Hilfe standardisierter Instrumente zu beiden Zeitpunkten erhoben, sowie die einschlägigen Lerngelegenheiten im Praxissemester über einen Fragebogen erfasst. Sowohl für Unterrichtsplanungsfähigkeit als auch für alle Wissensvariablen können Zuwächse im Praxissemester beobachtet werden. Cross-Lagged-Panel-Analysen zeigen, dass insbesondere die Ausprägung des fachdidaktischen und pädagogischen Wissens der Studierenden am Beginn des Praxissemesters die Entwicklung von Unterrichtsplanungsfähigkeit begünstigt.
Keywords: Education

Exploring the impact of pre-service science teachers’ reflection skills on the development of professional knowledge during a field experience - Kulgemeyer, Christoph; Kempin, Maren; Weißbach, Anna; Borowski, Andreas; Buschhüter, David; Enkrott, Patrick; Reinhold, Peter; Riese, Josef; Schecker, Horst; Schröder, Jan; Vogelsang, Christoph (International Journal of Science Education)
Keywords: Education