Andreas Frey

Image of Andreas Frey
Norwegian version of this page
Phone +493641945348
Username
Visiting address Gaustadalléen 30D None 0373 OSLO
Postal address Postboks 1161 Blindern 0318 OSLO

Academic interests

  • Methods of Large-Scale Assessments
  • Computerized Adaptive Testing
  • Complex MIRT-Modeling
  • Item Position Effects
  • Validity

Background

  • 2016-present: Full Professor (W3) for Educational Research Methods, Friedrich Schiller University Jena, Germany
  • 04-05.2015: Visiting Researcher/Consultant, Educational Testing Service, Princeton, USA
  • 2011-2015: Associate Professor (W2) for Educational Research Methods, Friedrich Schiller University Jena, Germany
  • 2010-2011: Professor for Educational Measurement (stand-in), German Institute for International Educational Research (DIPF), Frankfurt, Germany
  • 2009-2010: Senior Researcher, Leibniz Institute for Science and Mathematics Education (IPN), Kiel, Germany
  • 2006-2009: Scientific Coordinator of PISA 2006 in Germany, Leibniz Institute for Science and Mathematics Education (IPN), Kiel, Germany
  • 2005: PhD in Psychology, Dr. phil. nat., J. W. Goethe-University Frankfurt am Main, Germany (summa cum laude)
  • 1999-2005: Research Assistant at University of Mannheim (Germany), Humboldt-University Berlin (Germany), and University of Bremen (Germany)
  • 1999: Diplom in Psychology (≈M.Sc. Psychology) , J. W. Goethe-University Frankfurt, Germany (very good)

Current Positions

  • Main position: University Professor (Full) for Educational Research Methods, Friedrich Schiller University Jena, Germany
  • Part time (20%): Professor II, CEMO...

Awards

  • 2006: Dissertation award (first place) of J. W. Goethe-University Frankfurt am Main, Germany for the PhD-thesis “Validitätssteigerungen durch adaptives Testen” (Validity increases by adaptive testing) (€ 4.000)
  • 2002: Award of the Faculty of Mathematics and Natural Sciences II for innovative teaching awarded for the web-based course “Psychologische Methodenlehre I & II” (Psychological Methods I & II) at the Humboldt-University Berlin, Germany (€ 500)

Service (selected)

  • Scientific advisory board member of the Bundesinstitut für Bildungsforschung, Innovation & Entwicklung des österreichischen Schulwesens (BIFIE), Austria
  • Editorial board member of Journal of Educational Measurement (JEM), Psychological Test and Assessment Modeling (PTAM), and Journal of Computerized Adaptive Testing (JCAT)
  • Ad-hoc Reviewer for >30 scientific journals including Psychometrica, Applied Psychological Measurement, Behavior Research Methods, Educational and Psychological Measurement, European Journal of Psychological Assessment, Journal of Educational and Behavioral Statistics, Journal of Educational Measurement, and Journal of Educational Psychology
  • Reviewer for funding organizations including German Research Foundation (DFG), German Federal Ministry of Education and Research (BMBF), Swiss National Science Foundation (SNF)

Software

Frey, A., & Annageldyev, M. (2015). Youden. A program for the construction of booklet designs (Version 1.0) [Computer software]. Jena: Friedrich Schiller University, Germany.

Tags: Psychometrics, PISA, Item Response Theory, Computerized adaptive testing

Publications

Journal Articles

Engelhardt, L., Goldhammer, F., Naumann, J., & Frey, A. (in press). Experimental validation strategies for heterogeneous item sets. Computers in Human Behavior.

Frey, A., Bernhardt, R., & Born, S. (2016). Umgang mit Itempositionseffekten bei der Entwicklung computerisierter adaptiver Tests (Handling of item positions effects in the development of computerized adaptive tests). Diagnostica. Advance online publication. doi:10.1026/0012-1924/a000173.

Born, S., & Frey, A. (2017). Heuristic constraint management methods in multidimensional adaptive testing. Educational and Psychological Measurement, 77, 241–262. DOI: 10.1177/0013164416643744.

Frey, A., Seitz, N. N., & Brandt, S. (2016). Testlet-based multidimensional adaptive testing. Frontiers in Psychology, 7, 1‑14. http://dx.doi.org/10.3389/fpsyg.2016.01758

Mikolajetz, A., & Frey, A. (2016). Differentiated assessment of mathematical competence with multidimensional adaptive testing. Psychological Test and Assessment Modeling, 58, 617‑639.

Frey, A., & Moshagen, M. (2015). TBS-TK Rezension: „Intelligenz-Struktur-Batterie (INSBAT)“. Psychologische Rundschau, 66, 86–88.

Hecht, M., Weirich, S., Siegle, T., & Frey, A. (2015a). Effects of design properties on parameter estimation in large-scale assessments. Educational and Psychological Measurement, 75, 1021‑1044.

Hecht, M., Weirich, S., Siegle, T., & Frey, A. (2015b). Modeling booklet effects for nonequivalent group designs in large-scale assessment. Educational and Psychological Measurement, 75, 568‑584.

Spoden, C., Frey, A., Bernhardt, R., Seeber, S., Balkenhol, A., & Ziegler, B. (2015). Differenzielle Domänen- und Itemeffekte zwischen Ausbildungsberufen bei der Erfassung allgemeiner schulischer Kompetenzen von Berufsschülerinnen und Berufsschülern. Zeitschrift für Berufs- und Wirtschaftspädagogik, 111, 168‑188.

Taskinen, P. H., Steimel, J., Gräfe, L., Engell, S., & Frey, A. (2015). A competency model for process dynamics and control and its use for test construction at university level. Peabody Journal of Education, 90, 477–490.

Frey, A., & Moshagen, M. (2014). TBS-TK Rezension: Intelligenz-Struktur-Batterie (INSBAT). Report Psychologie, 10, 407-408.

Asseburg, R., & Frey, A. (2013). Too hard, too easy, or just right? The relationship between effort or boredom and ability-difficulty fit. Psychological Test and Assessment Modeling, 55, 92-104.

Frey, A., & Hartig, J. (2013). Wann sollten computerbasierte Verfahren zur Messung von Kompetenzen Anstelle von Papier- und Bleistift-basierten Verfahren eingesetzt werden? Zeitschrift für Erziehungswissenschaft, 16, 53-57.

Hartig, J., & Frey, A. (2013). Sind Modelle der Item-Response-Theorie (IRT) das „Mittel der Wahl“ für die Modellierung von Kompetenzen? Zeitschrift für Erziehungswissenschaft, 16, 47-51.

Kröhne, U., & Frey, A. (2013a). Current issues in educational and psychological measurement: Design, calibration, and adaptive testing [Special Issue]. Psychological Test and Assessment Modeling, 55.

Kröhne, U., & Frey, A. (2013b). Special topic: Current issues in educational and psychological measurement: Design, calibration, and adaptive testing (Part 2). Guest Editorial. Psychological Test and Assessment Modeling, 55, 79-80.

Mildner, D., Hochweber, J., & Frey, A. (2013). Vergleichende Analysen der Kompetenzen von Fünfzehnjährigen und Neuntklässlern in den deutschen PISA-Erhebungen 2003 bis 2009. Zeitschrift für Pädagogik, Beiheft 59, 151‑171.

Seitz, N. N., & Frey, A. (2013). The sequential probability ratio test for multidimensional adaptive testing with between-item multidimensionality. Psychological Test and Assessment Modeling, 55, 105-123.

Frey, A., & Bernhardt, R. (2012). On the importance of using balanced booklet designs in PISA. Psychological Test and Assessment Modeling, 54, 397-417.

Frey, A., & Kröhne, U. (2012a). Current issues in educational and psychological measurement: design, calibration, and adaptive testing [Special Issue]. Psychological Test and Assessment Modeling, 54.

Frey, A., & Kröhne, U. (2012b). Special topic: Current issues in educational and psychological measurement: design, calibration, and adaptive testing (Part 1). Guest Editorial. Psychological Test and Assessment Modeling, 54, 363-365.

Hartig, J., & Frey, A. (2012a). Konstruktvalidierung und Skalenbeschreibung in der Kompetenz­diagnostik durch die Vorhersage von Aufgabenschwierigkeiten. Psychologische Rundschau, 63, 43–49.

Hartig, J., & Frey, A. (2012b). Validität des Tests zur Überprüfung des Erreichens der Bildungs­standards in Mathematik: Zusammenhänge mit den bei PISA gemessenen Kompetenzen und Varianz zwischen Schulen und Schulformen. Diagnostica, 58, 3-14.

Hartig, J., Frey, A., Nold, G., & Klieme, E. (2012). An application of explanatory item response modeling for model-based proficiency scaling. Educational and Psychological Measurement, 72, 665-686.

Frey, A., & Seitz, N. N. (2011). Hypothetical use of multidimensional adaptive testing for the assessment of student achievement in PISA. Educational and Psychological Measurement, 71, 503-522.

Frey, A., & Seitz, N. N. (2010). Multidimensionale adaptive Kompetenzdiagnostik: Ergebnisse zur Messeffizienz. Zeitschrift für Pädagogik, Beiheft 56, 40-51.

Frey, A., & Hartig, J. (Eds.) (2009a). Assessment of competencies [Special Issue]. Studies in Educational Evaluation, 35 (2-3).

Frey, A., & Hartig, J. (2009b). Editorial: Assessment of competencies. Studies in Educational Evaluation, 35, 55-56.

Frey, A., & Seitz, N. N. (2009). Multidimensional adaptive testing in educational and psychological measurement: Current state and future challenges. Studies in Educational Evaluation, 35, 89-94.

Frey, A., & Carstensen, C. H. (2009). Diagnostic classification models and multidimensional adaptive testing: A commentary on Rupp and Templin. Measurement: Interdisciplinary Research and Perspectives, 7, 58-61.

Frey, A., Hartig, J., & Moosbrugger, H. (2009). Effekte des adaptiven Testens auf die Motivation zur Testbearbeitung. Diagnostica, 55, 20-28.

Frey, A., Hartig, J., & Rupp, A. (2009). Booklet designs in large-scale assessments of student achievement: Theory and practice. Educational Measurement: Issues and Practice, 28, 39-53.

Frey, A., & Herzberg, P. Y. (2009). Publishing in psychology: a description of the current situation in Germany. Psychology Science Quarterly, 51, 160-166.

Frey, A., & Ehmke, T. (2007). Hypothetischer Einsatz adaptiven Testens bei der Überprüfung von Bildungsstandards. Zeitschrift für Erziehungswissenschaft, Sonderheft 8, 169-184.

Frey, A., Hartig, J., Ketzel, A., Zinkernagel, A., & Moosbrugger, H. (2007). The use of virtual environments based on a modification of the computer game Quake III Arena® in psychological experimenting. Computers in Human Behavior, 23, 2026-2039.

Herzberg, P. Y., & Frey, A. (2007). Testinformation: Amsterdamer Kurzzeitgedächtnistest (AKGT) von B. Schmand, & J. Lindeboom in Zusammenarbeit mit T. Merten und S. R. Millis (2005). Diagnostica, 53, 226-228.

Klimmt, C., Hartmann, T., & Frey, A. (2007). The enjoyment of interactivity: effectance versus control. CyberPsychology and Behavior, 10, 845-847.

Prenzel, M., Walter, O., & Frey, A. (2007). PISA misst Kompetenzen. Eine Replik auf Rindermann (2006): Was messen internationale Schulleistungsstudien? Psycholo­gische Rundschau, 58, 128-136.

Frey, A., Blunk, H. A., & Banse, R. (2006). Psi-Land: Paarinteraktionsforschung in einer virtuellen Umgebung. Zeitschrift für Sozialpsychologie, 37, 151-159.

Frey, A., & Moosbrugger, H. (2004). Kann die Konfundierung von Konzentrationsleistung und Aktivierung durch adaptives Testen mit dem Frankfurter Adaptiven Konzentrationsleistungs-Test FAKT vermieden werden? Zeitschrift für Differentielle und Diagnostische Psychologie, 25, 1-17.

Hartig, J., Frey, A., & Ketzel, A. (2003). Modifikation des Computerspiels Quake III Arena zur Durchführung psychologischer Experimente in einer virtuellen 3D-Umgebung. Zeit­schrift für Medienpsychologie, 15, 149-154.

Books

Frey, A., Taskinen, P., Schütte, K., Prenzel, M., Artelt, C., Baumert, J., Blum, W., Hammann, M., Klieme, E., & Pekrun, R. (Hrsg.) (2009). PISA 2006 Skalenhandbuch. Dokumentation der Erhebungsinstrumente. Münster: Waxmann.

Frey, A. (2006). Validitätssteigerungen durch adaptives Testen. Frankfurt (Main): Peter Lang Verlag [Dissertation].

Book Chapters

Frey, A. (in press). Computerisiertes adaptives Testen (Computerized adaptive testing). In H. Moosbrugger & A. Kelava (Ed.), Testtheorie und Fragebogenkonstruktion (3. Ed.). Berlin, Heidelberg: Springer.

Frey, A., & Hartig, J. (in press). Kompetenzdiagnostik (Assessment of competences). In M. Gläser-Zikuda, M. Harring, M., & C. Rohlfs (Eds.), Handbuch Schulpädagogik. Münster: Waxmann.

Hartig, J., Frey, A., & Jude, N. (in press). Validität von Testwertinterpretationen (Validity of test score interpretations). In H. Moosbrugger & A. Kelava (Eds.), Testtheorie und Fragebogenkonstruktion (3. Ed.).

Frey, A., Kröhne, U., Seitz, N. N., & Born, S. (2017). Multidimensional adaptive measurement of competences. In D. Leutner, J. Fleischer, J. Grünkorn, & E. Klieme (Eds.), Competence Assessment in Education. Research, Models, and Instruments (pp. 369‑387)Cham: Springer.

Frey, A., & Spoden, C. (2016). Zu den Perspektiven zukünftiger Studien im Bereich der Unterrichtsforschung. In N. McElvany, W. Bos, H. G. Holtappels, M. Gebauer, & F. Schwabe. (Eds.), Bedingungen und Effekte guten Unterrichts (pp. 177‑182). Münster: Waxmann.

Nagy, G., Nagengast, B., Frey, A., Becker, M., & Rose, N. (2016). Itempositionseffekte in Large-Scale-Assessments. In Bundesministerium für Bildung und Forschung (BMBF) Referat Bildungsforschung (Ed.), Forschungsvorhaben in Ankopplung an Large-Scale Assessments (pp. 121‑139). Niestetal: Silber Druck.

Wenzel, S. F. C., Engelhardt, L., Hartig, K., Kuchta, K., Frey, A., Goldhammer, F., Naumann, J., & Horz, H. (2016). Computergestützte, adaptive und verhaltensnahe Erfassung Informations- und Kommunikationstechnologie-bezogener Fertigkeiten (ICT-Skills). In Bundesministerium für Bildung und Forschung (BMBF) Referat Bildungsforschung (Ed.), Forschungsvorhaben in Ankopplung an Large-Scale Assessments (pp. 161‑180). Niestetal: Silber Druck.

Ziegler, B., Frey. A., Seeber, S., Balkenhol, A., & Bernhardt, R. (2016). Adaptive Messung allgemeiner Kompetenzen (MaK-adapt). In K. Beck, M. Landenberger & F. Oser (Ed.), Technologiebasierte Kompetenzmessung in der beruflichen Bildung. Ergebnisse aus der BMBF-Förderinitiative ASCOT (pp. 33-54). Bielefeld: wbv.

Frey, A., Seitz, N. N., & Kröhne, U. (2013). Reporting differentiated literacy results in PISA by using multidimensional adaptive testing. In M. Prenzel, M. Kobarg, K. Schöps, & S. Rönnebeck (Eds.), Research on PISA (pp. 103-120). Dodrecht: Springer.

Frey, A. (2012). Adaptives Testen. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (2. Ed., pp. 275-293). Berlin, Heidelberg: Springer.

Hartig, J., Frey, A., & Jude, N. (2012). Validität. In H. Moosbrugger & A. Kelava (Hrsg.), Testtheorie und Fragebogenkonstruktion (2. Ed., pp. 143-171). Berlin, Heidelberg: Springer.

Herzberg, P. Y., & Frey, A. (2011). Kriteriumsorientierte Diagnostik. In: L. F. Hornke, M. Amelang & M. Kersting (Eds.), Methoden der psychologischen Diagnostik. Enzyklopädie der Psychologie, B/II/2 (pp. 281‑324). Göttingen: Hogrefe.

Frey, A., Heinze, A., Mildner, D., Hochweber, J., & Asseburg, R. (2010). Mathematische Kompetenz von PISA 2003 bis PISA 2009. In E. Klieme, C. Artelt, J. Hartig, N. Jude, O. Köller, M. Prenzel, W. Schneider, & P. Stanat (Eds.), PISA 2009: Bilanz nach einem Jahrzehnt (pp. 153-176). Münster: Waxmann.

Frey, A., Asseburg, R., Ehmke, T., & Blum, W. (2008). Mathematische Kompetenz im Ländervergleich. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann, E. Klieme & R. Pekrun (Eds.), PISA 2006 in Deutschland: Die Kompetenzen der Jugendlichen im drit­ten Ländervergleich (pp. 127-147). Münster: Waxmann.

Frey, A., Carstensen, C. H., Walter, O., Rönnebeck, S., & Gomolka, J. (2008). Methodische Grundlagen des Ländervergleichs. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann, E. Klieme, & R. Pekrun (Eds.), PISA 2006 in Deutschland: Die Kompetenzen der Jugendlichen im dritten Ländervergleich (pp. 375-397). Münster: Waxmann.

Carstensen, C. H., Frey, A., Walter, O., & Knoll, S. (2007). Technische Grundlagen des dritten internationalen Vergleichs. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann, E. Klieme, & R. Pekrun (Eds.), PISA 2006. Die Ergebnisse der dritten inter­nationalen Vergleichsstudie (pp. 367-390). Münster: Waxmann.

Frey, A. (2007a). Adaptives Testen. In H. Moosbrugger & A. Kelava (Eds.), Testtheorie und Fragebogenkonstruktion (pp. 261-278). Berlin, Heidelberg: Springer.

Frey, A. (2007b). Ein Test zur Messung der Bildungsstandards in Mathematik: Eine Einführung. In M. Prenzel & W. Blum (Eds.), Entwicklung eines Testverfahrens zur Überprüfung der Bildungsstandards in Mathematik für den Mittleren Schulabschluss: Technischer Bericht (pp. 7-8). Kiel: IPN.

Frey, A. (2007c). Durchführung und Ergebnisse der Nachpilotierung. In M. Prenzel & W. Blum (Eds.), Entwicklung eines Testverfahrens zur Überprüfung der Bildungsstandards in Mathematik für den Mittleren Schulabschluss: Technischer Bericht (pp. 24-29). Kiel: IPN.

Frey, A., & Asseburg, R. (2007). Kodierung offener und halboffener Aufgaben. In M. Prenzel & W. Blum (Eds.), Entwicklung eines Testverfahrens zur Überprüfung der Bildungsstandards in Mathematik für den Mittleren Schulabschluss: Technischer Bericht (pp. 30-36). Kiel: IPN.

Frey, A., Asseburg, R., Carstensen, C. H., Ehmke, T., & Blum, W. (2007). Mathematische Kompetenz. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann, E. Klieme, & R. Pekrun (Eds.), PISA 2006. Die Ergebnisse der dritten internationalen Vergleichsstudie (pp. 249-276). Münster: Waxmann.

Hartig, J., Frey, A., & Jude, N. (2007). Validität. In H. Moosbrugger & A. Kelava (Eds.), Testtheorie und Fragebogenkonstruktion (pp. 135-163). Berlin, Heidelberg: Springer.

Prenzel, M., Carstensen, C. H., Frey, A., Drechsel, B., & Rönnebeck, S. (2007). PISA 2006 ‑ eine Einführung in die Studie. In M. Prenzel, C. Artelt, J. Baumert, W. Blum, M. Hammann, E. Klieme, & R. Pekrun (Eds.), PISA 2006. Die Ergebnisse der dritten internationalen Vergleichsstudie (pp. 31-59). Münster: Waxmann.

Frey, A., & Klein, S. (2004). Vergleich der Teststärke von drei Verfahren zur Modellierung von Moderatoreffekten bei einer dichotomen Moderatorvariablen. In B. Krause & P. Metzler (Eds.), Empirische Evaluationsmethoden, Band 8 (pp. 23-37). Berlin: Zentrum für empirische Evaluationsmethoden e. V..

Frey, A., & Loßnitzer, T. (2003). Circumplexmodellierung emotionaler Selbstbeschreibungen. In B. Krause & P. Metzler (Eds.), Empirische Evaluationsmethoden, Band 7 (pp. 107-117). Berlin: Zentrum für empirische Evaluationsmethoden e. V..

Loßnitzer, T., & Frey, A. (2003). Modellierung intraindividueller Veränderungen mit Struktur­gleichungsmodellen. In B. Krause & P. Metzler (Eds.), Empirische Evaluationsmethoden, Band 7 (pp. 31-42). Berlin: Zentrum für empirische Evaluationsmethoden e. V..

Frey, A. (2002). Anwendungsperspektiven adaptiver Teststrategien bei Evaluationsstudien. In B. Krause & P. Metzler (Eds.), Empirische Evaluationsmethoden, Band 6 (pp. 109-122). Berlin: Zentrum für empirische Evaluationsmethoden e. V..

Published Oct. 21, 2016 2:34 PM - Last modified May 1, 2017 12:07 PM