Actualidades en Psicología

Editorial

Presentación

Analysis of a Writing Test with the MFRM Model

Resumen Este trabajo muestra la utilidad de un modelo de Rasch (Many-Facet Rasch Measurement, MFRM) para medir la competencia de los examinados, la severidad de los calificadores, la dificultad de las tareas y de las variables puntuadas en las pruebas de respuesta construida que se suelen emplear para evaluar el desempeño. Inicialmente se describe el modelo y sus estadísticos básicos. Finalmente se presenta un ejemplo ilustrativo en el que se analizan, mediante el programa FACETS, las fuentes de la variabilidad de las calificaciones de los estudiantes en un test de expresión escrita. Los resultados muestran que el procedimiento es útil para detectar a los calificadores que presentan valores extremos en la variable severidad/ benignidad y para obtener calificaciones objetivas de los examinados (libres de la severidad del calificador).

Abstract This paper describes how a Rasch model (Many-Facet Rasch Measurement) can be applied to performance assessment focusing on analysis of examinee, raters, tasks and variables. The article provides an introduction to MFRM, a description of analysis procedures, and an illustrative example to examine the effects of various sources of variability on students’ performance on a writing test by means of the FACETS program. Results highlight the usefulness of the MFRM to detect raters that have extreme values on the continuum of severity/leniency as well as providing objective measurement of examinee (scores free of rater severity).

Alternatives to Randomized Control Trials: A Review of Three Quasi-experimental Designs for Causal Inference

Abstract The Randomized Control Trial (RCT) design is typically seen as the gold standard in psychological research. As it is not always possible to conform to RCT specifications, many studies are conducted in the quasi-experimental framework. Although quasi-experimental designs are considered less preferable to RCTs, with guidance they can produce inferences which are just as valid. In this paper, the authors present 3 quasi-experimental designs which are viable alternatives to RCT designs. These designs are Regression Point Displacement (RPD), Regression Discontinuity (RD), and Propensity Score Matching (PSM). Additionally, the authors outline several notable methodological improvements to use with these designs.

Resumen. Los diseños de Pruebas Controladas Aleatorizadas (PCA) son típicamente vistas como el mejor diseño en la investigación en psicología. Como tal, no es siempre posible cumplir con las especificaciones de las PCA y por ello muchos estudios son realizados en un marco cuasi experimental. Aunque los diseños cuasi experimentales son considerados menos convenientes que los diseños PCA, con directrices estos pueden producir inferencias igualmente válidas. En este artículo presentamos tres diseños cuasi experimentales que son formas alternativas a los diseños PCA. Estos diseños son Regresión de Punto de Desplazamiento (RPD), Regresión Discontinua (RD), Pareamiento por Puntaje de Propensión (PPP). Adicionalmente, describimos varias mejorías metodológicas para usar con este tipo de diseños.

Do not Be Afraid of Missing Data: Modern Approaches to Handle Missing Information

Resumen La mayoría de los datos en ciencias sociales y educación presentan valores perdidos debido al abandono del estudio o la ausencia de respuesta. Los métodos para el manejo de datos perdidos han mejorado dramáticamente en los últimos años, y los programas computacionales ofrecen en la actualidad una variedad de opciones sofisticadas. A pesar de la amplia disponibilidad de métodos considerablemente justificados, muchos investigadores e investigadoras siguen confiando en técnicas viejas de imputación que pueden crear análisis sesgados. Este artículo presenta una introducción conceptual a los patrones de datos perdidos. Seguidamente, se introduce el manejo de datos perdidos y el análisis de los mismos con base en los mecanismos modernos del método de máxima verosimilitud con información completa (FIML, siglas en inglés) y la imputación múltiple (IM). Asimismo, se incluye una introducción a los diseños de datos perdidos así como nuevas herramientas computacionales tales como la función Quark y el paquete semTools. Se espera que este artículo incentive el uso de métodos modernos para el análisis de los datos perdidos.

Abstract Most of the social and educational data have missing observations due to either attrition or nonresponse. Missing data methodology has improved dramatically in recent years, and popular computer programs as well as software now offer a variety of sophisticated options. Despite the widespread availability of theoretically justified methods, many researchers still rely on old imputation techniques that can create biased analysis. This article provides conceptual introductions to the patterns of missing data. In line with that, this article introduces how to handle and analyze the missing information based on modern mechanisms of full-information maximum likelihood (FIML) and multiple imputation (MI). An introduction about planned missing designs is also included and new computational tools like Quark function, and semTools package are also mentioned. The authors hope that this paper encourages researchers to implement modern methods for analyzing missing data.

Latent Variable Models, Cognitive Modelling, and Working Memory: a Meeting Point

Resumen Los modelos de variables latentes y los modelos cognitivos formales comparten algunos aspectos de su objeto de estudio, varios aspectos filosóficos y parte de su metodología. A pesar de ello, existe poca comunicación entre sus teorías y hallazgos. Con el objetivo de resaltar similitudes y diferencias entre ambos enfoques en este estudio se implementó y evaluó un modelo formal que propone la interferencia entre representaciones como el mecanismo que limita la capacidad de memoria de trabajo (i.e., el modelo de interferencia de Oberauer & Kliegl, 2006). Además, se incorporó una manipulación experimental que tuvo como objetivo evaluar el papel de la inhibición en respuestas inminentes y el desplazamiento de la atención entre tareas en el contexto del modelo de interferencia. A partir de estos hallazgos se expusieron algunas conexiones que podrían facilitar el acercamiento entre los modelos cognitivos formales y los modelos psicométricos basados en la teoría de la variable latente.

Abstract Latent variable models and formal cognitive models share some elements of their object of study, various philosophical aspects, and some parts of their methodology. Nevertheless, little communication exists between their theories and findings. In order to highlight similarities and differences, this study implemented and tested a formal model proposing that interference among representations is a mechanism limiting working memory capacity (i.e., the interference model of Oberauer & Kliegl, 2006). Furthermore, the study incorporated an experimental manipulation to evaluate the role of the inhibition in prepotent responses and task switching in the interference model framework. These findings were used to expose some connections that could facilitate a rapprochement between formal cognitive models and psychometric models based on the latent variable theory.

Interpretation and Analysis of Educational and Psychological Tests with the Rule Space Method

Resumen. La integración de elementos cognitivos con enfoques psicométricos constituye un campo promisorio en el diseño de pruebas educativas y psicológicas, así como en la interpretación de los resultados que con ellas se obtienen. De igual modo, permiten disponer de evidencias de validez de constructo, puesto que los atributos que se proponen se contrastan con el marco teórico del dominio de conocimiento de interés. En este artículo se destacan los aportes del método rule space en las evaluaciones de diagnóstico cognitivo.

Abstract. The integration of cognitive elements with psychometric approaches is a promising field in the design of educational and psychological tests as well as in the interpretation of their results. Likewise, they provide evidences of construct validity since the proposed attributes are compared with the theoretical framework of the knowledge domain of interest. This article highlights the contributions of rule space method in cognitive diagnostic assessments.

The Item Response Theory Mixture Models

Resumen Se presentan los modelos de mezcla de la Teoría de respuesta al ítem y cómo estos pueden ser utilizados para identificar subagrupaciones no observadas de examinados denominadas como clases latentes. Asimismo se ejemplifica la utilidad del modelo de mezcla de la Teoría de respuesta al ítem de dos parámetros, mediante el cual se logra detectar la presencia de ítems en una escala de depresión que miden de manera distinta a los examinados en comparación con el resto de ítems que componen dicho instrumento. Finalmente, se presentan algunas recomendaciones generales en cuanto a la complementariedad que debe existir entre la teoría sustantiva que subyace al desarrollo de una escala y la aplicación de los modelos de mezcla de la Teoría de respuesta al ítem.

Abstract. The Item Response Theory mixture models and how these can be used to identify unobserved sub-groups of examinees, known as latent classes, are presented. The usefulness of the two-parameter mixture model parameters is exemplified by detecting the presence of items in a depression scale that measure the examinees differently in comparison with the rest of items. Finally, some general recommendations regarding the complementarity that should exist between the substantive theory underlying the development of a scale and the use of these models are given.

Rasch Models: How (In-)Coherently are they Showed and Used?

Resumen El modelo Rasch es ampliamente usado para el análisis de datos educacionales. En la práctica, se reportan los estimadores de la dificultad de los ítems y los estimadores de las habilidades de los individuos. Sin embargo, nunca se explicita qué significado tiene el término “dificultad” y cuál el término “habilidad”. Los significados de estos términos no dependen de las estimaciones; al contrario, estas últimas han de interpretarse en función del significado de los primeros. En este trabajo se muestra que el significado de las nociones de “dificultad” y “habilidad” dependen de la forma en que el modelo Rasch se específica. En la literatura psicométrica hay dos maneras de especificar dicho modelo: una que sólo se limita a modelar los observables; la otra, que además de los observables, modela no-observables. La primera forma de especificación se debe al mismo Rasch, mientras que la segunda fue desarrollada por Lord.

Abstract Rasch models are widely used for the analysis of educational data. In practice, estimates of difficulties of items and abilities of examinees are reported. However, the meaning of the terms “difficulty” and “abilities” are never made explicit. The meaning of these terms does not depend on the estimations; they should be interpreted with respect to the eventual meaning of both item difficulties and individual abilities. This paper shows that the meaning of the terms “difficulty” and “ability” depends on the way in which the Rasch model is specified. In the psychometric literature, Rasch models are specified in two different ways: one specifies the observable only, whereas the other one specifies both observable and unobservable. The first specification is due to Rasch himself, the second one is due to Lord.

Bifactorial Structure of Locus of Control Cross-culturally Invariant across Spain, Chile and United Kingdom

Abstract Locus of control (LOC) is a variable often studied owing to the important role that it plays in different contexts. Nonetheless, there is no unanimous agreement about how many dimensions make up the factorial structure of the locus of control. The goal of this research was to add new evidence of cross-cultural validity in relation to the bifactorial invariance of the LOC. The test was given to a total of 1781 participants from Spain (697), Chile (890) and The United Kingdom (194). The study of the factorial invariance between the groups was carried out using multigroup confirmatory factor analysis models for ordered-categorical data. The progressive evaluation of factorial invariance confirms that factor loadings, thresholds and error variances are invariant across groups. Relevant cross-cultural differences in LOC between Spain, Chile, and United Kingdom were not found (PS < .50).

Resumen. El locus de control (LOC) es una variable frecuentemente evaluada debido a que juega un importante papel en diferentes contextos. Sin embargo, no existe un acuerdo unánime sobre cuántas dimensiones componen la estructura factorial del locus de control. El objetivo de esta investigación fue añadir nuevas evidencias de validez transcultural en relación con la invarianza bifactorial del LOC. El test fue aplicado a un total de 1781 participantes procedentes de España (697), Chile (890) y Reino Unido (194). El estudio de la invarianza factorial entre los grupos se realizó utilizando modelos de análisis factorial confirmatorio multigrupo para datos categóricamente ordenados. La evaluación progresiva de la invarianza factorial confirma que las cargas factoriales, los umbrables, y las varianzas de los errores son invariantes a través de los grupos. Finalmente, no se encontraron diferencias transculturales relevantes en LOC entre España, Chile y Reino Unido (PS < .50).

Effects of a Training Program on the Scores from the Admission Test at the University of Costa Rica: a Bayesian Approximation

Resumen. Se usó un diseño cuasi-experimental con pre y post-test para estimar el efecto de una capacitación para la prueba de admisión de la Universidad Costa Rica, un test estandarizado que mide habilidades de razonamiento en contextos verbales y matemáticos. Cuatro colegios públicos del área metropolitana central del país participaron en el estudio, asignándose dos de ellos aleatoriamente al grupo de intervención y los otros dos al grupo de control, con 61 estudiantes en el primer grupo y 80 en el segundo. La intervención consistió de 5 sesiones de capacitación de 3 horas, utilizando como guía un manual desarrollado por una experta pedagoga, con enfoque constructivista. Las medidas antes y después fueron formas reducidas de la prueba de admisión 2014. La variable dependiente fue la diferencia entre ambas mediciones. El efecto de la capacitación fue de 3.5 puntos porcentuales y significativo, y se estimó utilizando un modelo bayesiano de regresión multinivel.

Abstract. A quasi-experimental design with pre and post- test was used to estimate training effects for the University of Costa Rica’s admission test, a standardized exam that measures reasoning abilities in mathematical and verbal contexts. Four secondary public schools from the metropolitan central area of the country participated in the study; two of them were randomly assigned to the intervention group and the other two to the control group, with 61 students in the first group and 80 in the second. The intervention consisted of five three-hour training sessions, using a written guide developed by a pedagogy expert with a constructivist approach. Before and after measures were reduced test forms of the real admission test from the year 2014. The dependent variable was the difference between the two measures. The effect of the training was estimated using a multilevel Bayesian regression model with a significant magnitude of 3.5 percentage points.

Using Bilingual Examinees to Evaluate the Comparability of TestStructure across Different Language Versions of a Mathematics Exam

Abstract. Malay- and English-language versions of a mathematics exam were analyzed for structural equivalence by administering both versions to a group of Malay-English bilingual students. The analysis and comparison of test structure was determined using both DIMTEST and weighted multidimensional scaling. The assessment was found to be unidimensional and to possess similar structure across the two language versions. Implications of this study suggest bilingual examinees can be used to evaluate the invariance of test structure across translated test forms. Future research should explore situations where bilingual examinees can be used to link different language versions of assessments for monolingual populations.

Resumen. Se analizó la equivalencia estructural entre las versiones de un examen de matemáticas en lengua malaya e inglesa mediante la administración de ambas versiones a un grupo de estudiantes bilingües en ambas lenguas. El análisis y comparación de la estructura del test fue realizada utilizando DIMTEST y escalamiento multidimensional ponderado. Se encontró que la evaluación es unidimensional y posee una estructura similar en las dos versiones. Las conclusiones de este estudio sugieren que se pueden utilizar personas bilingües para evaluar la invarianza de la estructura del test utilizando formas traducidas de un test. Las investigaciones futuras deberían explorar situaciones donde se puedan utilizar personas bilingües para conectar distintos idiomas en las evaluaciones de las poblaciones monolingües.

Gender Invariance of the Screening Scale for Generalized Anxiety Disorder (EDTAG)

Resumen. En el presente trabajo se muestra la forma en la que se evalúa la invarianza utilizando los modelos de análisis factorial confirmatorio para medias y covarianzas (AFC-MACS) para datos categóricos y los modelos de Teoría de Respuesta al Ítem (TRI). Se ejemplifica el análisis de la invarianza en el estudio de la Escala de Detección del Trastorno de Ansiedad Generalizada (EDTAG) comparando hombres y mujeres. La EDTAG es una escala ampliamente utilizada en las instituciones de salud y por sus características (escala breve de 12 ítems dicotómicos) cualquier error de medida puede tener un impacto importante. En los resultados se muestra que la escala tiene la misma configuración, sin embargo, el ítem 9 muestra funcionamiento diferencial siendo los hombres quienes mayor probabilidad tienen de responder de manera afirmativa comparado con mujeres del mismo nivel de rasgo. Se discute la necesidad de éste tipo de análisis en las escalas.

Abstract. The present paper shows how to evaluated invariance using confirmatory factor analysis models for means and covariances (CFA-MACS) for categorical data and models of Item Response Theory (IRT). Invariance analysis in the study of Detection Scale Generalized Anxiety Disorder comparing men and women is exemplified. The scale is widely used in health institutions and by its nature (a brief scale of 12 dichotomous items) any measurement error can have a major impact. Results have shown that the scale has the same configuration, but the item 9 shows differential item functioning, being males more likely to respond affirmatively compared to women in the same trait level. The need for this type of analysis on the scales is discussed.

Reliability Analysis Diagnostic Mathematics Test at the National University of Costa Rica

Resumen El objetivo del presente estudio es evidenciar cómo la implementación de la teoría de respuesta a los ítems, en particular el modelo de Rasch, ha logrado mejorar los índices de confiabilidad de la prueba de diagnóstico matemático en la Universidad Nacional de Costa Rica, pasando de un alfa de .51 en el 2010 a uno de .78 en el 2012. El análisis psicométrico permitió brindar recomendación acerca de la construcción de la prueba que redundaron en mejores indicadores y elaboración de ítems para medir los diferentes niveles de habilidad que es el propósito fundamental de una prueba diagnóstica.

Summary. The goal of this study is to show how the implementation of the theory of item response, particularly the Rasch model has improved the reliability indices math test diagnosis at the National University of Costa Rica, from an alpha of 0.51 in 2010 to one of 0, 78 in 2012. The psychometric analysis allowed providing recommendation regarding the construction of the test which resulted in better indicators and preparation of items to measure the different levels of skill that is the fundamental purpose of a diagnostic test.