Introducción

La medición desempeña un papel central para el desarrollo de cualquier disciplina científica (^{Bearden, Netemeyer, & Haws, 2011}; ^{Crook, Ketchen, Combs, & Todd, 2008}; ^{Roth, Schroeder, Huang, & Murat, 2008}; ^{Slavec & Drnovšek, 2012}). Métricas confiables y válidas son vitales para el avance de la teoría (^{Roth et al., 2008}). Su elaboración permite crear mejores modelos explicativos al reducir la posibilidad de obtener resultados espurios.

La validez de las mediciones en Ciencias Sociales se puede entender como el grado en el que la teoría y las evidencias empíricas apoyan las interpretaciones que se hacen de las puntuaciones de una herramienta de medición (^{Santisteban, 2009}). Si bien, el concepto de validez se considera hoy unitario (^{Martínez, Hernández, & Hernández, 2006}), la literatura refiere a varios procedimientos para recopilar evidencias de la misma, los cuales comúnmente se denominan tipos de validez -de contenido, de los pro cesos de respuesta, de la estructura interna del instrumento, convergente, discriminante y la relacionada con un criterio (^{Santisteban, 2009}).

En la III Conferencia internacional denominada Advanced Seminar on Cognitive Aspects of Survey Methodology, celebrada en 1983, se llegó a un amplio consenso acerca de los componentes cognitivos involucrados en el proceso de respuesta a preguntas de instrumentos, tales como cuestiona rios y escalas, a saber: a) comprensión del ítem, b) recuperación de la información, c) evaluación de la información y d) selección de la respuesta apropiada (^{Tourangeau & Bradburn, 2010}). De las anteriores, la comprensión es la etapa en la cual se presenta la mayor parte de las dificultades. Algunos de los pro blemas relacionados con esta fase son los siguientes: a) vocabulario difícil de entender, b) mal estilo de redacción, c) incorrecta comprensión del contenido de la pregunta, d) inadecuado orden de las preguntas y e) dificultad para comprender las instrucciones (^{Krosnick & Presser, 2010}).

Ahora bien, con el propósito de identificar y corregir los errores en el proceso de respuesta, la literatura recomienda realizar un pretest o prueba piloto del borrador del instrumento (^{Colton & Covert, 2007}; ^{Iarossi, 2006}; ^{Martin, 2006}). Entre la variedad de herramientas para este propósito se encuentra la Entrevista Cognitiva (EC), la cual ha venido siendo utilizada con mucha frecuencia (^{Beatty & Willis, 2007}; ^{Blair & Brick, 2010}; ^{DesRoches, 2009}). Quizás, esto se debe a que la EC ofrece a los investigado res información para detectar y también corregir diversos problemas de los ítems.

La EC es una metodología que puede ser utilizada para depurar o calibrar escalas no ajustadas a un contexto, especialmente, con respecto a los errores de comprensión. No detectar este tipo de proble mas puede llevar a distorsionar lo que se desea medir (^{Vercellotti, 2008}). En otras palabras, se aplicaría un mismo ítem con diferentes significados para cada persona. Ahora bien, una adecuada comprensión contribuye a la validez relacionada con los procesos de respuesta, porque facilita la apropiada ejecución del resto de tareas cognitivas implicados en responder a una pregunta.

En una reciente investigación, ^{Vargas-Halabí y Mora-Esquivel (2016}) realizaron un estudio para medir el efecto de rasgos de cultura organizacional (CO) en el desempeño innovador de empresas costa rricenses. Para su estudio, seleccionaron la ^{Denison Organizational Culture Survey (DOCS) desarrollada por Denison (1984}), Denison & Mishra (1995) y ^{Fey & Denison (2003}) para medir la CO (véase Figura 1). Dichos autores justifican la elección de la DOCS debido a que: a) existe de una versión adaptada al cas tellano por ^{Bonavia, Prado y Barberá (2009}) con una muestra de la Universidad Politécnica de Valencia, España (en adelante DOCSEP); b) posee un amplio soporte empírico; c) evalúa dimensiones, no tipos de CO (^{Jung et al., 2009}). Estos aspectos la vuelven particularmente útil para el contexto nacional; ade más, permite realizar evaluaciones cuantitativas (Denison, Neiminen & Kotbra, 2012) por dimensiones, lo cual posibilita comparar organizaciones y establecer normas con referencia al mercado (^{Khan, 2014}).

Figura 1 Modelo de CO propuesto por Denison y Mishra (1995). Fuente. Elaboración propia 

A lo largo de tres décadas, se han identificado en la literatura cuatro etapas del desarrollo de la DOCS (^{Vargas-Halabí, Mora-Esquivel y Ortíz, 2015}). Primero, su diseño inicial; luego, se pasa a su consolidación y comprobación de evidencias de validez y confiabilidad. Seguidamente, su evaluación en contextos empresariales fuera de Estados Unidos y, finalmente, su uso para evaluar la relación en tre CO y otros constructos (para más detalle, véanse, entre otros, Sharifirad y Ataei, 2012; ^{Boyce, Niemen, Gillespie, Ryan y Denison, 2015}, Denison, 1984; Denison & Mishra, 1995; Denison, Haaland y Goelzer, 2003; ^{Denison, Janovics, Young y Cho, 2006}; ^{Fey y Denison, 2003}; ^{Gillespie, Denison, Haaland, Smerek y Neale, 2008},).

El objetivo del presente artículo es presentar la experiencia y los resultados de utilizar de forma combinada la EC y el análisis factorial confirmatorio para adaptar la DOCSEP al contexto organizacional nacional con el propósito de brindar una herramienta útil, tanto a investigadores como practicantes en el área organizativa, que cuente con evidencias de validez en Costa Rica.

Método

En la Figura 2 se presenta un esquema que sintetiza la metodología del estudio, la cual contem pló tres fases. En la primera se ejecutó una extensa revisión de la literatura para seleccionar una escala de CO adecuada para los objetivos de la investigación. Se procedió con detalle porque existe una gran diversidad de herramientas (^{Jung et al., 2009}). Este análisis permitió seleccionar la DOCSEP debido a su soporte conceptual y empírico, su naturaleza dimensional y por encontrarse adaptada al castellano.

Figura 2 Diseño metodológico para adaptar la escala DOCSEP al contexto local. Fuente. Elaboración propia. 

En la segunda etapa se efectuó la adaptación de la DOCSEP al contexto organizacional costarri cense mediante la aplicación de la EC, lo cual permitió desarrollar la DOCSCR-V1. En la tercera fase se efectuaron análisis factoriales confirmatorios para verificar que la dimensionalidad de la escala generada y, con ello, los cambios propuestos con base en la EC, correspondían al modelo teórico original postu lado por ^{Denison (1984}), Denison y Mishra (1995) y ^{Fey & Denison (2003}). Así mismo, se evaluó el funcionamiento de cada ítem mediante la valoración de sus saturaciones.

Participantes

Es importante recordar que el propósito del estudio fue adaptar y ofrecer evidencias de la validez acerca de la escala DOCSEP en el contexto organizacional costarricense. La naturaleza de los procedi mientos para obtener tales evidencias requieren estrategias metodológicas diferentes. Por tal razón, el diseño de investigación se considera mixto, específicamente exploratorio secuencial (^{Creswell, 2014}). Así, en el caso de la muestra 1 (N1) se utilizó una aproximación cualitativa y en las muestras 2 (N2) y 3 (N3) una cuantitativa.

En el caso de la muestra 1 se utilizó un muestreo dirigido, característico de los enfoques cualitati vos, en el que son seleccionadas de una manera deliberada lugares o personas, con el fin de obtener los datos más completos y relevantes para comprender algún aspecto importante de la investigación (^{Yin, 2011}). Para este estudio en particular, interesaron los procesos cognitivos implicados en la respuesta a los ítems de la escala DOCSEP. De acuerdo con la tipología mencionada por ^{Creswell (2013}), el mues treo fue dirigido mediante criterios, los cuales aseguraron la calidad de la información. Se seleccionaron personas capaces de reportar información verbalmente durante la entrevista cognitiva (EC), además de poseer características parecidas a los participantes de las muertes 1 y 2. Ello con el fin de obtener infor mación del funcionamiento de los ítems con personas con características similares a las que finalmente responderían a la escala DOCSCR-V1.

La N1 estuvo conformada por 15 participantes con características similares a las de los sujetos de la muestras N2 y N3. A cada persona de N1 se le aplicó una EC acerca de 20 preguntas de la DOCSEP. De esta forma, se evitaron los efectos de la fatiga y se logró que cada ítem fuese evaluado por 5 personas, lo cual se encuentra dentro del rango mencionado por ^{Smith-Castro y Molina (2011}). También, se consi deró el principio de saturación de información para determinar el momento para suspender el muestreo. Los participantes de esta muestra fueron mayoritariamente hombres (60 %), con puestos de supervisión o gerencia en organizaciones de los sectores de servicio, manufactura y comercio. Todos pertenecían a empresas con más de 25 empleados. Tenían, al menos, un año de laborar en la organización y contaban con formación universitaria.

En el caso de la N2, tal como se mencionó, el enfoque fue cuantitativo. La población de referencia fueron 445 estudiantes activos de los programas de Maestría en Administración de Empresas y Gestión de Proyectos del Instituto Tecnológico de Costa Rica durante el primer semestre del 2014. La admi sión a estos posgrados requiere experiencia laboral en cargos profesionales, preferiblemente a nivel de supervisión o gerencia, lo cual aseguró informantes con conocimientos de la dinámica y entorno de la organización en la que trabajaban.

Se utilizó un muestreo no probabilístico mediante el cual se alcanzó un 70 % de la población (314 estudiantes). A los participantes que conformaron la N2 se les aplicó la DOCSCR-V1 (véase ítemes en el apéndice 3). En cuanto a la composición de la muestra, la mayoría fueron hombres (70 %) con formación profesional en ingenierías (61 %). El promedio de años de laborar en la empresa fue 5.49 con una DE = 4.34. Trabajaban, principalmente, en compañías de los sectores de servicios (65 %), manufactura (23 %) y, en menor medida, del sector comercial (12 %). La mayoría de los sujetos procedían de empresas con más de 100 colaboradores (75 %), consideradas como grandes dentro del contexto organizacional local.

A los participantes de la N3 también se les aplicó la DOCSCR-V1. Esta muestra fue seleccionada de manera no probabilística y estuvo conformada por 368 gerentes provenientes de una población de 1743 empresas con el fin de asegurar variabilidad entre las organizaciones. Para ello, se utilizó infor mación de diversas asociaciones empresariales costarricenses (por ejemplo, PROCOMER, CADEXCO, CAMTIC, CACIA, entre otras). En lo referente a las características de los informantes, se observó una distribución equitativa entre hombres y mujeres. En su mayoría contaban con formación profesional a nivel de Bachillerato, Licenciatura (65 %) y Maestría (22%) o de Técnicos (13 %), de las áreas de ciencias económicas (56 %) y de ingenierías (18 %). La media de años de laborar para la empresa fue 7.8 con una DE = 7.8. Es de destacar que se obtuvo un balance entre Pymes (53 %) y empresas grandes (48 %). Lo mismo que por sector de actividad, específicamente: manufactura (40 %), servicios (30 %) y comercio (30 %).

Si bien es cierto, tanto N2 como N3 constituyen muestras no probabilísticas, se consideraron los criterios sugeridos por ^{Highhouse y Gillespie (2009}) para garantizar la calidad. Ahora bien, tomando en cuenta la naturaleza de las muestras y para dar mayor sustento a los resultados, se decidió realizar una replicación de los análisis cuantitativos en muestras de poblaciones diferentes.

En cuanto al tamaño de N2 y N3, es importante evidenciar que la DOCSEP permitió determinar, a priori, el modelo factorial confirmatorio de la escala. Por ello, se procedió a aplicar el procedimiento propuesto por ^{MacCallum, Browne y Sugawara (1996}) para determinar el número de casos con base en la potencia del Error de Aproximación Media Cuadrática (RMSEA, por sus siglas en inglés). Para esto, se estableció un ajuste aceptable de acuerdo con ^{Lee, Cai y MacCallum (2012}) (.05 ≤ RMSEA ≤ .08). También, se especificaron 1362 grados de libertad (gl) correspondientes a la DOCSEP, así como error Tipo I (α) y la Potencia Estadística (1-β) usuales (.05 y .80, respectivamente). Para efectuar el cálculo, se utilizó la herramienta de ^{Preacher y Coffman (2006}) que indicó 37 participantes. Valga acotar que la N tan baja obedece a la gran cantidad de gl. Por esta razón, se recurrió a otra metodología, en este caso la desarrollada por ^{Westland (2015}), para lo cual se mantuvo los valores del α y 1-β, con 16 factores latentes (correspondientes a la DOCSEP) y un umbral mínimo de .30 para los coeficientes a detectar en el modelo (tamaño del efecto). Para efectuar el cálculo, se utilizó la herramienta desarrollada por Soper (2016) que arrojó 116 casos. Como queda en evidencia, N2 y N3 superan el tamaño mínimo de participan tes de acuerdo con la metodología de Westland (2015).

Instrumentos

Se utilizó la adaptación al castellano de la DOCS realizada por ^{Bonavia et al. (2009}) -que hemos denominado DOCSEP. Consta de 60 ítems, agrupados en 12 subdimensiones y 4 dimensiones. Estos son evaluados de acuerdo con una escala tipo likert de 5 puntos. Para aplicar la EC, se desarrolló un proto colo para la entrevistadora (véase apéndice 1) y 3 para los informantes. Estos últimos con 20 preguntas de las diferentes dimensiones de la DOCSEP (véase Apéndice 2) con el fin de poder controlar cualquier posible sesgo y los efectos de la fatiga.

Una vez realizados los ajustes a la DOCSEP, con base en los resultados de la EC, se le denominó DOCSCR-V1 y fue aplicada a los participantes de la N2 y N3. La versión final de la herramienta se deno minó DOCSCR-V2, versión ^{Vargas-Halabi & Mora-Esquivel (2016}) (véase Apéndice 3). Siguiendo lo recomendado por ^{Krosnick y Presser (2010}), se mantuvo la escala likert de endosamiento, pero se aumentó a 7 intervalos con 3 anclas, a saber: 1= En desacuerdo; 4= Ni de acuerdo ni en desacuerdo; 7= De acuerdo.

Procedimiento

Para la aplicación de la EC se siguieron las recomendaciones de ^{Smith-Castro y Molina (2011}). Se utilizó el procedimiento de pensar en voz alta (“think aloud”) en el que se le solicita a los entrevista dos verbalizar lo que piensan mientras responden a las preguntas (^{Beatty & Willis, 2007}).

La entrevistadora fue una estudiante avanzada del Bachillerato en Psicología de la Universidad de Costa Rica con formación técnica en Dirección de Recursos Humanos. Se efectuaron varios ensayos de conducta hasta que la entrevistadora alcanzó un nivel de manejo adecuado de los protocolos. Durante el entrenamiento se hizo énfasis en recopilar información relativa a los aspectos sugeridos por ^{Tran (2009}), a saber: a) claridad, b) conveniencia de la pregunta en términos de la cultura y los valores de las perso nas, c) dificultad y d. relevancia. Esto por cuanto, en cualquier estudio, es fundamental que las personas que respondan a un cuestionario o escalas comprendan la pregunta en el mismo sentido que lo hacen los investigadores (^{Tourangeau & Bradburn, 2010}). Asimismo, se instruyó a la entrevistadora en indagar acerca de cualquier otro aspecto que considerara relevante del proceso de respuesta a los ítems.

La primera aplicación se efectuó, en conjunto, con un investigador para asegurar que se estuviese ejecutando de forma adecuada. El resto de aplicaciones las realizó la entrevistadora sola. Todas las en trevistas, previa autorización del informante, fueron grabadas para ser transcritas en un archivo en Word. Para iniciar el análisis de los datos textuales, los investigadores leyeron varias veces cada entrevista. A continuación, marcaron en amarillo los segmentos de textos con observaciones, recomendaciones o comentarios acerca del funcionamiento de los ítems. Dichos segmentos se “cortaron” y “pegaron” en un nuevo archivo que contenía todas las observaciones por ítem. Estos resultados fueron sintetizados en un formato similar al utilizado por ^{Hunter y DeMaio (2003}) (véase ejemplo en la Tabla 1).

Tabla 1 Ejemplo de formato para la sistematización de los datos textuales de la EC utilizada en los ítems de la DOCSEP que presentaban aspecto para mejorar 

Las observaciones se analizaron desde una perspectiva sintáctica; es decir, con referencia a las reglas para la correcta utilización de las palabras y oraciones. También, se incluyó el plano semántico que se refiere al significado del lenguaje (^{Baggini & Fosl, 2010}). En síntesis, se evaluaron principalmente aspectos relativos a la adecuada escritura y compresión de los ítems. Para complementar el análisis de los datos textuales con frecuencias, se seleccionaron los códigos de los apartados I y II del protocolo pro puesto por ^{Presser y Blair (1994}), los cuales hacen referencia a las dificultades sintácticas y semánticas de los reactivos. Con base en esta información, se realizaron las modificaciones que los investigadores consideraron apropiadas dando origen a la DOCSCR-V1 de 60 ítems.

Seguidamente, se procedió a aplicar la DOCSCR-V1 a la N2. Esta fue realizada por estudiantes avanzados de la carrera de Psicología bajo un estricto protocolo y supervisión de un profesional con ex periencia. En caso de la N3 se realizaron, al menos, tres llamadas a los contactos de todas las organizacio nes del marco muestral. También, se efectuó un seguimiento de, al menos, tres llamadas para obtener el cuestionario. En todos los casos, se garantizó el anonimato del informante y de la empresa. Valga señalar que, en ambos casos, se efectuó una cuidadosa aplicación del instrumento.

Con la información de ambas muestras se procedió a efectuar ocho tipos de análisis factoriales confirmatorios. Estos se ejecutaron en secuencia; es decir, primero los de la N2 y luego los de la N3. Igualmente, se realizaron en el orden que se describen con el fin de no sesgar los análisis. El primer análi sis factorial confirmatorio (AFC) se efectuó con los 60 reactivos, con el fin de evaluar el funcionamiento de cada ítem y la estructura de la escala, aunque este enfoque disminuye las posibilidades de obtener un buen ajuste en el caso de instrumentos con varias dimensiones (^{Williams, Vandenberg, & Edwards, 2009}).

El segundo se realizó de acuerdo con lo sugerido por ^{Possakoff, MacKenzie, Lee y Podsakoff (2013}), para lo cual se añadió un factor latente exógeno para cargar los ítems con saturaciones bajas, con el propósito de verificar si compartían algún tipo de varianza no contemplada por el modelo con ceptual. El tercer AFC se realizó excluyendo los ítems con saturaciones muy bajas, lo cual dio origen a la DOCSCR-V2 de 53 reactivos (véase apéndice 3). En el cuarto se utilizaron parcelas y se empleó como indicador el puntaje promedio de cada uno de los subfactores de la DOCSCR-V2 (doce en total, tres por cada dimensión). Según Little, Rhemtulla, Gibson y Schoemann (2013), el uso de parcelas puede considerarse como cualquier otra herramienta de medición que, en este caso, tiene como potencial brindar resultados más interpretables. Además, permite mejorar la relación del número de casos por pa rámetro (^{Little et al., 2002}), lo cual es importante para el posterior uso del instrumento con Métodos de Ecuaciones Estructurales (SEM), porque se trata de una técnica que demanda muestras grandes (^{Kline, 2011}; ^{Schumacker & Lomax, 2010}; ^{Ullman, 2013}). Los análisis fueron realizados en el software EQS 6.3 que emplea el modelo ^{Bentler-Weeks (Bentler, 2006}). Este brinda la posibilidad de calcular estadís ticos robustos utilizando máxima verosimilitud cuando se incumple el supuesto de normalidad multiva riada (^{Byrne, 2006}).

Resultados

Adaptación de la DOCSEP: Entrevista cognitiva

Como se puede observar en la Tabla 2 se modificaron 20 de los 60 ítems que conforman la DOCSEP (un 33.3 % de sus reactivos). Las modificaciones se agruparon, principalmente, en ajustes de vocabulario con el fin de delimitar mejor los aspectos que incluye y excluye el ítem. En el ámbito de comprensión, un primer punto por señalar es que en 6 ítems los entrevistados manifestaron la necesidad de eliminar y sustituir términos para darles un sentido más acorde con el contexto local. A continuación, algunos ejemplos: a) la palabra “banquillo” en el ítem 12 evocó un sentido deportivo, lo cual se eliminó; b) en el ítem 16 la palabra “pregonan” suscitó el comentario en la mayoría de entrevistados de que la redacción no fue hecha para nuestro contexto, por lo tanto se sugirió que fuese sustituida por la palabra “predican con el ejemplo”; c) la palabra “de continuo”, en el ítem 33, provocó que varios entrevistados manifestaran dificultad en el proceso de lectura y comprensión del reactivo, por lo que propusieron sus tituirla por “continuamente”.

Tabla 2 Comparación entre ítems originales de la DOCSEP y los de la DOCSCR-V1 como resultado del pretest 

En segundo término, tres ítems requirieron una modificación sustancial en la estructura de la re dacción con el fin de facilitar la comprensión y conservar el contenido teórico. Se trató de los ítems 17, 42 y 45. En el caso del primero, dos componentes en su redacción, “estilo de dirección característico” y “prácticas distintivas”, provocaron duda en los entrevistados referente a lo que se estaba preguntando. En el ítem 42, la frase “tomar riesgos” se asoció con realizar decisiones de manera precipitada o con poca información, lo cual le dio una connotación negativa. En el último, la frase “que la mano derecha sepa lo que estáhaciendo la izquierda” generó mucha confusión entre los informantes. En estos ítems, la entrevistadora solicitó la “traducción” o interpretación de cada reactivo por parte de los participantes. Pese a que los ítems eran difíciles de leer, su significado para los cinco entrevistados correspondió a lo esperado. Los cambios sugeridos pueden observarse en la Tabla 2.

Un tercer aspecto, que se observó en la EC, fue la connotación negativa para los participantes de los ítems 41, 42 y 39. Por ejemplo, en el primero, la palabra fracaso se sugirió cambiar por “error come tido”. En cuarto lugar, en los ítems 2 y 36, los entrevistados manifestaron que frases del ítem provocaban ambigüedad y recomendaron modificarlas. Finalmente, en 11 ítems aconsejaron reemplazar términos para facilitar la lectura (7,9, 11, 12, 19, 22, 26, 32, 33, 39 y 41). La Tabla 2 permite observar más en detalle cada uno de los cambios comentados anteriormente.

Un aspecto que generó dificultad, en la mayoría de los entrevistados, fue la definición del marco temporal para la escala. Al respecto, los participantes sugirieron “el último año”. En esta dirección, es importante apuntar que una de las estrategias para mejorar la recuperación de la información es hacer lo más corto posible el período de referencia de la respuesta (^{Krosnick & Presser, 2010}). En este caso, para definir el marco temporal, se tomó en consideración que la CO involucra fenómenos organizativos que se vinculan con las operaciones, internas y externas, de las empresas. Asimismo, muchas de las actividades implicadas en sus rasgos se ejecutan anualmente debido a los ciclos propios del ecosistema social en el que opera la empresa, por lo que resulta razonable plantear el “último año” como marco temporal de referencia. Lo anterior resulta válido por cuando las empresas son sistemas abiertos; es decir, un conjunto interrelacionado de partes que realiza intercambios de recursos con el ambiente (^{Kast & Rosenweing, 1972}). Además, los aspectos intangibles también forman parte de los sistemas (^{Meadows & Wright, 2008}).

En términos generales, el procedimiento de codificación brindó un panorama global de los princi pales problemas de comprensión expresados por los entrevistados. Cabe señalar que, únicamente, en 2 de los doce indicadores de la DOCSEP (Dirección Estratégica y Visión) se mantuvieron sus ítems origi nales (sin corrección). El rango de modificaciones por indicador o subdimensión de la DOCSEP estuvo entre 1 y 3, lo cual denota uniformidad. En otras palabras, los cambios no se concentraron en un solo aspecto del instrumento. Los subíndices que más ítemes implicaron cambios fueron Desarrollo de capa cidades y Trabajo en equipo (Dimensión Involucramiento), Valores centrales (Dimensión Consistencia) y Aprendizaje Organizacional (Dimensión Adaptabilidad) (véase tabla 3).

Tabla 3 Ajustes realizados a la DOCSEP codificadas de acuerdo con algunos criterios del protocolo de Presser y Blair (1994) 

Dimensionalidad de la escala: Análisis factoriales confirmatorios

En general, ^{Hair, Black, Babin, & Anderson (2014}) sugieren el uso de Chi-cuadrado (χ2), Índice de Ajuste Comparativo (CFI, por sus siglas en inglés) y RMSEA para evaluar los modelos SEM. En el pri mer caso se ha demostrado que es un estadístico muy sensible al tamaño de la N (^{Schumacker & Lomax, 2010}; ^{Stevens, 2009}); es decir, con muchos casos tiende a ser estadísticamente significativo, lo que lleva a rechazar la H0 que indica que el modelo ajusta. Dado el tamaño de N2 y N3, se tuvo cautela con la sig nificancia de Satorra-Bentler Scaled Chi-Square (SBχ2). Con respecto al CFI, el valor mínimo para un adecuado ajuste se fijó en .90 (^{Keith, 2015}), aunque algunos autores sugieren como ideal .95 (^{Baubeta, Mallou, Piñeiro, & Mangin, 2006}; ^{Rencher & Christensen, 2012}). Para el RMSEA, puntajes por debajo de .05 indican un buen ajuste mientras que valores mayores a .08 reflejan un mal funcionamiento del modelo (Bentler, 2006; Schumacker & Lomax, 2010). En cuanto a las cargas, se estableció un umbral mínimo de |.50| (^{Hair et al., 2014}) o lo que es lo mismo un 25 % de la varianza del ítem explicada por el factor latente. La consistencia interna se evaluó mediante el coeficiente de confiabilidad lineal para modelos SEM, denominado RHO (^{Yang & Green, 2011}), porque CO es un constructo multidimensional (^{Byrne, 2006}).

Todos los análisis factoriales confirmatorios (AFC) fueron modelos de primer nivel; es decir, no se elaboraron modelos factoriales jerárquicos o de segundo nivel. Además, como era de esperar teóricamente, se observaron en 8 los modelos planteados correlaciones superiores a .70 entre las subdi mensiones. Adicionalmente, en todos los análisis, el índice de mardía fue superior a 6, lo que evidenció ausencia de normalidad multivariada (^{Álvarez, González, & Mangin, 2006}). Por esta razón, se utilizaron las versiones robustas de los tres índices mencionados, así como del Criterio de información de Akaike (AIC, por sus siglas en inglés) (^{Bentler, 2006}). Este último permite comparar modelos con base en su ajuste y parsimonia. De acuerdo con ^{Byrne (2006}), el valor menor de AIC indica el mejor modelo de acuerdo con los dos aspectos indicados. Sin embargo, este índice acarrea una penalización a menores gl (Byrne, 2006).

El primer modelo se ejecutó con los datos correspondientes a la DOCSCR-V1 de los participantes de la N2. Como puede observarse en la en la Tabla 4, la SBχ2 fue estadísticamente significativa, p < .001, por lo cual se rechazó la H0 que establece que el modelo ajusta. Sin embargo, como se indicó, es pro bable que este resultado esté afectado por el número de casos. El CFI fue inferior al mínimo requerido, lo cual denotó mal ajuste. Pese a esto, el RMSEA indicó un apropiado funcionamiento (véase tabla 4).

Tabla 4 Índices y fiabilidad de los modelos 

Con respecto a las cargas factoriales, la gran mayoría fueron estadísticamente significativas, p < .05, con valores muy por encima de |.50| (véase apéndice 3). Empero, se identificaron 6 reactivos con saturaciones por debajo de |.20|, específicamente: 15, 24, 29, 34, 43 y 58. Como puede observarse, en el apéndice 3, todos estos ítems poseen una redacción inversa. Valga señalar que el ítem 54 también cuenta con este tipo de redacción, pero su saturación fue de .44, estadísticamente significativa, p < .05.

Estos resultados sugieren que la redacción negativa constituyó una fuente de varianza común que explica más de los ítems invertidos que las dimensiones de la DOCSCR-V1. Esto quedó demostrado con el modelo 2, que añade el factor latente, denominado Redacción inversa, para el cual también se cargaron los ítems negativos. En este segundo análisis, se observaron varios aspectos muy relevantes. En primer lugar, los índices de ajuste mostraron una mejoría consistente -aunque todavía insuficiente- al añadir el constructo latente. En segundo término, el AIC robusto fue menor que el del modelo 1 (véase Tabla 4). En tercer lugar, los ítems con redacción negativa mostraron saturaciones estadísticamente significativas, p < .05, y de magnitudes superiores (en un rango entre .37 y .57) con el factor Redacción inversa, en compa ración con las que se obtuvieron con su respectiva subdimensión de la DOCSCR-V1 (véase Apéndice 3).

Estos resultados brindaron soporte suficiente para eliminar los ítems redactados en forma inversa. Además, afortunadamente, todos cargaban a subfactores diferentes con lo cual ninguno quedó con menos de 4 indicadores. Al respecto, como se observa en la tabla 5, el modelo 3 con la escala DOCSCR-V2 de 53 ítems mostró índices de ajuste adecuados y una alta confiabilidad. Empero, el AIC robusto fue mayor que el modelo 1, lo cual puede deberse a la diferencia en gl (385). Aun así, se prefiere este modelo 3 al modelo 1 dado su mejor ajuste y adecuadas saturaciones, las cuales estuvieron en un rango |.49|.a |.93| (véase Apéndice 3). En virtud de estos resultados, en el AFC 5, se utilizaron parcelas, lo cual mejoró aún más el ajuste global de la escala propuesta como lo evidencia el CFI y el RMSEA robustos; asimismo, las saturaciones no bajaron de .72. No obstante, su AIC robusto fue el mayor de todos los modelos. Esto puede explicarse en términos de que las parcelas reducen los gl del modelo drásticamente. Sin embargo, la utilización de parcelas puede ser una opción recomendable para investigadores que deseen utilizar la DOCSCR-V2 en conjunto con otros instrumentos y requieran mejorar la relación de casos por parámetros estimados.

Ahora bien, con el fin de bridar mayor soporte a la escala propuesta se realizaron los mismos análisis factoriales con la N3. Como se observa en la tabla 5, se replicaron los resultados a nivel de índices de ajuste y fiabilidad de la escala. De nuevo, la inclusión del factor latente Redacción inversa mejoró el funcionamiento del modelo. En esta dirección, los ítems con redacción negativa volvieron a presentar saturaciones muy superiores con el factor Redacción inversa que con su respectiva subdimensión de la DOCSCR-V1. Adicionalmente, la eliminación de estos reactivos permitió alcanzar un ajuste adecuado para la escala propuesta (DOCSCR-V2), pero, de nuevo con el menor AIC robusto. Por su parte, el mo delo con parcelas de la N3 mostró aún un mejor desempeño que en la N2 (véase tabla 4), con cargas no menores a .83 (véase Apéndice 3).

Finalmente, es necesario resaltar que todos los reactivos modificados mostraron, en términos ge nerales, sustracciones muy superiores al puntaje de corte (véase Apéndice 3). Esto, en conjunto con los resultados descritos previamente, sugiere que la escala DOCSCR-V2 logró adaptarse de manera que se ajustara a la dimensionalidad del modelo teórico.

Discusión

El propósito de este estudio fue presentar la eficacia de la EC como metodología para adaptar la escala DOCSEP al contexto organizacional costarricense. Al comparar los resultados, la DOCSCR-V2 mostró un mejor ajuste que la DOCSEP (CFI de .99 en la primera y .956 en la segunda; RMSEA de .040 en la primera y de .088 en la segunda). Adicionalmente, en la adaptación para Costa Rica se sometió a evaluación el modelo con los 60 ítems y se logró una mejora en la escala, en términos de ajuste del modelo y saturaciones, con la eliminación de 7 ítems. Más aún, cabe destacar que en este estudio se replicaron los resultados en dos muestras diferentes con resultados similares. En el caso de ^{Bonavia et al. (2009}), el estudio se realizó con una muestra que estuvo compuesta por 488 personas de diferentes departamentos de investigación y desarrollo (docentes, investigadores y becarios) de la Universidad Politécnica de Valencia.

Los resultados del ajuste obtenido para Costa Rica son similares a los reportados por ^{Denison, Neiminen & Kotbra (2012}). Estos autores, entre los años 1997 y 2001, aplicaron la DOCS a una muestra de 35.474 individuos de 160 compañías, de gran tamaño. El modelo totalmente desagregado obutvo un CFI de .98 y un RMSEA de .05. En el presente estudio se logró un buen ajuste de la escala DOCSCR-V2 con un CFI no tan alto (N2= .91; N3= .92), pero con un RMSEA de mejor nivel (N2= .042; N3= .034). En este sentido, puede afirmarse que los resultados reportados no presentan diferencias notables. Por tal ra zón, resulta razonable considerar que los ítems mejorados para Costa Rica mediante la EC contribuyeron a que se mantuvieran adecuadamente las dimensiones que son la base del modelo teórico de la DOCS. Lo anterior subraya la importancia de trabajar la primera etapa del proceso de respuesta al ítem (comprensión).

Hay que reconocer una limitación, en el sentido de la que la EC no detectó el mal funcionamiento de los ítems con redacción inversa, lo cual constituye una línea de investigación por desarrollar en cuanto a la aplicación de la EC. Pese a esto, una contribución de los análisis cuantitativos de este estudio es que claramente indican que la redacción negativa es una fuente de varianza muy importante y que este tipo de ítems tienden a no funcionar de manera adecuada. De hecho, la literatura más reciente indica que es preferible no utilizar este tipo de escritura (^{Krosnick & Presser, 2010}). Más aún, en Costa Rica, ^{Solís (2015}) demuestra empíricamente que los ítems negativos afectan el funcionamiento y la consistencia interna de las escalas, lo cual refuerza nuestro hallazgo.

A la luz de los resultados descritos, se puede argumentar que la EC es una herramienta muy útil para adaptar las herramientas de medición. Consideramos que coadyuva no solo a la validez relacionada con los procesos de respuesta, sino también a la estructura interna de los instrumentos. Otro elemento que resultó de mucho valor, para darle más solidez al estudio, fue replicar los resultados en muestras dife rentes. Tómese también, en consideración, que se debió calcular una cantidad grande de parámetros. Por ejemplo, el modelo 1 (de la N2) y el modelo 5 (de la N3) calculan 138 parámetros, por lo que es factible que aún, con un 95 % de confianza, algunos parámetros varían por azar. De aquí la importancia de replicar.

El hecho de haber logrado adaptar el instrumento de manera que se apegara a la estructura teó rica del modelo y que, además, se haya replicado en dos muestras independientes constituye un paso importante en la validación de la DOCS para el contexto local. No obstante, es necesario continuar los estudios, principalmente, para evaluar la validez convergente, discriminante y relacionada con un criterio del instrumento, lo cual constituyen líneas futuras de investigación. Una vez realizados estos estudios, se estaría en posibilidad de desarrollar normas con respecto al mercado (e.g. percentiles). Lo anterior po dría convertirse en un punto de referencia para las empresas que permitan realizar auditorías internas con respecto a CO e incluso en su relación con otros constructos de interés para el contexto organizacional.

Finalmente, el modelo de medida ajustó tanto en su forma desagregada como en su versión con parcelas. En este sentido, el modelo de parcelas estárespaldado por un buen ajuste del modelo desagre gado. En otras palabras, la escala de 53 ítems funciona de forma adecuada; por consiguiente, el ajuste del modelo con parcelas no es espurio. Esto brinda confianza a los investigadores de que la escala funciona de manera razonable y que es factible recurrir al uso de parcelas con modelos estructurales complejos, con el fin de reducir las demandas de SEM en lo relativo al tamaño de la muestra.