Spanish (pdf)
Article in xml format
Article references
Automatic translation
Send this article by e-mail
Cited by SciELO 
Similars in
SciELO 
Permalink
1. Introducción
En las últimas décadas, la obsesión de los editores por captar citas e ingresar sus revistas en las bases de datos de Web of Science (WoS-Clarivate) y Scopus (Elsevier) ha ido in crescendo en todas las latitudes. Pertenecer al mainstream se ha convertido en sinónimo de calidad en una gran parte del mundo académico. Esta tendencia se ve cada vez más profundizada, incluso en regiones como América Latina, a medida que los sistemas de evaluación nacionales de la región dejan de valorar indicadores de calidad editorial y pertenencia a cambio de exigir presencia en estas bases de datos y dar preferencia a aquellas que logran posicionarse entre sus dos cuartiles más altos (Alperin y Rozemblum, 2017).
Esta idea de pertenecer a la élite de los más citados se encuentra aún entre editores de Argentina, donde la política de evaluación científica no es explícita en este sentido [1]. Posiblemente, esto se deba a que consideran necesario su indización allí para captar autores extranjeros y posicionarse en los sistemas de evaluación de otros países de la región (e.j., Colombia, México, Brasil, Chile o España) que sí lo consideran indispensable para una evaluación positiva (Vasen y Lujano Vilchis, 2017; Martínez-Ávila, 2019; Pires, Reategui, França, Bettinger y Franco, 2020; Montoya, Arbesú, Contreras y Conzuelo, 2014; Jorge Alonso y de Frutos, 2016).
A pesar del interés de los editores (Hernández-Fernández, 2017; Vera-Villarroel, et al., 2012), de las exigencias por los sistemas de evaluación (Alperin y Rozemblum, 2017; Vasen y Lujano Vilchis, 2017) y de las declaraciones en contra de una parte de la comunidad científica (The San Francisco Declaration on Research Assessment [DORA], 2012) existe escasa evidencia de que la inclusión en WoS y Scopus sea un buen indicador confiable de la calidad de una revista. Por lo contrario, hemos evidenciado que los criterios de inclusión de Scopus son ambiguos y sesgados a sus propios objetivos (Rozemblum, et al., 2012, p.14) al solicitar requisitos tales como: política editorial convincente, legibilidad de los artículos, reputación del editor o citaciones de los artículos en Scopus (traducción propia; Elsevier, 2020).
Aun así, y como señala Salatino (2018), la citación sigue siendo la medida aceptada por la comunidad científica como indicador de calidad y prestigio. El argumento a favor de usar bases como WoS y Scopus para la evaluación suele ampararse en que las citas son una indicación concreta del uso que le dan los investigadores a las revistas y que este se traslada a la calidad de sus contenidos. Sin embargo, si ese fuese el mayor interés, se deberían considerar bases de datos que capturen las citas de manera más inclusiva. Tras analizar la cobertura en citas de ambas bases en relación con Google Scholar (GS), Martín-Martín, Orduna-Malea, Thelwall y Delgado López-Cózar (2018) encontraron que las citas de GS son un superconjunto tanto de WoS como de Scopus en todas las áreas temáticas estudiadas. Lo cual evidencia que, si el interés de los sistemas nacionales es comprender el comportamiento de las revistas con relación a las citas, los datos de GS ofrecen mayor nivel de exhaustividad.
Por lo tanto, explotar los datos de GS combinado con Publish or Perish (PoP) ofrece una alternativa más inclusiva y supuestamente confiable (Harzing, 2007). Esta opción podría mostrar un panorama más completo de la visibilidad medida en citas, sobre todo para países donde no se tiene acceso a los costosos sistemas WoS [2] y/o Scopus (a uno o ambos), donde su principal lengua no es el inglés, como así también para el caso de disciplinas poco representadas en el mainstream (Rozemblum, 2014; Aguado-López y Vargas Arbeláez, 2016; Romero-Torres, Acosta-Moreno y Tejada-Gómez, 2013). Al mismo tiempo, la variedad documental que considera GS abre el juego de la citación a circuitos diferentes a los artículos científicos, aunque se sacrifique un poco de precisión por una mayor cobertura (Harzing, 2016).
Aun utilizando una base de datos más inclusiva, la limitación de la citación como único indicador sigue siendo restrictiva para determinar la visibilidad de una revista. Es preciso ampliar el concepto de visibilidad otorgándole mayor alcance que la unívoca concordancia con la citación sumando nuevas dimensiones (Rozemblum, 2014) y trabajar en su operativización. En este marco, se considera que la adopción de una política de acceso abierto (AA) es una característica de alto valor al pensar la visibilidad de una revista, así como que una revista es más accesible cuando no cobra por leer ni publicar [3]. Y lo es más cuando la revista ofrece datos de uso, alcance, visibilidad y citación (Alperin, 2015a; Rozemblum, 2014).
No existe visibilidad real si no se acompaña de accesibilidad, y no hay accesibilidad más transparente que la del acceso abierto (Bongiovani, Miguel y Gómez, 2013; Piwowar, et al., 2018). En ecosistemas de comunicación científica donde el valor del conocimiento como bien común es un elemento de desarrollo de la sociedad (CLACSO, 2015), se puede considerar aún más importante evaluar la visibilidad y accesibilidad con mayor énfasis en la misma sociedad que en la ciencia mainstream, por ejemplo, a través de SciELO y Redalyc (Uribe Tirado, Vallejo Echavarria y Betancur Marín, 2016).
Estos dos sistemas en particular, que actualmente otorgan prestigio a las revistas indizadas en ellas, produjeron desde fines del siglo pasado grandes cambios en la accesibilidad y visibilidad de las revistas de Latinoamérica (Aguado-López Becerril-García y Chávez-Ávila, 2019; Packer, Cop, Luccisano, Ramalho y Spinak, 2014), priorizando siempre su acceso abierto inmediato (Alperin y Rozemblum, 2017). Junto con Latindex, el proyecto pionero de la región, ayudaron a mejorar los procesos editoriales proporcionando indicadores de calidad editorial (Alperin, Babini, y Fischman, 2014) y herramientas de edición que incentivan a los editores a mejorar las revistas y hacerlas más visibles. Además, aportaron a la consolidación de las revistas dentro de los campos disciplinares al hacer transparentes y explícitos sus procesos de evaluación por pares, la exigencia de originalidad y del cumplimiento de códigos de ética y plagio, entre otros.
A partir de un contexto donde la jerarquización de las revistas científicas tiende a basarse cada vez más en su inclusión en dos bases de datos cerradas que ofrecen índices de citación frente a la posibilidad de recurrir a indicadores provenientes de otras fuentes (GS, Redalyc, SciELO, Dimensions), a la disponibilidad de herramientas abiertas (OJS, Google Analytics, Matomo, Publish or Perish) y a los antecedentes de la región, en este artículo nos planteamos indagar en torno a las siguientes preguntas:
-
a) ¿Son los cuartiles derivados de datos de Scopus indicadores adecuados y suficientes para comprender el uso, alcance e impacto de las revistas académicas de ciencias sociales de Argentina?
b) ¿Varía la evaluación de la visibilidad integral e impacto de las revistas cuando se cambian las fuentes de datos a otras más inclusivas?
c) ¿Cómo afectan las prácticas editoriales al alcance y visibilidad de una revista?
Para responder a estas preguntas, consideramos diferentes dimensiones de visibilidad e impacto, sistematizamos indicadores e información de bases de datos diversas y tomamos de caso un grupo de revistas de ciencias sociales que se publican en Argentina a fin de realizar una propuesta de indicadores que permitan comenzar a hacer operativo el concepto.
2. Marco conceptual
Para contestar estas preguntas, en este estudio proponemos avanzar sobre el concepto de visibilidad de las revistas científicas que propuso Rozemblum (2014) hacia un concepto de visibilidad integral que se pueda medir a través de un conjunto de indicadores, de diferentes fuentes, que identifiquen datos de citación exhaustivos, elementos de accesibilidad y esfuerzo editorial, así como alcances diversos, dentro y fuera de la comunidad científica. Al ser así, se considera que la visibilidad de una revista necesariamente tiene que considerar los diversos tipos de uso que estas reciben y no solo las citas como suele ser tradicionalmente.
Si bien las citas son una de las medidas, y el modelo de acceso junto con la accesibilidad técnico-tecnológica son otras, es importante valorar también el alcance que los artículos tienen en ámbitos no académicos. En la última década se ha impulsado el uso de métricas conocidas como Altmetrics -métricas alternativas- (Castellá y Borrull, 2017; Orduña-Malea, Martín-Martín y Delgado-López-Cózar, 2016) que permiten identificar la circulación de las producciones científicas en ámbitos no académicos (Erdt, Nagarajan, Sin y Theng, 2016). Este alcance, tal como estudiaron Alperin (2015a, 2015b), Barata (2019) y Uribe Tirado et al (2016), se puede ver a través de las descargas de los artículos y de su circulación en redes sociales.
En tal sentido, la aplicación de indicadores persistentes como el DOI (Digital Object Identifier) en asociación con servicios de empresas tales como Altmetric.com o Plum Analytics ha incrementado el uso y la visualización de indicadores alternativos tanto en las webs de las revistas como en distintos servicios de información [4]. Por ejemplo, para medir el alcance es factible utilizar los módulos que ofrece Open Journal System (OJS)[5]para visualizar las descargas y vistas de cada artículo e incorporar el plugin Paperbuzz (Alperin, 2019) que permite visualizar métricas por artículo en relación con vistas y usos en Twitter y Wikipedia, entre otras fuentes. A estos se pueden sumar herramientas de analítica web como Google Analytics o Matomo para entender más acerca del uso y alcance de los contenidos de una revista, o un artículo en particular, al conocer los datos de visitas y descargas. Otro servicio externo para identificar este tipo de métricas es la reciente base de datos Dimensions que facilita el análisis de varios de estos indicadores (Harzing, 2019).
Igual de importante resulta la necesidad de medir los esfuerzos editoriales ya que se estima que la calidad editorial redundará en mayor visibilidad. En este sentido, es preciso diferenciar los conceptos de calidad científica, llevada a cabo por los comités académicos y científicos, de la calidad editorial reflejada en las tareas técnicas-tecnológicas de los profesionales de la edición (Rozemblum y Banzato, 2012; Yunta y Artigas, 2013; Vessuri, Guédon y Cetto, 2013; Banzato y Rozemblum, 2019; Llueca, 2020). Estos equipos son los que aseguran la normalización de los metadatos y su correcta descripción, el cumplimiento de protocolos de interoperabilidad, así como la configuración precisa de las plataformas de la revista para mostrar datos de uso, alcance e impacto para facilitar que autores, lectores y evaluadores obtengan indicadores más completos de accesibilidad y visibilidad. Por lo cual se considera que no es suficiente que una revista se declare de AA, sino que, además, es necesario asegurar la precisión de los datos que ofrece, tanto a los motores de cosecha como a la comunidad científica.
3. Metodología
3.1 Enfoque del estudio
El enfoque metodológico que se planteó para el estudio es mixto. Para medir y comparar los datos de citación, uso y alcance se aplicaron técnicas cuantitativas que permitieron comparar la representatividad de los indicadores y valores que asumen en las distintas fuentes contempladas. Para analizar aspectos concernientes a la accesibilidad, fue necesario recurrir a técnicas cualitativas, como la observación de sitios web por la naturaleza de la información a relevarse. Esto permitió identificar los aspectos de la calidad editorial y del esfuerzo editorial que hace su staff, académico y técnico-tecnológico en su gestión, edición y publicación. Respecto a la profundidad del análisis es descriptiva, comparativa y explicativa.
3.2 Unidad de análisis
A fin de responder a los interrogantes de la investigación, se seleccionó como unidad de análisis a cada una de las revistas científicas argentinas de las temáticas de las ciencias sociales incluidas en SCImago Journal & Country Rank (SJ&CR) a diciembre de 2018. La elección de esta fuente para determinar la muestra se basa también en el supuesto instalado en la cultura evaluativa de que esta contiene las mejores revistas científicas de cada país razón por la cual se utiliza como vara para la evaluación en varios países en Latinoamérica.
Para determinar el corpus de revistas se realizó una búsqueda en el Journal Rankings del SJ&CR, que tomaba datos de Scopus hasta diciembre del 2018 usando los siguientes parámetros: disciplina social sciences (todas sus categorías), país Argentina, tipo de documento Journals. El resultado arrojó 11 revistas que conformaron el universo estudiado (tabla 1).
3.3 Procedimientos
A fin de exponer de forma más clara los procesos, indicadores y fuentes que se utilizaron en el estudio se agrupan, a continuación, por los aspectos de la visibilidad integral antes identificados: citación, accesibilidad y alcance.
3.3.1 Citación
Para cada una de las revistas estudiadas se identificaron dos indicadores de citación del SJ&CR: el SCImago Journal Rank Indicator (SJRI), que es una medida del impacto, influencia o prestigio de la revista (traducción propia, Scimago Research Group, 2007) que expresa el número promedio de citas ponderadas recibidas en el año seleccionado sobre los documentos publicados en la revista en los 3 años anteriores; y, el índice H, el cual mide el número de artículos de la revista (h) que han recibido al menos h citas durante todo el período (traducción propia, Scimago Research Group, 2007).
Además del SJRI correspondiente al título, se registró el menor SJRI del primer cuartil (Q1) de su categoría [6]. De esta forma, a través del cálculo de la diferencia entre ambas, se buscó establecer una medida de relación entre estos dos indicadores que muestre la distancia entre el indicador de la revista seleccionada y cuán lejos o cerca está de pertenecer al primer cuartil de su categoría. Con el mismo propósito, se buscaron los índices H de cada revista y el menor índice H del primer cuartil en su categoría.
Con miras a conocer la representatividad de esta fuente con respecto a la citación, en el mes de julio de 2020, se extrajeron datos de GS desde PoP de cada una de las revistas. Se tomaron de esta fuente el indicador de citas e índice H de cada revista acotándolo a los documentos publicados en el período 2015-2017 [7], años que se corresponden a los que abarca la edición de SJ&CR consultada. De esta manera se intentó acercarse a datos que pudieran ser comparables.
Para complementar el análisis y visualizar las diferencias de posicionamiento de los artículos según su citación, dependiendo de cada fuente -Scopus y GS-, se extrajeron los 10 artículos más citados de una revista de cada cuartil en Scopus (ver Anexo) y la cantidad de citas recibidas. Luego, se registró la posición de cada uno y la cantidad de citas que se cuentan en los perfiles en GS de las revistas. Se optó por usar los perfiles, ya que ofrecen los datos mejor ordenados y con más precisión que una búsqueda general o desde Google Scholar Metrics. Los datos de citación de GS se obtuvieron en agosto de 2020.
3.3.2 Accesibilidad
Tras localizar, navegar y confirmar con las bases de datos asociadas que se trataba del título en cuestión, se procedió a la observación de la revista para recolectar los datos que permitieran identificar las siguientes 6 características relacionadas a la accesibilidad: 1) tipo de acceso (acceso abierto, AA; embargo, cobro de Article Processing charge -APC-; o suscripción); 2) plataforma de edición (uso de sistemas propios de gestión de revistas u otros); 3) formatos de visualización de los contenidos (PDF, HTML, E-PUB o XML); 4) uso de identificadores persistentes utilizados (DOI, handle); 5) configuración de referencias bibliográficas como metadato cosechable; e 6) inclusión en SciELO y/o Redalyc.
3.3.3 Alcance
Finalmente, para obtener datos de uso de las revistas que permitieran conocer su alcance se decidió registrar descargas, visitas y altmetrics de sus propios portales. También, se recolectaron estos datos de las revistas disponibles en SciELO, Redalyc y Dimensions [8]. Cabe aclarar entonces que la posibilidad de analizar los datos que se proponen para esta característica depende de si cada revista ofrece esta información en su propio sitio –y desde cuando lo hace-, así como de su indización en los sistemas considerados.
Por lo antes comentado, se advierte que se logró recabar datos desde su propio portal de solo tres revistas que disponían datos de descargas y visitas a través de sitios de estadísticas asociados. De una de ellas se obtuvo la información de un sitio asociado a Google Maps y de las dos restantes se analizaron las opciones que ofrece el software Matomo asociado al sitio. Los datos que se obtuvieron corresponden al periodo 2015-2019.
En tanto, de las 7 revistas que están en SciELO, se recogieron datos de visualizaciones de los HTML y PDF, que consideraremos como descargas, entre agosto de 2017 y junio de 2019 en el sitio de SciELO analytics. Y, para las 7 revistas en Redalyc se capturaron las descargas en el mismo período.
Las altmetrics detectadas se obtuvieron de la base Dimensions, ya que ninguna de las 11 revistas ofrecía algún dato de este tipo en su propio portal. Esta plataforma dispone una versión gratuita en la que se puede identificar el uso de los contenidos de una revista en diferentes circuitos tales como blogs, Twitter, Facebook, Mendeley o Wikipedia, entre otros. Se obtuvieron de esta manera datos de 8 revistas a partir de búsquedas realizadas en agosto de 2020.
La variación de rangos en las fechas de datos para analizar las variables de alcance dependió de las facilidades que ofrece cada herramienta y fuente utilizada, especialmente de las posibilidades de búsquedas combinadas. Siempre se apuntó a homogeneizar con el rango de fechas de datos de citación de la fuente inicial de datos, la edición diciembre 2018 del SJ&CR.
4. Resultados
4.1 Citación
Para analizar la citación se trabajó con los 11 títulos de la muestra, que se extrajeron inicialmente del SJ&CR, de los cuales 10 son publicados en versión digital mientras que el restante, Estudios Migratorios Latinoamericanos (ISSN 0326-7458), dispone hasta la actualidad únicamente de una versión impresa [9].
En la Tabla 1, se observa que ninguna de las revistas está en el primer cuartil (Q1) del SJ&CR, de su categoría en el área de ciencias sociales, 4 revistas están en el segundo cuartil (Q2), 3 en el tercero (Q3) y 4 en el cuarto (Q4). El índice de citación, SJRI, de las revistas varía entre 0,101 y 0,420. En tanto las citas contabilizadas a 2018, en sus valores absolutos, muestran que las cantidades no son significativas, además de una variación importante relacionada seguramente con la especialidad disciplinar.
Al comparar estos datos con los provistos en los indicadores de GS, se destaca, por un lado, que en la cantidad de citas recibidas por revista hay un gran aumento respecto a las registradas en SJ&CR, las diferencias varían entre 4 y 67 veces más de citas recibidas en esta fuente. Por otro, se observa que la disparidad en los índices H de ambas fuentes es variada, preponderando el aumento desde GS: en 3 revistas se mantiene igual, en 6 se duplica y en una se suma un tercio.
En el caso de Estudios Migratorios Latinoamericanos, no se registraron para este título citas en ninguna de las dos fuentes, lo que lleva a pensar que la falta de una versión digital influye negativamente en la citación. En tanto, la disponibilidad de información de cuartiles y otros valores, aún con ausencia de citas, abre dudas sobre la actualidad de SJ&CR y su uso sin mayores especificaciones para evaluar las publicaciones de los científicos
Tabla 1 Indicadores de citación de las revistas argentinas de ciencias sociales en SJ&CR y en GS
| Título | SJ&CR (Scopus) | - | Google Scholar (desde Publish or Perish) | ||||||
| Mejor cuartil en Categoría | SJRI | Valor mínimo del SJRI del Q1 en su categoría | H | Índice H mínimo de la categoría | Citas 2018 (2015-2017) | - | Citas (2015-2017) | Índice H (2015-2017) | |
| Intersecciones en Antropología | Q2 | 0,420 | 0,464 | 9 | 4 | 75 | - | 413 | 9 |
| Antiguo Oriente | Q2 | 0,174 | 0,354 | 3 | 1 | 4 | - | 21 | 3 |
| Arqueología | Q2 | 0,173 | 0,354 | 6 | 1 | 17 | - | 249 | 8 |
| Quinto Sol | Q2 | 0,136 | 0,223 | 3 | 1 | 7 | - | 145 | 6 |
| Información, Cultura y Sociedad | Q3 | 0,159 | 0,528 | 4 | 5 | 8 | - | 221 | 7 |
| Mundo Agrario | Q3 | 0,149 | 0,624 | 8 | 7 | 18 | - | 518 | 13 |
| Zaranda de Ideas | Q3 | 0,106 | 0,354 | 3 | 4 | 4 | - | 23 | 3 |
| Población y Sociedad | Q4 | 0,121 | 0,646 | 3 | 7 | 7 | - | 152 | 7 |
| Synthesis | Q4 | 0,103 | 0,345 | 1 | 2 | 0 | - | 28 | 3 |
| Anclajes | Q4 | 0,102 | 0,345 | 2 | 1 | 1 | 1 | 68 | 4 |
| Estudios Migratorios Latinoamericanos | Q4 | 0,101 | 0,646 | 7 | 7 | s/d | - | s/d | s/d |
Fuente: Elaboración propia (2020)
Como complemento, se analizaron la citación y el posicionamiento de los 10 artículos más citados en Scopus de tres revistas correspondientes a cada uno de los cuartiles 2, 3 y 4 (Anexo, Tablas 1, 2 y 3 ) en relación con los mismos datos obtenidos del perfil en GS de cada revista. La diferencia en el número de citas recibidas en los diez artículos más citados en Scopus llega a ser entre 5 y 29 veces cuando uno usa las citas de GS para las tres revistas. En relación con el posicionamiento de los artículos, también se pueden ver diferencias notables. En la revista que se encuentra en el cuartil 2 (Arqueología), ninguno de los diez artículos más citados en Scopus se encuentran en los diez más citados en GS; en la revista del cuartil 3 (Mundo Agrario), 4 artículos coinciden entre los 10 primeros en ambas fuentes, mientras que la revista del cuartil 4 (Población y Sociedad) existe una sola coincidencia. La diferencia de posicionamiento y citación se refuerza todavía con mayor énfasis al consultar los artículos más citados de cada revista en cada plataforma. Por ejemplo, el más citado de la revista Arqueología tiene 92 citas en GS mientras que el más citado en Scopus es un artículo diferente que tiene solo 10 citas.
4.2 Accesibilidad
Para conocer las características de accesibilidad que estas revistas reunían se analizaron los ítems que se muestran en la Tabla 2. Por un lado, se encontró que las 10 revistas, con versión digital, disponen de un portal propio y todas siguen un modelo de AA, sin cobro de procesamiento de los artículos (Article Processing Charge -APC). Ocho de estas utilizan OJS (4 en su versión 3 y 4 en su versión anterior 2 [10]) y DOI como indicador persistente, una utiliza Dspace (forma parte del repositorio de la Universidad editora) y handle, y la restante corre sobre Wixsite y no tiene identificador persistente. Asimismo, las 8 revistas que utilizan OJS tienen configuradas la opción de incluir las referencias bibliográficas como metadato al artículo para amplificar la accesibilidad.
Por otro lado, se halló que todas ofrecen una versión en PDF de cada artículo, siendo el formato de visualización predilecto. Al ver la disponibilidad en otros sistemas, se observa que las 7 revistas que están en SciELO también están en Redalyc. Esto permite especular con que estas tendrían a disposición la variedad de formatos de visualización que las bases de datos exigen, HTML, XML-JATS y E-PUB (este último en el caso de Redalyc) para incluir en la web propia de la revista, sin embargo, se notó que solo 2 revistas utilizan PDF, HTML e E-PUB de Redalyc y tres agregan al PDF un HTML no derivado del XML-JATS.
Tabla 2 Accesibilidad de las revistas argentinas en ciencias sociales indizadas en SJ&CR
| Título | Tipo de acceso | Plataforma de edición | Formatos visualización | Identificadores persistentes | Referencias como metadatos | Redalyc | SciELO |
| Intersecciones en Antropología | AA | OJS2 | DOI* | no | SI | SI | |
| Antiguo Oriente | AA | DSpace | handle | no | no | no | |
| Arqueología | AA | OJS3 | DOI | si | no | no | |
| Quinto Sol | AA | OJS2 | PDF-HTML | DOI | si | SI | SI |
| Información, Cultura y Sociedad | AA | OJS3 | PDF-HTML | DOI | si | SI | SI |
| Mundo Agrario | AA | OJS3 | PDF-HTML-EPUB | DOI | si | SI | SI |
| Zaranda de Ideas | AA | Wixsite | no | no | no | no | |
| Población y Sociedad | AA | OJS2 | PDF-HTML | DOI | si | SI | SI |
| Synthesis | AA | OJS3 | PDF-HTML-EPUB | DOI | si | SI | SI |
| Anclajes | AA | OJS2 | PDF-HTML | DOI | si | SI | SI |
Fuente: Elaboración propia (2020)
4.3 Alcance
De las 10 revistas con portal propio se encontró que tres ofrecen datos sobre descargas por artículo (para los últimos 12 meses): dos estadísticas generales desde la herramienta Matomo (generales de la revista), y unas estadísticas generales, de manera acotada, desde Google Maps. Por lo tanto, el cálculo de los indicadores para medir el alcance se vio limitado: se pudieron analizar las visualizaciones –vistas generales- y descargas de manera agregada más allá del último año solo para tres revistas. Los datos de estas revistas entre 2015 y 2019 se exponen en la Tabla 3.
Tabla 3 Visualizaciones y descargas de las revistas argentinas en ciencias sociales indizadas en SJ&CR desde el propio sitio de la revista
| Título | Visualizaciones y descargas | ||||
| - | 2015 | 2016 | 2017 | 2018 | 2019 |
| Antiguo Oriente | 885 | 1162 | 1205 | 1286 | 314 |
| Mundo Agrario | 321563 | 444993 | 80817 | 14046 | 18840 |
| Synthesis | 3954 | 4416 | 3435 | 2350 | 3556 |
Fuente: Elaboración propia (2020)
Los escasos datos de uso y alcance extraídos de los portales de las revistas se complementaron con datos de descargas y visualizaciones de las 7 revistas incluidas en SciELO y Redalyc. De SciELO se obtuvieron datos de visualizaciones de HTML y PDF y de Redalyc de descargas, de ambas bases de datos para el periodo 2017-2019 (Figura 1). En ambos sistemas coincide un flujo de descargas más alto para tres revistas: Intersecciones en Antropología, Información, cultura y sociedad y Mundo Agrario. Mientras que las cuatro restantes, con menor frecuencia de descargas, también mantienen un movimiento similar en ambas bases de datos. Esta categorización por usos no coincide totalmente con su ubicación en los cuartiles a los que pertenecen en el SJ&CR en sus categorías, o sea, salvo Intersecciones en Antropología que está entre las más usadas y en cuartil 2 (Q2), las otras dos más usadas se encuentran en los cuartiles 3 (Q3) y 4 (Q4) de sus categorías respectivas.
Fuente: elaboración propia, 2020
Figura. 1 Visualizaciones y descargas en Scielo y Redalyc (2017-2019) de las revistas argentinas de ciencias sociales indizadas en SJ&CR
En cuanto a los indicadores altmétricos se pudo observar que, de las 10 revistas en línea, una no tiene identificadores persistentes, lo cual hace casi imposible la identificación de métricas alternativas, ya que los sistemas que analizan el alcance de los artículos en redes sociales y entornos virtuales no tradicionalmente científicos utilizan, específicamente el DOI como elemento para rastrear el movimiento en la red de cada artículo. De las 9 restantes, una usa Handle como identificador y las otras 8 utilizan DOI. Aunque es posible usar los DOI para asociar cada artículo con servicios como Altmetric.com o Plum Analytics, ninguna de las revistas visualiza los indicadores en sus páginas. La búsqueda de las revistas en Dimensions confirma la poca actividad en redes sociales.
Tabla 4 Citas y altmetrics en Dimensions de las revistas argentinas de ciencias sociales incluidas en SJ&CR
| Título de la revista | Años incluidos | Número de artículos | Citas | Número de artículos con Altmetrics | Mendeley | ||
| Intersecciones en Antropología | 2019 | 11 | 3 | 0 | - | - | - |
| Arqueología | 2018-2020 | 85 | 22 | 1 | 1 | - | 8 |
| Información, Cultura y Sociedad | 2018-2020 | 50 | 2 | 9 | 4 | 24 | - |
| Mundo Agrario | 2017-2020 | 100 | 18 | 3 | 1 | 4 | 6 |
| Quinto Sol | 1997-2020 | 262 | 114 | 5 | - | 12 | 7 |
| Población y Sociedad | 2018-2020 | 29 | 3 | 0 | - | - | - |
| Synthesis | s/d[11] | s/d | s/d | s/d | - | - | - |
| Anclajes | 2013-2020 | 165 | 5 | 0 | - | - | - |
Fuente: Elaboración propia (2020)
En la Tabla 4 se identificó la cantidad de artículos de cada revista que incluye Dimensions. Se puede observar que, de los 702 artículos, solo 18 tuvieron actividad en alguna de las redes monitoreadas por este sistema. Los usos identificados se refieren mayoritariamente a interacciones en Twitter (40) y Mendeley (21) y le sigue Facebook (6). Tres revistas no muestran ningún movimiento en las redes y una de ellas solo 1. Esta escasez de usos en la red pone en cuestión la representatividad de la fuente para medir el alcance y valorar la visibilidad integral de las revistas.
5. Discusión
Los datos obtenidos y analizados, principalmente de fuentes gratuitas, son un primer paso para demostrar las limitaciones de SJ&CR como fuente de evaluación. Aunque el uso de esta fuente se siga imponiendo, aún en países como Argentina, donde no es requisito obligatorio (Vasen y Lujano Vilchis, 2017), el análisis presentado aquí demuestra las posibilidades que ya existen para comprender la visibilidad de las publicaciones de manera integral cuando se usan fuentes más diversas e inclusivas. Estas fuentes no solo se presentan como alternativas a WoS y SJ&CR, sino que también documentan cómo los datos obtenidos desde el SJ&CR presentan solo una pequeña versión de la realidad que puede ser poco representativa. En este sentido, nuestro análisis afirma el alto nivel de exhaustividad de GS, en comparación con SJ&CR, que indican Martín-Martín, Orduna-Malea, Thelwall y Delgado López-Cózar, (2018).
Al estudiar los datos de citación de GS a través de PoP se pudo ver que se alteran tanto las frecuencias acumuladas como el posicionamiento de los artículos que alcanzan mayor citación. La diferencia entre las fuentes es particularmente notable cuando se examina la gran variación del índice H al comparar cada una de las fuentes. A diferencia de los cuartiles en SJ&CR que varían dependiendo de la categoría, el índice H se mantiene unívoco en cada revista. Sin embargo, cuando se usa GS como fuente, el valor de este llega a duplicarse y, en algunos casos, hasta triplicarse en relación con el obtenido desde SJ&CR afirmando el estudio de Romero-Torres y otros (2013). Estas diferencias entre las revistas en cuartiles 1 y 2 y las de cuartiles 3 y 4, deberían ser consideradas, en especial por las políticas nacionales de ciencia y tecnología que establecen los cuartiles en una sola fuente para categorizar las revistas (Alperin y Rozemblum, 2017). Para este grupo de revistas argentinas de ciencias sociales, se evidenció calculando las diferencias entre los índices de citación de las revistas en los más altos y más bajos cuartiles que lejos está este posicionamiento de expresar una calidad propia de la revista.
Asimismo, la variación en las citas también varía sustancialmente al cambiar la fuente de datos, tanto en el número total de citas encontradas para cada revista como para cada uno de los artículos. Estas grandes diferencias exponen la baja representatividad en Scopus de las disciplinas sociales y regiones como Latinoamérica, en concordancia con el estudio de Aguado-López y Vargas Arbeláez (2016), ya que al cambiar de fuente de Scopus a GS, las revistas y sus artículos la citación se incrementa en todos los casos. Aun cuando los períodos estudiados para cada base no coinciden exactamente, la diferencia en número de citas encontradas es mayor a lo que se podría esperar. Al igual que con el índice H, la misma revista puede tener entre 4 y 67 veces más citas, dependiendo de cuál fuente es consultada. Estas diferencias notorias en la citación tienen aún más significación si recordamos que la búsqueda en GS se limitó a artículos publicados entre 2015 y 2017 para acercarnos al período analizado por SJ&CR.
Las diferencias también se detectan a nivel del artículo, lo cual confirma las premisas detrás de la declaración DORA, que explícitamente exige a cuerpos evaluadores no utilizar indicadores de una revista para evaluar sus contenidos (DORA, 2012), además de resaltar el error que se comete al considerar que la calidad editorial de las revistas se puede medir con solo mirar su indización y citaciones (Vessuri, et al., 2013; Salatino, 2018). Las diferencias que existen a nivel de artículo se evidenciaron también, al estudiar cómo el posicionamiento de los diez artículos más citados en Scopus baja sustancialmente cuando se los busca en el perfil de GS. Es decir, existen una gran cantidad de artículos en GS con una mayor cantidad de citas que los diez más citados en Scopus. Es posible que estas diferencias sean mayores cuando se trata de temáticas locales o regionales dado que reciben mayor citación desde fuentes indexadas por GS, pero no por SJ&CR. Queda pendiente para estudios posteriores y con la ayuda de especialistas en cada disciplina un análisis comparado de citación en referencia al alcance de las temáticas desarrolladas en cada artículo.
Este análisis comparativo entre datos obtenidos de SJ&CR y GS muestra la gran discrepancia que existe respecto a la cantidad de información que abarca la segunda respecto a la primera y, por lo tanto, confirma lo inclusiva que resulta GS frente a la exclusividad de SJ&CR. De esta manera se constata que se podría hacer un análisis de visibilidad en relación con la citación mucho más amplio y representativo utilizando GS o herramientas de similares características.
La búsqueda de información sobre la calidad editorial de las revistas nos llevó a observar un bajo aprovechamiento de las herramientas de edición en general que evidencia un nivel básico de profesionales técnicos trabajando con los equipos editoriales académicos, tal como lo indican Yunta y Artigas (2013) y Llueca (2020). Además, no se reutilizan los recursos que se asignan para preparar los contenidos para SciELO y Redalyc (Banzato y Rozemblum, 2019). Ninguna de las revistas ofrece abiertamente los archivos en XML-JATS, ni utiliza todos los formatos de visualización disponibles al participar en las bases de datos SciELO y Redalyc, solo 2 ofrecen HTML y E-PUB. Esta quizás sea una de las razones por las cuales el uso, medido en visualizaciones y descargas en SciELO y Redalyc resulte mucho mayor que en el propio portal de la revista, lo cual refuerza la idea de Uribe Tirado et al. (2016) al identificarlos como los de mayor representatividad de la región. Es importante resaltar la necesidad de ofrecer diferentes formatos de visualización, especialmente los HTML generados a partir de marcación en XML-JATS, para aprovechar al máximo su potencialidad de cosecha desagregada.
En esta misma línea se encuentra el escaso uso de métricas a nivel artículo y la baja explotación de las herramientas provistas por el propio sistema de gestión utilizado. Por ejemplo, se observó que en aquellas que utilizan los módulos de descarga por artículo en OJS lo hacen solo de los últimos 12 meses, sin distinción de formatos. Tampoco, desde los propios portales de las revistas se ofrecen métricas alternativas, ya sea a partir del DOI y sus servicios asociados o a través del módulo de OJS correspondiente.
Al mismo tiempo, el uso de datos para comprender el alcance demuestra -en el caso de las revistas para las que se pudo obtener estos datos-, al igual que Alperin (2015a), las diferencias entre los artículos más citados y los más utilizados, tanto por otros académicos como por el público en general. Estas diferencias en el posicionamiento de cada revista, tanto con relación a la fuente de datos de citas como en el alcance de cada revista, se puede deber en parte al modelo de acceso y a la capacidad técnica-tecnológica de cada revista. El acceso abierto es preponderante en las revistas estudiadas, al igual que el uso de una plataforma de gestión y publicación (OJS), identificadores permanentes (DOIs) y la participación en bases de datos regionales (SciELO y Redalyc). Tal como hemos argumentado, estas características sobre el funcionamiento de las revistas afectan la visibilidad integral, y, a la vez, hacen posible el tipo de análisis presentado aquí. El esfuerzo de los equipos editoriales por editar los artículos en XML-JATS para obtener los datos sobre las descargas de los artículos desde los sistemas SciELO y Redalyc fueron mucho más consistentes que los escasos datos desde los propios el módulo de estadísticas de OJS.
Finalmente, cabe mencionar que la escasa mención de los contenidos de las revistas en redes sociales y sitios de difusión social detectadas desde Dimensions denotan un bajo esfuerzo editorial por la difusión más allá de las bases de datos bibliográficas científicas. También podría deberse a que los autores o lectores de estas revistas no participan activamente en estas redes. Del análisis realizado se destaca como positivo que el uso de DOI por parte de las revistas hizo posible la recopilación de esta información. Lo que las sitúa en una primera instancia de desarrollo, es decir, una evaluación de la visibilidad integral de una revista puede comenzar por la presencia de estas características y continuar con el análisis de los datos que proporcionan. Para avanzar en este sentido, será necesario que desde la gestión de la revista se tracen estrategias que favorezcan la circulación de las contribuciones en las redes sociales, con base en las prácticas disciplinares, pero a su vez, direccionadas a llegar a todas las audiencias que se consideren podrían tener interés en sus contenidos.
6. Conclusiones
La información acerca de la visibilidad de las revistas argentinas de ciencias sociales obtenida de fuentes más comprensivas muestra que los cuartiles del SJ&CR de Scopus dan una mirada parcial de la misma. Respondiendo a la primera de las preguntas que nos planteamos, la comparación realizada con GS confirma entonces -al menos para este grupo de revistas-, que los cuartiles derivados de datos de Scopus no son indicadores adecuados ni suficientes para comprender su uso, alcance e impacto.
Los silencios hablan, comentó un colega al ver nuestra aflicción durante el desarrollo de la investigación. A través del análisis llevado a cabo se constató que la utilización de herramientas de descripción de usos y alcances a nivel revista, en conjunto con estadísticas a nivel artículo, aporta un importante caudal de información que, mostrada explícitamente en las revistas, ofrecería una idea general y específica de la visibilidad integral. Aunque también quedó en evidencia la escasez de datos para comprender de manera cabal la visibilidad de las revistas de la región.
Podemos confirmar que aún después de invertir tiempo y esfuerzo en la adquisición de datos, los silencios dicen mucho más que los números, las palabras o los gráficos. Ahí donde debería haber alguna información no la hay o es irrelevante. El caso más tangible son las altmetrics, herramienta supuesta como alternativa a datos de citación. Sin embargo, para las revistas de la región, o por lo menos para las analizadas en este artículo, estas métricas no ofrecen información adicional por su ausencia. Se observó que los editores y/o sus instituciones hacen un esfuerzo para la adquisición de DOI, lo cual lleva un costo de dinero y tiempo, pero no aprovechan ninguno de los servicios relacionados, incluso aquellos que son gratuitos.
Otra reflexión de igual importancia, obvia, pero nunca dicha tan abiertamente, es que la extracción de datos desde SJ&CR resultó fácil y rápida. Se pudo comparar datos de las 11 revistas seleccionadas de modo simple y depurado, aunque poco -o nada- decían de su visibilidad e impacto al compararlos con indicadores de otras fuentes. La recolección en estas últimas resultó mucho más lenta de trabajar, procesar y obtener debido a que no fueron consideradas como un servicio de valor añadido por sus editores. Sin embargo, directamente proporcional al tiempo dedicado a la recolección de datos, fue la riqueza de la información recogida, lo que sí decían esos datos y que nos llevan a vislumbrar la verdadera visibilidad de las revistas.
Contestando a nuestra segunda pregunta, el análisis deja nuevamente en relieve que usar una u otra fuente para la evaluación acarreará sesgos importantes. Por esto, en tanto las citaciones sigan siendo un indicador de impacto altamente aceptado por la comunidad científica (Salatino, 2018), valdría la pena que, al menos, aquellos que quieran usar los cuartiles de SJ&CR para evaluar a las revistas y a la investigación, lo hagan tomando en cuenta las diferencias entre posiciones y citaciones de los artículos según la fuente de datos utilizada. A pesar de que los datos del SJ&CR de Scopus sean más fáciles de obtener, las diferencias con los datos obtenidos desde GS son notables, y muestran los intereses de diversos públicos que tienen las revistas. En esta línea, los datos obtenidos de GS, de revistas de alcances disciplinarios semejantes podrían ser una herramienta de gran utilidad para los evaluadores, ya que abarcaría un universo más inclusivo y con una presumible visibilidad similar.
Por otro lado, al explorar la tercera y última pregunta de este estudio, se evidenció una relación de la visibilidad y el alcance con la consolidación de prácticas editoriales y el esfuerzo realizado por los distintos grupos. Esta se denota de la visibilidad alcanzada por las revistas que cumplimentan más o menos los aspectos considerados en accesibilidad.
Teniendo en cuenta las características de las revistas analizadas en donde predomina el acceso abierto sin APC, el uso de OJS y la asignación de DOI como identificador unívoco, se sugiere que desde su web ofrezcan a sus usuarios, lectores y/o evaluadores los siguientes indicadores básicos de visibilidad integral:
-
1. Perfil en GS: enlace al perfil desde un lugar visible del sitio de la revista y/o inclusión en la revista de indicadores mínimos desde este perfil tales como citas totales o citas de los últimos años.
2. Compilación de estadísticas de uso capturadas de servicios de analíticas (Mamoto, Google Analytics, etc.):
-
a. Cantidad de artículos publicados por año y/o por meses, al menos de los últimos 5 años,
b. Cantidad de visitas y descargas totales por año y/o por mes, al menos de los últimos 5 años, las que se pueden complementar con:
c. distribución de países desde donde se visita o descarga y rankings de artículos más visitados/descargados y
d. estadísticas de sitios como SciELO y/o Redalyc u otros que el editor crea conveniente.
-
3. Activación de módulos de estadísticas por artículo disponibles en OJS: descargas y visualizaciones de al menos los últimos años.
4. Usos en redes sociales, académicas, etc. a partir de la incorporación de herramientas como Altmetric, Dimensions o Plum Analytics.
Con este conjunto de indicadores es posible realizar cada uno de los análisis que se propusieron durante este estudio y dar, de manera completa, una idea general de la visibilidad integral de la revista.
Estudios futuros, o bien esfuerzos por parte de los editores y las revistas mismas, podrían avanzar en la disposición de estas métricas en los portales de las revistas lo cual permitiría tener, por primera vez, la posibilidad de conocer la visibilidad integral de las 850 revistas argentinas en ciencias sociales y humanidades identificadas recientemente por Salatino (2018), de las cuales no contamos con información fehaciente de su citación y alcance al no estar incluidas en las bases de datos consideradas de corriente principal.
En el mismo sentido, es importante comenzar a proyectar políticas nacionales inclusivas y equitativas que ponderen en el más alto nivel a las revistas en AA, que son publicadas bajo estándares internacionales, que ofrecen metadatos cosechables, que utilizan identificadores persistentes y que permitan indagar sobre el uso, alcance y visibilidad integral de la totalidad de sus artículos y de cada artículo en particular. Este conjunto de características demuestra que una revista tiene visibilidad integral, además del esfuerzo editorial. Considerar este conjunto de propiedades permitirá lograr una categorización más exhaustiva, transparente y actualizada de todas las revistas de la región.
Entonces, ¿qué falta para avanzar hacia la visibilidad integral?: equipos editoriales profesionales que potencien el trabajo de los editores académicos, universidades e instituciones que apoyen este crecimiento, y organismos de evaluación que valoricen los indicadores que realmente digan algo en lugar de privilegiar silencios.
