Español (pdf)
Articulo en XML
Referencias del artículo
Traducción automática
Enviar articulo por email
Citado por SciELO 
Similares en
SciELO 
Permalink
INTRODUCCIÓN
El reconocimiento del emprendimiento como motor de innovación y desarrollo productivo es cada vez mayor, tal como surge del creciente número de países que han implementado políticas destinadas a promover la creación y el desarrollo de nuevas empresas (Audretsch et al., 2007; Kantis y Federico, 2012; OCDE 2016; NESTA, 2015).
En este marco, cada vez es más necesario disponer de evidencias que permitan valorar la contribución efectiva de estas políticas públicas, conocer cuáles funcionan y cuáles no, así como contextualizar bajo qué condiciones ello ocurre (e.g. Hart, 2007; OCDE, 2001, 2007; Bochel y Duncan, 2007; CAF, 2017; Nutley et al., 2000). De este modo, la evaluación de las políticas se ha convertido en una tendencia global, transitando un cambio de enfoque desde los insumos, hacia los productos y resultados atribuibles a la política o programa implementado (Gertler et al., 2011; 2017; CAF 2017). Esta tendencia habitualmente identificada con el enfoque de la evidence-based policy (e.g. Nutley et al. 2007; Head, 2017) ha puesto a las evaluaciones de impacto tradicionales en el centro de la escena1.
Las evaluaciones de impacto, a diferencia de las evaluaciones generales, se preocupan por conocer el efecto causal de un programa sobre uno o más resultados de interés, y buscan cuantificar con rigurosidad científica el impacto directamente atribuible al programa evaluado (Baker, 2000; Gertler et al., 2011; CAF, 2017). Según el Banco Mundial, la evaluación de impacto
(…) mide los cambios en el bienestar de los individuos que se pueden atribuir a un proyecto, un programa o una política específicos. Este enfoque en la atribución es el sello distintivo de las evaluaciones de impacto. Por lo tanto, el reto fundamental en una evaluación de esta naturaleza consiste en identificar la relación causal entre el programa o la política y los resultados de interés (Gertler et al., 2017, p. 4).
Así, la característica distintiva de este tipo de evaluación es el foco en la causalidad y la atribución. Las evaluaciones de impacto habituales comparan los resultados obtenidos por los beneficiarios de un programa (grupo de tratamiento) con los resultados de un grupo de no beneficiarios (grupo de comparación o de control). La identificación de un grupo de comparación es un elemento central de las evaluaciones de impacto, ya que si no hay una estimación válida para este grupo es imposible medir el impacto de la política pública (Aquilino y Estévez, 2015). Se considera que un grupo de comparación es válido cuando (1) tiene las mismas características, en promedio, que el grupo de tratamiento en ausencia del programa; (2) no está afectado por el programa; y (3) es posible asumir que reaccionaría de la misma manera que el grupo de tratamiento si fuera objeto del programa (Gertler et al., 2011; 2017).
La utilización de diseños experimentales (randomized control trials, en inglés), donde ambos grupos se constituyen de manera aleatoria (lotería), permite maximizar la probabilidad de que los grupos sean idénticos en términos de los factores que puedan influir en su participación en el programa o en los resultados de la intervención2. Es por ello que son considerados la referencia en métodos de evaluación de impacto, a la vez que su utilización se está difundiendo de manera acelerada.
Sin embargo, no siempre es posible (o deseable) asignar de manera aleatoria el acceso a un determinado programa y definir de ese modo los grupos de tratamiento y control. Por ello, los evaluadores suelen recurrir a diseños cuasi experimentales. En este tipo de diseños se utilizan distintas técnicas econométricas para poder comparar los resultados de los beneficiarios y del grupo de control, siempre que estos tengan características similares. Estas técnicas pueden agruparse en tres categorías: (I) aquellas que buscan controlar los factores observables (por ejemplo, propensity score matching), (II) las que permiten controlar también los factores inobservables pero fijos en el tiempo (por ejemplo, diferencia en diferencias), y (III) las que buscan reproducir, en un entorno más limitado, la aleatorización de la asignación (por ejemplo, regresión discontinua) (Baruj et al., 2016).
Sin embargo, la complejidad y la incertidumbre intrínsecas al fenómeno del emprendimiento plantean diversos desafíos a este tipo de evaluaciones y sus métodos, demandando un modelo de evaluación más comprehensivo, que reconozca los avances conceptuales verificados en el campo disciplinario del entrepreneurship hacia una mirada más amplia, evolutiva y sistémica del proceso emprendedor y de la creación de empresas dinámicas e innovadoras (e.g. Acs et al.2016; Bruton et al., 2010; Kantis et al., 2004; Kantis et al., 2014; Steyaert, 2007; Verheul et al., 2001).
Al omitir estos desafíos, asociados a la especificidad del emprendimiento, las evaluaciones tradicionales enfrentan el riesgo de acabar realizando contribuciones más modestas a la hora de generar evidencias y conocimientos más sólidos para alimentar tanto al diseño como a la ejecución de las políticas.
Lamentablemente, son muy pocos los trabajos académicos que se dedican a reflexionar y a revisar la práctica asociada a la evaluación de las políticas vinculadas con el emprendimiento, en particular, y con el desarrollo productivo, en general (Lenihan, 2011; Szerb et al., 2016; Crespi et al., 2014; Campos et al., 2014). En este contexto, el presente trabajo tiene como objetivo revisar el estado actual de las evaluaciones de impacto tradicionales de las políticas de emprendimiento y, en particular, avanzar en la identificación y discusión de los principales desafíos y tensiones existentes. De este modo, se busca ayudar a generar mejores evaluaciones y a que la interpretación de sus resultados sea debidamente ponderada a la luz de las limitaciones existentes.
Este trabajo se organiza de la siguiente manera. En la próxima sección, se describen los principales resultados del relevamiento realizado para aproximarse al estado del arte en materia de evaluaciones de impacto de políticas de emprendimiento. Luego, se presentan y discuten las especificidades del emprendimiento (y de sus políticas) y se reflexiona sobre sus implicancias y desafíos para las metodologías de evaluación de impacto tradicionales. Por último, a partir de este conjunto de reflexiones, se ofrecen algunas ideas para la discusión acerca de cómo avanzar hacia la construcción de un enfoque de evaluación de impacto capaz de dar cuenta de estos elementos distintivos del fenómeno emprendedor.
EVALUACIÓN DE IMPACTO EN EL CAMPO DEL EMPRENDIMIENTO: REVISIÓN DE LA LITERATURA EMPÍRICA
Las evaluaciones de impacto constituyen el escalón superior en el famoso esquema propuesto por Storey (1998) de los ''Seis Escalones al Cielo''. Según este esquema, las metodologías de evaluación se dividirían en diferentes escalones según su grado de sofisticación, donde en los escalones iniciales están las metodologías más básicas que buscan relevar las opiniones de los participantes del programa, sin contar con ninguna comparación con un grupo de control. El camino hacia el cielo se recorrería a través de una mayor complejidad técnica, incluyendo un grupo de control y considerando los sesgos de selección.
Sin embargo, una primera cuestión para tener en cuenta es que son muy pocas las políticas de emprendimiento que cuentan con evaluaciones, y menos aun las que realizan evaluaciones de impacto (Lenihan et al., 2007). Esto afecta tanto a los países desarrollados como a los en vías de desarrollo. En efecto, Storey y Potter (2007) muestran que sólo siete de los cuarenta y dos programas públicos de apoyo a emprendedores y pymes de los países de la OCDE revisados por estos autores logran completar los seis escalones propuestos originalmente por Storey (1998).
En este marco, esta sección se dedica a revisar la literatura empírica sobre las evaluaciones de impacto en el ámbito específico del emprendimiento. La finalidad es conocer la situación actual y, a la vez, realizar unas primeras reflexiones sobre bases empíricas, acerca de las brechas existentes entre las características del fenómeno y el modo en que se miden y valoran los efectos de sus políticas. No se pretende, por el contrario, establecer una muestra representativa de su universo.
Para realizar esta tarea se siguieron los lineamientos metodológicos de Webster y Watson (2002) 3. Por un lado, se revisaron working papers y artículos académicos publicados en revistas científicas especializadas y, por otro, evaluaciones y policy papers, tanto de gobiernos nacionales como de organismos multilaterales (BID, FOMIN, Banco Mundial, CAF, OCDE, entre otros) y grupos especializados en evaluaciones de impacto (3IE, IPA, NESTA, entre otros)4. En total se revisaron 95 documentos de los cuales, luego de un primer análisis de pertinencia y relevancia, se consideraron para este estudio unas 43 evaluaciones de impacto (tabla 1). Los principales aspectos comunes entre las evaluaciones revisadas se mencionan a continuación.
Tabla 1 Objeto de la intervención
| TIPO DE BENEFICIO OTORGADO | N | % |
|---|---|---|
| Un solo beneficio | 28 | 65% |
| Capacitación | 10 | 23% |
| Financiamiento | 18 | 42% |
| Más de un beneficio | 14 | 35% |
| Capacitación + Consultoría | 3 | 7% |
| Capacitación + Financiamiento | 5 | 12% |
| Consultoría + Financiamiento | 3 | 6% |
| Capacitación + Consultoría + Financiamiento | 3 | 7% |
| Subtotal financiamiento | 27 | 63% |
| Total | 43 | 100% |
Fuente: Elaboración propia.
En lo que respecta a las características de los programas y políticas cuyas evaluaciones fueron revisadas, es posible señalar que se trata, en general, de programas de ayuda financiera, sea en forma exclusiva (42%) o combinada con otro tipo de apoyos (23%). Este es un resultado interesante que permitió plantear a modo de hipótesis que ello se debe a que los programas de asistencia financiera son más sencillos de evaluar mediante estas técnicas debido a la naturaleza misma del beneficio otorgado (dinero) y la posibilidad de mensurar las variables de interés en forma monetaria y relacionarlas con efectos sobre ventas o inversiones.
Asimismo, poco más de un tercio de las evaluaciones revisadas combinaron más de un tipo de beneficios, lo que hace más difícil poder separar los efectos de cada uno de ellos para definir su impacto. Esto es aún más difícil cuando las complementariedades entre los diferentes tipos de beneficios son relevantes (Crespi, Maffioli et al., 2014). Quizás por ello, este tipo de programas aparezcan menos entre las evaluaciones que utilizan este tipo de técnicas.
Al observar el análisis concreto del tipo de evaluaciones revisadas (tabla 2), se identifica un fuerte predominio de diseños exclusivamente experimentales o cuasi-experimentales (79%). Sólo un 16% combinó métodos cuantitativos y cualitativos como estrategia metodológica. Este primer resultado indicaría que en los hechos el riesgo real está asociado a la falta de enfoques más amplios antes que a la falta de rigor de las técnicas empleadas. En especial, se observa una fuerte presencia de diseños experimentales basados en la asignación aleatoria (60%), frente a un menor número (18%) que utilizó algún método cuasi experimental para definir el grupo de comparación5|6.
Tabla 2 Distribución según método de evaluación
| TIPO DE DISEÑO | N | % |
|---|---|---|
| Experimentales (RCT) | 27 | 63% |
| Cuasi experimentales | 7 | 16% |
| Subtotal | 34 | 79% |
| Diseños Mixtos (cuali y cuantitativo) | 7 | 16% |
| Otros (cuantitativos) | 2 | 4% |
| Total | 43 | 100% |
Fuente: Elaboración propia.
En cuanto a las variables estudiadas (tabla 3), las evaluaciones relevadas muestran una marcada tendencia a centralizarse en aquellas que están relacionadas con el desempeño de las empresas, tales como las ventas o la rentabilidad (58%), y el empleo (33%). Más atrás aparecen la creación o supervivencia de las empresas (26%). La evaluación de variables, tales como las actitudes de los propios emprendedores o sus redes de contacto, tienen una frecuencia muy inferior a las anteriores.
Tabla 3 Variables de impacto evaluadas
| VARIABLES | N | % |
|---|---|---|
| Rentabilidad o ventas | 25 | 58% |
| Empleo | 14 | 33% |
| Creación o supervivencia | 11 | 26% |
| Acceso a financiamiento/capital | 8 | 19% |
| Expansión del negocio | 5 | 12% |
| Redes | 4 | 9% |
| Innovación | 3 | 7% |
| Competitividad | 2 | 5% |
| Calidad del proyecto | 1 | 2% |
| Subtotal empresa/proyecto | 39 | 91% |
| Competencias técnicas | 14 | 33% |
| Actitudinales/Motivacionales | 7 | 16% |
| Subtotal emprendedor | 15 | 35% |
| Red institucional | 2 | 4% |
| Cultura emprendedora | 2 | 4% |
| Subtotal ecosistema | 3 | 7% |
| Total | 43 | 100% |
Fuente: Elaboración propia.
Asimismo, se advierte la casi ausencia de cualquier medición de impacto indirecto, por ejemplo, sobre el ecosistema emprendedor (instituciones o cultura emprendedora) o sobre otros emprendedores. En conjunto, este tipo de variables ha sido incluido en apenas tres estudios que utilizaron diseños mixtos con entrevistas a actores clave para captar estos efectos indirectos.
Finalmente, en lo que respecta a los resultados de las evaluaciones relevadas, existen diferencias importantes, entre ellas las que están basadas en variables de desempeño y aquellas que se centran en las competencias técnicas de los emprendedores. En el primer caso, los resultados alcanzados por los programas exhiben un alto grado de heterogeneidad. Por el contrario, en el segundo grupo tienden a ser más homogéneos y predominan los impactos positivos. Incidir sobre el desempeño de la empresa parecería ser más complejo que hacerlo sobre las habilidades, aptitudes o actitudes de los emprendedores. Por ejemplo, los factores ambientales e internos que acaban incidiendo sobre la creación y desempeño de las empresas son más diversos y variados que en el caso del desarrollo de las competencias de un emprendedor. No resulta sencillo discernir, sin embargo, cuánto de la heterogeneidad observada en los resultados de las evaluaciones centradas en el desempeño expresa la dificultad de los programas para dar cuenta de tales complejidades y cuánto tiene que ver con los desafíos que estas complejidades les plantean a las propias metodologías de evaluación, con su necesidad de controlar los distintos factores intervinientes.
La próxima sección se dedica, precisamente, a identificar y analizar las especificidades propias del proceso emprendedor y su incidencia sobre las evaluaciones de impacto.
CARACTERÍSTICAS ESPECÍFICAS DEL FENÓMENO EMPRENDEDOR Y DE LAS POLÍTICAS QUE INCIDEN SOBRE LAS EVALUACIONES DE IMPACTO
A continuación, se identifican las principales especificidades del proceso de emprendimiento y los desafíos que plantean a la hora de realizar evaluaciones de impacto. Estas están asociadas a su carácter evolutivo y sistémico, a la importancia de la dimensión organizacional y de las variables no observables.
EL CARÁCTER EVOLUTIVO Y SISTÉMICO- ORGANIZACIONAL DEL EMPRENDIMIENTO Y SUS POLÍTICAS
El emprendimiento es un proceso que incluye varias etapas (por ejemplo, gestación, start up, desarrollo temprano y expansión o scale up) y que suele llevar varios años desde que las personas adquieren la motivación por emprender hasta que logran crear la empresa (e.g. Gartner, 1985; Carter et al., 1996; Kantis et al., 2004; Shane, 2003, Shapero y Sokol, 1982). Según los modelos de desarrollo organizacional y del ciclo de vida de las empresas, durante estas fases el proyecto emprendedor y los emprendedores evolucionan (Stanworth y Curran, 1976; Johannisson, 1987).
Los estudios sobre instrumentos y programas tienden a reconocer - cada vez más - estas etapas y evolución (Lundström y Stevenson, 2001; Kantis et al., 2004; Audretsch et al., 2007). Sin embargo, las evaluaciones revisadas no reconocen esta situación. En particular, es importante señalar que una intervención puede afectar tanto al proyecto de empresa como a los emprendedores. Si la evaluación se centra en los impactos a nivel de la empresa, como suele ocurrir en las evaluaciones, se pierde de vista los efectos sobre los emprendedores.
Por otra parte, las evaluaciones tienden a llevarse a cabo una sola vez en el tiempo, usualmente al final, y no incluyen modelos evaluativos que articulen mediciones consecutivas en el tiempo, ni de carácter longitudinal. Se ignora así la naturaleza evolutiva y dinámica del proceso emprendedor y sus impactos (Lenihan, 2011). Tampoco captan las influencias intertemporales de los diversos programas en los que los emprendedores van participando a lo largo del tiempo. Por ejemplo, es muy común participar en un programa de desarrollo de capacidades emprendedoras primero y, más tarde, en uno de incubación o de capital semilla. Esta situación constituye un desafío para las evaluaciones.
Asimismo, los efectos de las intervenciones toman tiempo hasta que se materializan en algunas dimensiones observables y mensurables del negocio. Esta característica, también compartida con otros tipos de políticas, como las de fomento a las exportaciones (Wright et al., 2007) o las de innovación (Lenihan 2011), hace que al diseñar las evaluaciones haya que considerar el conjunto de indicadores a medir, tanto durante la ejecución (siembra) como después (cosecha). Los desafíos pasarían por identificar los impactos esperables en el corto, mediano y largo plazo (Lenihan, 2011). Es necesario contar con una teoría del cambio adecuada.
Por otro lado, el fenómeno emprendedor es sistémico. Se trata de un proceso creativo complejo que se ve influido e influye, transforma, contextualiza y altera el espacio de la sociedad en el que se desarrolla (McKelvey, 2004; Steyaert, 2007; Steyaert y Katz 2004; Johannisson 1987). Intervienen diversos factores sociales, culturales y económicos (Acs et al., 2016; Kantis et al., 2004, 2014). Se verifican numerosas interacciones entre los diversos factores y actores que intervienen, lo que afecta el proceso de emprendimiento y el ambiente dinámico que ha tendido a ser denominado ''ecosistema emprendedor'' (e.g. Stam y Spiegel, 2017; Brown y Mason, 2017; Isenberg, 2011).
Las políticas de emprendimiento pueden generar también efectos no esperados sobre otras dimensiones del ecosistema, más allá de los emprendimientos y las nuevas empresas. Un caso muy frecuente es el efecto sobre la visibilidad externa de los proyectos beneficiados, o sobre la cultura y la generación de nuevas vocaciones emprendedoras por efecto de demostración generado por algunos beneficiarios7. De este modo, el impacto de un programa se propaga más allá del efecto buscado sobre la empresa beneficiaria. Las evaluaciones de impacto tradicionales encuentran dificultades para poder captar e incorporar estos efectos, externalidades, en el caso de las políticas de innovación (Bamberger et al., 2016; Lenihan, 2011; Crespi et al., 2014) o de clusters (Casaburi et al., 2014).
Captar estos efectos sistémicos constituye un desafío. De hecho, las evaluaciones de impacto analizadas no consideran la dimensión institucional, lo cual omite el rol de los gobiernos y las distintas organizaciones (incubadoras, aceleradoras, fondos, etc.), a través de las cuales suelen implementarse los distintos instrumentos. Ellas y sus relaciones conforman la cadena de valor del ecosistema institucional de servicios de apoyo a emprendedores. En varios casos, inclusive, los programas evaluados forman parte de una ''organización madre'' como una universidad, asociación empresaria, entre otras (Kantis, 2003; 2017).
La dimensión organizacional incide de manera significativa sobre los resultados de las políticas y programas. Las motivaciones, los incentivos, la cultura, los mandatos, los procesos de gestión y las capacidades organizacionales de estas instituciones y sus actores clave, como, por ejemplo, el gerente de la institución, son fuente de heterogeneidades importantes en los resultados de los programas (Cornick et al., 2014; Angelelli et al., 2017; Kantis, 2017).
Asimismo, estas organizaciones co-evolucionan y transitan ciclos de aprendizaje y construcción de capacidades a medida que van ejecutando los programas de emprendimiento. Por lo tanto, es de esperar que el impacto de un programa exceda el estricto resultado relacionado, por ejemplo, con las ventas, o el empleo del emprendimiento beneficiario, dado que también puede haber efectos no económicos sobre los comportamientos individuales y organizacionales (Díez, 2001; Kantis, 2017).
Al igual que ocurre con la naturaleza sistémica, la dimensión organizacional también cuestiona la posibilidad de ceñir las evaluaciones a las variables requeridas por los modelos tradicionales de estimación de impacto. Por consiguiente, resulta necesaria su complementación con otros modelos y técnicas que permitan responder a este tipo de interrogantes y faciliten el estudio de los procesos de transformación, aprendizaje y acumulación de capacidades.
Las especificidades del proceso emprendedor, y las políticas asociadas, desafían a los métodos y técnicas de evaluación de impacto. Aun cuando se logre avanzar en su resolución, de la mano de su sofisticación, subsisten aún aspectos no observables del proceso emprendedor cuya omisión implica estimar en exceso/defecto los efectos de las políticas. A continuación, se aborda esta cuestión.
UNA PARTE ESENCIAL (DEL FENÓMENO EMPRENDEDOR) ES INVISIBLE A LOS OJOS (DE LA EVALUACIÓN DE IMPACTO)
Otro elemento distintivo del emprendimiento, que desafía a las evaluaciones tradicionales, es la importancia de los atributos no observables relacionados, por ejemplo, con las capacidades individuales del equipo emprendedor, especialmente en las primeras fases del emprendimiento y con sus redes de contacto o las interacciones entre los actores del ecosistema. Subestimar o desestimar su influencia podría conducir a mediciones de impacto erróneas o que no logren captar el efecto completo de la intervención. Reconocer los distintos tipos de ''no observables'' es fundamental, tanto para avanzar hacia mejores evaluaciones como para reconocer sus limitaciones a la hora de interpretar sus resultados.
A continuación se identifican y clasifican estas ''oscuridades'' según el tipo de fuente que les da origen. A grandes rasgos, podemos hablar de dos grandes grupos: uno que está vinculado, principalmente, con aspectos propios de la tarea de evaluar y un segundo grupo referido a la brecha existente entre la complejidad del fenómeno del emprendimiento, de un lado, y el grado de avance alcanzado en su comprensión, del otro, cuestión que afecta a la teoría del cambio subyacente a la evaluación.
OSCURIDADES RELACIONADAS CON LA TAREA DE LA EVALUACIÓN
Un primer grupo está asociado a los problemas derivados de la baja disponibilidad de información sobre los beneficiarios o del grupo de control, como el conocimiento de las condiciones iniciales, las trayectorias y el comportamiento posterior a la intervención. Se trata de ''oscuridades de información'' que limitan y, a veces, impiden evaluar el impacto y eficacia de los programas (OCDE, 2009). En el caso del emprendimiento, estas cuestiones suelen ser mucho más frecuentes, por ejemplo, porque la información acerca del punto de inicio es limitada, o bien porque está incluida en proyectos de negocio y equipos emprendedores que encierran un elevado nivel de incertidumbre. Incluir esta información en modelos tradicionales de evaluación de impacto podría requerir de esfuerzos de codificación muy importantes.
Además, cuanto mayor sea la sofisticación de las técnicas de evaluación de impacto a utilizar, mayores serán los requisitos de información (en términos de cantidad y calidad). Cuanto más comprehensivo sea el modelo evaluativo, incluyendo mayor cantidad y diversidad de impactos posibles, mayores serán las necesidades de construir y recolectar información (Lenihan, 2011).
Por último, existen carencias de información derivadas de la casi nula existencia de sistemas de monitoreo de los beneficiarios una vez finalizados los programas. Esto inhibe la posibilidad de realizar evaluaciones de impacto completas ( full impact evaluation), un tiempo después de la intervención. En el caso del emprendimiento, ellas permitirían captar más cabalmente los efectos de la política y la naturaleza evolutiva del emprendimiento. En particular, los tiempos necesarios para empezar a identificar cambios atribuibles a la intervención, obligarían a tener sistemas de monitoreo varios años después de implementado el tratamiento, realidad que dista enormemente de la realidad de muchos países donde el monitoreo (si existe) alcanza sólo a una porción de los beneficiarios y cubre sólo los primeros años inmediatos al tratamiento. Finalmente, el tipo de proyecto y emprendedor apoyado podría ser un factor que intensifique estas dificultades en la obtención de información. Si bien los programas de apoyo a emprendedores de subsistencia, que difícilmente lleguen a constituir formalmente una empresa o sobrevivir varios años, pueden tener dificultades adicionales en la construcción de sistemas de monitoreo, las evidencias empíricas obtenidas a través de la experiencia de los autores en la evaluación de iniciativas que fomentan el emprendimiento dinámico e innovador permiten afirmar que la carencia de información es también un desafío en estos casos8. Por otro lado, la multiplicidad de apoyos que un mismo proyecto o emprendedor puede recibir en el tiempo, llevaría a la necesidad de que los sistemas de monitoreo incluyan un código de ''trazabilidad'' de los beneficiarios que permita su seguimiento en el tiempo.
Estrechamente vinculadas con las oscuridades de información, hay otras asociadas a las herramientas y técnicas econométricas utilizadas en las mediciones de impacto, que denominaremos ''oscuridad técnica''. Si bien se reconoce el avance logrado en el grado de sofisticación de las técnicas econométricas empleadas, subsisten varias limitaciones inherentes a estas, algunas ya comentadas previamente, y que cobran especial relevancia en el campo del emprendimiento. Nos referimos aquí fundamentalmente a las limitaciones de estas técnicas para dar cuenta de algunos aspectos relacionados con la naturaleza sistémica y dinámica del proceso emprendedor.
Por ejemplo, para aplicar técnicas de regresión discontinua, pueden existir dificultades para encontrar un área de coincidencia entre los puntajes (scores) de participantes y no participantes, resultado del proceso de selección de beneficiarios9. También puede suceder que la cantidad de observaciones a uno y otro lado del punto de corte no sean suficientes. Además, los resultados serían válidos sólo para el subconjunto de participantes y no participantes que se encuentran cerca del punto de corte y no para los demás.
En el caso de la técnica de diferencias en diferencias, por su parte, se requiere que exista una situación previa a la intervención contra la cual contrastar, tanto para los participantes como para el grupo de comparación, algo que por definición no sucede en el caso de la creación de una nueva empresa10.
Por otro lado, gran parte del enfoque de evaluación de impacto (aun cuando se use RCT) está orientado a identificar los impactos promedio, aun cuando la mayor parte de los efectos esperados no suelen estar reflejados en ellos, debido a la importancia de los individuos ubicados en los deciles superiores de las distribuciones (Campos et al., 2014). Este caso es de especial relevancia para la evaluación de los programas de emprendimiento dinámico, debido a que los mayores impactos suelen concentrarse en un grupo.
En resumen, este tipo de oscuridades tienen su origen tanto en las limitaciones de la información disponible como en las técnicas empleadas para medir el impacto. Es posible que, a medida que se avance hacia una mayor cultura de evaluación, varias de estas oscuridades puedan ir siendo resueltas, en especial, las oscuridades de información. Sin embargo, aun cuando la sofisticación de las herramientas econométricas siga avanzando, existe otro tipo de oscuridades más profundas relacionadas con la teoría del cambio subyacente a la evaluación cuya resolución parece algo más compleja.
OSCURIDADES RELACIONADAS CON EL EMPRENDIMIENTO Y LA TEORÍA DEL CAMBIO
La conceptualización del proceso emprendedor ha evolucionado desde enfoques individualistas o unidisciplinares (Rees y Shah, 1986; Lazear, 2002; McClelland, 1961) hacia perspectivas más eclécticas y sistémicas (e.g. Acs et al., 2016; Kantis et al. 2004, 2014; Verheul et al., 2001). Ello implica que existen relaciones causales multidireccionales entre dimensiones y efectos de retroalimentación (McKelvie; 2004). Esto cuestiona el ''supuesto de controlabilidad experimental'' positivista, implícito en los modelos evaluativos y abordajes metodológicos de las evaluaciones de impacto. Además, la conceptualización sistémica y la concepción del proceso emprendedor como ''socialmente embebido'', implicó un desplazamiento epistemológico desde el positivismo hacia posiciones más constructivistas, donde los individuos influyen y son influidos por su contexto social inmediato, a medida que van construyendo la realidad (enactment) y dándole sentido (Gartner, 1993; Fletcher, 2006; Downing, 2005). Esta transición desafía los postulados positivistas de los modelos econométricos de evaluación de impacto y revaloriza a los métodos cualitativos, como por ejemplo las narrativas (storytelling) y su aporte para abordar una trama compleja de hitos y eventos que suceden en el proceso de emprendimiento (Steyaert, 2007).
En palabras de Bygrave,
… si queremos entender el fenómeno del emprendimiento, nuestra metodología de investigación debe ser capaz de manejar discontinuidades inestables y no lineales. Es posible que la teoría del caos todavía no pueda ofrecernos una teoría matemática del emprendimiento, pero probablemente sea más relevante que el análisis de las regresiones lineales. El emprendimiento, después de todo, es una ciencia de la turbulencia y el cambio y no de la continuidad'' (traducción de los autores) (Bygrave, 1989).
La revisión de las evaluaciones de impacto incluida en este artículo muestra que los modelos evaluativos no dan cuenta de la evolución en la conceptualización del proceso emprendedor. Aun cuando se logre avanzar significativamente en la incorporación de las múltiples direccionalidades de causa-efecto existentes entre los distintos factores que inciden sobre el proceso de emprendimiento y el desempeño, subsistirán aspectos no observables que limitarán la posibilidad de encorsetar el fenómeno emprendedor dentro del paradigma positivista de las evaluaciones de impacto tradicionales (Nirenberg et al., 2000). Estaríamos entonces en presencia de oscuridades teóricas y epistemológicas.
Incluso más, dado que el emprendimiento es tanto un proyecto económico como existencial, en el que la conducta de las personas y la decisión de emprender, o de persistir en la actividad empresarial - a veces aún a pesar de malos resultados económicos -, no sólo se ve influido por incentivos tradicionales (Storey, 2011; Kambourova y Stam, 2016). Este rasgo comportamental, distante del ''individuo representativo'' y del homo economicus ''maximizador'' y racional, vuelve más complejo el fenómeno y engrosa los elementos ''no observables''.
Otro aspecto que desafía tanto a los marcos teóricos como las posturas epistemológicas es la presencia del componente azaroso en la trayectoria del emprendedor y de sus empresas (Denrell et al, 2014). La influencia de eventos aleatorios, fuera del control del individuo y de la organización, relativiza la influencia de los instrumentos de apoyo sobre los cambios de un emprendimiento o emprendedor. El ''azar'', o la ''suerte'', atraviesa de manera difusa el fenómeno y se mezcla con los demás factores que intervienen, sin que en la actualidad se cuente con marcos conceptuales y, mucho menos, métodos que den cuenta de ella.
Otro concepto ligado al azar, y que también es parte del proceso de emprendimiento, es la serendipia, concepto generalmente utilizado para referirse a resultados, hallazgos o descubrimientos obtenidos de forma imprevista o accidental (Dew, 2009). La serendipia atraviesa las diferentes etapas del proceso emprendedor, en especial aquellas vinculadas con la identificación de una oportunidad, de un potencial mercado o de una nueva técnica. También toma la forma de conversaciones casuales, de eventos no anticipados o de encuentros fortuitos que pueden facilitar el acceso a recursos no previstos. Su importancia está vastamente documentada en las historias de los emprendedores (Dew, 2009).
Sin embargo, la serendipia y el azar suelen quedar relegados al término de error de los modelos econométricos, sin darles la importancia que tienen, por ejemplo, en el proceso de reconocimiento de las oportunidades o de acceso a recursos (Sarasvathy, 2007). La presencia de la serendipia y el azar, y su influencia en el desempeño de los emprendimientos, son aspectos poco explorados en el ámbito teórico, y menos aún en el de las evaluaciones de impacto. Por otra parte, ellas llevan implícito el supuesto de dominancia de las políticas sobre la esfera de decisiones y comportamientos de los emprendedores y sus emprendimientos, cuando en realidad es muy frecuente que los incentivos que estas generan representen apenas una ''dosis homeopática'' en la vida real de los beneficiarios.
En suma, las especificidades que presenta el proceso emprendedor plantean desafíos a las evaluaciones de impacto. Estas particularidades tienen que ver, por un lado, con su carácter dinámico y sistémico-organizacional, y por otro, con la existencia de un conjunto de aspectos todavía no observables asociados tanto a la tarea de la evaluación como a la conceptualización de la teoría del cambio subyacente al modelo evaluativo.
REFLEXIONES FINALES E IDEAS PRELIMINARES PARA ENFRENTAR LOS DESAFÍOS
Una de las primeras contribuciones de este artículo es haber identificado y revisado el estado de situación de las evaluaciones de impacto de políticas y programas púbicos de emprendimiento. Este esfuerzo permitió caracterizar el tipo de ejercicios que suelen realizarse y, a la vez, anticipar algunas limitaciones que presentan para atender ciertos desafíos derivados de las especificidades propias del fenómeno del emprendimiento.
Ello dio el marco apropiado para poder plantear y analizar las especificidades del fenómeno emprendedor y sus implicancias para las evaluaciones de impacto. Estas especificidades se relacionan principalmente con la naturaleza dinámica y sistémica del proceso emprendedor sobre el cual las políticas pretenden impactar, que no se condice con los presupuestos epistemológicos implícitos en las técnicas de medición de impacto, relacionadas con un paradigma positivista que asume relaciones causales claramente definidas, tanto en términos de su dirección como de su magnitud.
A su vez, se identificaron varios aspectos no observables que limitan la posibilidad de atribuir de manera directa los resultados a las políticas, pudiéndose, por ende, subvaluar o sobrevalorar su impacto. Estas oscuridades tienen sus orígenes en limitaciones en la información y en las técnicas empleadas en la evaluación, tanto como en la teoría del cambio subyacente al diseño de las políticas y sus impactos esperados. En particular, se enfatizó la presencia del azar y la serendipia, ambos aspectos de gran relevancia en el proceso emprendedor y cuya inclusión aún constituye un desafío tanto en el plano teórico como en el de las metodologías de evaluación.
A pesar de los esfuerzos que puedan hacerse para considerar los elementos no observables en las evaluaciones de impacto, cabría cuestionarse si, a la luz de las características del fenómeno y del complejo ambiente emprendedor en el que se instrumentan las políticas, cabría esperar que los métodos econométricos, aún en su versión más avanzada, sean capaces de identificar y medir la diversidad de efectos que tienen lugar en el sistema y sus diversos actores.
El conjunto de desafíos planteados en estas páginas no debería, sin embargo, inducir a la adopción de una postura escéptica frente a la posibilidad de avanzar hacia la realización de evaluaciones efectivas, más bien estas evaluaciones se consideran indispensables. Lo que se busca es alertar acerca de las limitaciones existentes y de la necesidad de avanzar hacia una estrategia de evaluación superadora.
En este marco, se ha colocado sobre la mesa la necesidad de ampliar la mirada que ofrecen las evaluaciones de impacto tradicionales no sólo en cuanto a su metodología, sino también en su matriz conceptual y epistemológica. Una de las conclusiones del análisis es que se requiere de un ''enfoque de triangulación'' (Jick, 1979) que combine lo mejor de las metodologías cuantitativas, incluyendo los experimentos, con las cualitativas para abrir la ''caja negra'' del emprendimiento y de las intervenciones. De este modo será posible dar cuenta no sólo de los aspectos más fácilmente observables y medibles, sino también del carácter sistémico-organizacional y dinámico del emprendimiento y de, al menos, parte de los no observables.
El camino propuesto implica diseñar un sistema estratégico de aprendizaje y evaluación que permita avanzar hacia una mejor comprensión de las relaciones explicativas del fenómeno y, por ende, de los efectos atribuibles al programa, tanto los directos sobre los emprendimientos y emprendedores como los indirectos que inciden sobre el ecosistema. Esta vía promete contribuir a la construcción de estrategias y herramientas de evaluación superadoras, capaces de aportar a la formulación de políticas basadas en la evidencia, capitalizando los aprendizajes institucionales y permitiendo ofrecer una mejor rendición de cuentas.
Este sistema debería incluir, en una primera instancia, un esquema de información para el monitoreo y evaluación que sea capaz de permitir el seguimiento permanente de la ejecución del programa a partir de una adecuada línea de base. Contar con un registro de indicadores de gestión y de resultados, y la elaboración de paneles de datos y de reportes de información (sobre los beneficiarios y la gestión del programa), por ejemplo, con base en un marco lógico o un tablero que contenga key performance indicators (KPIs), contribuirían a superar, al menos en parte, los problemas asociados a la ''oscuridad de información''.
De forma complementaria, debería evaluarse la calidad y eficiencia de los procesos, partiendo del análisis del diseño, valuando su racionalidad y pertinencia en el contexto en el que ha sido formulado, y brindando un marco para luego enfocarse en su efectividad y eficiencia11; esto es, mediante la identificación de los logros en términos de los resultados buscados, pero también de los desafíos y lecciones aprendidas en la construcción de activos institucionales tangibles e intangibles a nivel del gobierno y de las instituciones ejecutoras. La elaboración de indicadores para establecer benchmarks organizacionales (Kantis, 2017; 2017a), la utilización del análisis de redes y la perspectiva de multiple stakeholder approach (Gibb 2002) son útiles para captar los efectos del programa sobre las instituciones, así como también la mirada de los distintos actores sobre el programa12. Por ejemplo, uno de los aspectos relevantes a considerar con el auxilio de estas técnicas es la efectividad de la ''cadena de relaciones proveedor-cliente interno'' entre las organizaciones del ecosistema, parte esencial de la dinámica emergente (Kantis 2009, 2010a, 2010b, 2010c y 2012).
Todo ello aportaría un marco de antecedentes muy relevantes para que las evaluaciones de impacto cuenten con inputs adecuados, esto es, que les permitan plantear mejores modelos econométricos a la hora de evaluar el impacto, así como también ganar en profundidad a la hora de interpretar sus resultados, conscientes de sus alcances y limitaciones. De este modo se estaría en mejores condiciones para reducir la oscuridad técnica y aportar elementos acerca de la teoría del cambio que disminuyan la oscuridad teórica y epistemológica.
Finalmente, cabe señalar que, junto con los desafíos e ideas planteados más arriba, y al igual que sucede en otros campos más avanzados del conocimiento como la medicina, no debe subestimarse la relevancia del ''ojo clínico'' del profesional a cargo de la evaluación. Al igual que el ''buen médico'', que interpreta e integra los resultados de estudios realizados con equipamientos de diagnóstico sofisticados con la experiencia que le da su propia trayectoria (conocimiento tácito específico), el evaluador debe estar familiarizado con las especificidades del proceso de emprendimiento que motivaron la realización de este trabajo.
