Introducción¹

El capítulo tiene como propósito ilustrar acerca de la importancia que adquiere en la Argentina estudiar el uso de tutorías privadas. Alrededor de un tercio de los nuevos inscritos en universidades públicas hacen uso de esta modalidad con el propósito de facilitar la transición desde la escuela secundaria a la universidad. Así, la extensión alcanzada por este fenómeno amerita que se tenga en cuenta en los ejercicios de evaluación institucional universitaria que sistemáticamente se llevan a cabo en el país. ¿Existe una mejora académica derivada del uso de tutorías privadas complementarias, particularmente las que tienen lugar durante la transición de la educación media a la universitaria? Muchos de los informes elaborados por la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) traslucen una preocupación por el débil o inexistente impacto sobre el rendimiento académico de los cursos propedéuticos gratuitos impulsados dentro de las universidades nacionales. Sin embargo, no ha sido posible detectar —hasta el momento— referencias que indiquen una preocupación semejante vinculada al uso de tutorías privadas complementarias. A continuación, esta sección introductoria presenta brevemente las características de las universidades públicas que integran este estudio acompañado de un panorama rápido de la evaluación universitaria en Argentina, y finaliza con un repaso de los principales antecedentes internacionales en materia de tutorías privadas que precede la exposición del ejercicio de evaluación de impacto de estas, desarrollado posteriormente en las secciones siguientes.

Contexto institucional para el ingreso en las universidades nacionales de Córdoba y Río Cuarto

La Universidad Nacional de Córdoba (UNC), fundada en 1613 y sede de la Reforma Universitaria de 1918, y la Universidad Nacional de Río Cuarto (UNRC), creada en 1971 en el marco de una política nacional de regionalización y expansión de oportunidades de estudios superiores, poseen una estructura académica similar. Ambas están organizadas por facultades y, a diferencia del contexto internacional prevalente, reivindican el “ingreso irrestricto” en términos de que la posesión de un diploma de finalización de la escuela secundaria iguala las oportunidades para el ingreso a cualquiera de las carreras que ofrecen. Las autoridades de cada unidad académica poseen, no obstante, facultades para regular las estrategias a aplicar a fin de “compensar” por las diferencias en los antecedentes académicos de los candidatos. Por lo general, estas estrategias comprenden, sobre todo, una oferta de cursos de apoyo gratuitos. Dichos cursos se organizan desde las secretarías académicas y en muchos casos cuentan con el apoyo de los centros de estudiantes de cada facultad. Los cursos se dictan típicamente durante el verano previo al ingreso y su duración e intensidad varía por carrera. La percepción de muchas familias es que los distintos instrumentos administrativos de capacitación gratuita puestos en práctica para facilitar el ingreso y la permanencia no resultan suficientes. Por lo tanto, aun en un contexto de ingreso “irrestricto” perciben un beneficio en el uso de tutorías privadas suplementarias durante la transición del secundario a la universidad. En el punto siguiente se observará cómo, de manera significativa, distintos ejercicios de evaluación institucional han reseñado de forma coincidente dudas de los pares evaluadores en relación con el escaso impacto que percibieron por parte de los cursos gratuitos de nivelación ofrecidos por las universidades.

Panorama de la evaluación universitaria en Argentina

Durante la década de los ochenta del siglo XX se establece entre el Gobierno de Argentina y la comunidad educativa internacional una etapa de diálogo de saberes en materia de evaluación de las instituciones educativas, la cual se enmarca en los diversos procesos de modernización de la educación estimulados a partir del Congreso Pedagógico Nacional (1984-1988)². En materia de evaluación universitaria, dicho Congreso puso en evidencia la necesidad de introducir en el país reformas institucionales tendientes a superar una situación extremadamente precaria derivada de su considerable fragmentación, superposición de titulaciones ofrecidas por las universidades nacionales y por los establecimientos del nivel terciario no universitario, y la escasa información institucional de conjunto (Gertel y Jacobo, 2004; Marquis y Sigal, 1993). El diálogo de saberes que se estableció con la comunidad educativa internacional contribuyó de manera más específica a poner en perspectiva la situación nacional en materia de evaluación de universidades (Azevedo, 2001; Marquís y Peñaherrera, 1994). En 1993 se crea en el ámbito del Ministerio de Educación la Secretaría de Políticas Universitarias, y en 1995 se sanciona la Ley de Educación Superior (Ley N.o 24.521), dentro de la cual se establece la forma de evaluación y acreditación de las instituciones universitarias y se produce un software a ser adoptado por todas las universidades nacionales con el propósito de sistematizar los procesos de caracterización del alumno inscrito y medir su grado de avance en la carrera.

En este proceso se produce la creación de la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU), la cual comienza a funcionar en 1996. En lo que respecta a la evaluación institucional, se establece una ruta que contempla una primera etapa de autoevaluación del funcionamiento interno por parte de la universidad que ingresa al proceso de evaluación instalado desde la CONEAU, posterior elevación del documento de autoevaluación a las autoridades, devolución de la CONEAU con propuestas administrativas para proceder a la evaluación externa, discusión de las recomendaciones elaboradas por los evaluadores externos y discusión de fondos que serían necesarios para reforzar mediante inversiones específicas los aspectos indicados por la CONEAU, en coincidencia con las recomendaciones de los expertos y la aceptación de estas por parte de la universidad³

En el “Informe de Evaluación de las Actividades de la CONEAU”, elaborado por expertos independientes en el 2015, se lee que desde su creación,

Sobre un total de 103 instituciones con un mínimo de seis años de funcionamiento para ser susceptibles de someterse a este proceso, 84 han sido evaluadas (81,6 % de total), la mayoría de gestión privada (49), quienes manifiestan en las entrevistas un mayor interés en este proceso. (Cadena, Grieken y Malo, 2015)

Los informes sobre cada una de las 84 instituciones que se sometieron a la evaluación institucional son públicos. De su lectura surge que la caracterización sociodemográfica de los alumnos ha ocupado en uno de cada tres de ellos un cierto espacio, aunque en ninguno se ha recurrido a la utilización de estudios de causalidad entre factores sociodemográficos y de avance en la carrera que ayuden a proponer mejoras en la gestión académica de alumnos. Los informes, típicamente, observan como hecho positivo que las universidades han comenzado a incorporar distintos sistemas de tutorías de apoyo, aun cuando en ningún caso se informa si su efecto sobre el rendimiento ha sido evaluado. Con base en entrevistas realizadas a informantes clave, en varios casos se concluye que el bajo rendimiento podría atribuirse a problemas de socialización anteriores al ingreso (Cangiano y Catalán, 2003; Gutiérrez y Leal, 2017). En otros casos, el informe de autoevaluación directamente reconoce el fracaso de la universidad para atenuar el desgranamiento (del orden del 80 %) (Cangiano y Catalán, 2003).

Se encuentran referencias varias en torno a la selectividad y la heterogeneidad de sistemas de ingreso, y se incluyen recomendaciones para iniciar estudios especializados en la materia que pudieran desembocar en propuestas de políticas adecuadas con el propósito de mejorar la equidad en el acceso. Por fin, los evaluadores señalaron específicamente en varios casos que no se cuenta con información adecuada para proceder a realizar estos estudios (Seiler y Mutchinick, 2015). Muchas recomendaciones de los pares de la CONEAU con miras a mejorar los criterios de selectividad en el ingreso se incorporaron en el cuerpo legal de las universidades y luego las impugnaron las facultades (Bettaglio y Dominguez, 2010).

El panorama de la evaluación institucional, en suma, se ha fortalecido en Argentina en los últimos veinte años, pero parece haber descuidado relativamente el análisis riguroso de los factores causales del retraso observados a través de los indicadores de avance académico. Este trabajo representa un ejercicio de análisis de un aspecto particular de esta problemática: la diferenciación de alumnos ingresantes entre aquellos que asisten y que no asisten a tutorías privadas suplementarias. Además, desarrolla una metodología para medir la diferencia en los resultados de ambos colectivos que se atribuye exclusivamente a su condición de asistente (es decir, eliminando los efectos de sus características socioeconómicas), y a partir de este ejercicio señala posibles direcciones a seguir para incorporar técnicas de evaluación de impacto en la práctica de las evaluaciones institucionales de universidades públicas en Argentina.

Este trabajo se enfoca en el análisis de los efectos de las tutorías exclusivamente privadas, y no de las públicas ofrecidas por las mismas instituciones educativas, debido al déficit de información proporcionada por las universidades a la CONEAU sobre este tema, lo que dificulta su tratamiento dentro de los informes de evaluación externa de las universidades argentinas. Sumado a esto, estudios preliminares independientes muestran la importancia que adquirió en las últimas décadas la oferta de las academias privadas en América Latina, particularmente en Argentina, en el propósito de nivelar los conocimientos de los estudiantes al finalizar el nivel secundario.

La educación suplementaria privada

Las bases de la teoría de la “educación a la sombra” comienzan a conformarse a partir de la aparición de un estudio pionero de David Stevenson y David Baker un cuarto de siglo atrás, quienes tras observar el intenso uso de academias privadas en Japón definen la “educación a la sombra” como “el conjunto de actividades educativas organizadas para mejorar en los estudiantes sus posibilidades de movilidad ascendente dentro del sistema formal” (Mori y Baker, 2010; Stevenson y Baker, 1992). Por su parte, Mark Bray contribuyó a consolidar las bases de la teoría al ir más allá de la definición estricta, y con sus asociados documentó extensamente el alcance, las características y el impacto de las tutorías privadas suplementarias en países asiáticos y distintas regiones del mundo, en los cuales el nivel de exigencia en materia de examen de ingreso universitario es alto (Bray, 1999; Bray, Kwo y Jokic, 2015). Con respecto a los estudios empíricos realizados hasta el momento, son numerosos —como se mencionó anteriormente— los referidos a la región sudeste asiática (Bray y Kwo, 2014; Choi, Calero y Escardíbul, 2011), mientras que un menor número de estudios corresponde a países africanos (Buchmann, 2002), y más recientemente se ha incorporado un conjunto de estudios focalizados en el continente europeo (Ireson, 2004; Silova, Budiene y Bray, 2006).

La evidencia encontrada acerca de los beneficios del apoyo privado sobre el rendimiento académico es, no obstante, inconclusa y contradictoria. Es inconclusa ya que en ocasiones el impacto presenta distintos resultados dependiendo del área que se evalúe. Así, por ejemplo, Berberoğlu y Tansel descubrieron un impacto positivo de las tutorías privadas en Turquía en el área de lenguas y matemáticas, pero nulo en el área de ciencias naturales (2014). Aslam y Atherton (2011), por su parte, hallan un efecto del apoyo académico más fuerte en lenguas que en matemáticas en Pakistán. Resulta contradictorio porque los resultados expuestos por los distintos autores a veces indican un impacto positivo, mientras que otros sugieren ausencia de efecto alguno. De una lectura comparativa de catorce trabajos, ocho revelan un impacto positivo y fuerte, tres un impacto positivo pero modesto, y tres un impacto poco significativo (Nasif y Gertel, 2016). Estas diferencias del impacto de las tutorías privadas en el resultado académico pueden tener sus raíces, por una parte, en factores socioeconómicos, culturales e institucionales, y, por otra, en la definición de “educación a la sombra” y de “resultado académico” adoptadas por los distintos investigadores. Además, en la misma revisión se observaron diferencias en la intensidad del efecto atribuido al uso de tutorías privadas que podrían ser explicadas, en parte, por la elección de los modelos estadísticos. Esta elección se basa en la disponibilidad de información registrada sobre los estudiantes y en la posibilidad de seleccionar controles por diferentes características institucionales, así como también en la experiencia propia del investigador y su análisis de costo-beneficio al aplicar determinada modelización.

En suma, de lo expuesto en los párrafos anteriores se concluye: 1. Intervenciones sociales que persiguen similares objetivos producen impactos diferentes en distintas regiones del mundo, probablemente en razón a las diferencias en las instituciones e incentivos subyacentes; y 2. Las diversas metodologías generalmente aplicadas para medir este efecto generan distintos registros de impacto del apoyo suplementario privado en los resultados estudiantiles, asociado con la escasez y la dificultad de recolección de información sistemática de este fenómeno, entre otras cosas.

Aunque comienzan a aparecer estudios de tutorías privadas en América Latina como los de Mattos y Barros para las ciudades de Río de Janeiro y Bahía en Brasil (Barros, 2008; Mattos, 2007), estos descansan sobre todo en técnicas descriptivas y poseen escaso interés dentro del marco de la evaluación institucional de las universidades, en particular en lo que respecta a la promoción de mecanismos para mejorar el avance académico.

Un estudio preliminar desarrollado durante el 2012 en Argentina utiliza datos de la Universidad Nacional de Córdoba (UNC) para caracterizar a los usuarios de las tutorías académicas y su avance académico. Allí se trata de cómo los usuarios de la tutoría suplementaria privada resultaron ser predominantemente alumnos migrantes, así como mujeres, quienes cursaron estudios secundarios en una especialidad diferente a la carrera universitaria elegida y cuyos padres poseen título del nivel educativo medio o superior (Gertel y Cámara, 2016). En un trabajo posterior de Picasso y Gertel se utilizó la misma información tratada con métodos estadísticos desarrollados originalmente con el objeto de evaluar el impacto de programas sociales, a fin de indagar si los estudiantes de la Universidad Nacional de Córdoba presentan evidencias claras para soportar la hipótesis según la cual la asistencia a tutorías privadas mejora el desempeño académico de quienes las utilizaron en relación con quienes no las utilizaron (Picasso, Meiners y Gertel, 2015). Este trabajo constituye un aporte original a la escasa bibliografía sobre la evaluación de impacto en el uso de tutorías privadas en la región de América del Sur.

El presente trabajo utiliza una nueva muestra ampliada que incorpora ahora información comparable en relación con el uso de tutorías privadas suplementarias en una segunda universidad pública (la Universidad Nacional de Río Cuarto). La incorporación de los nuevos datos permite reducir los sesgos ocasionados por la utilización de muestras de tamaño pequeño, presentes en la investigación anterior. Más importante aún, este estudio incorpora nuevas variables institucionales y espaciales al conjunto de variables explicativas del modelo aplicado por Picasso et al. (2015). Al contribuir a explicar el uso diferencial del mercado de las tutorías privadas bajo contextos institucionales diferentes que comparten un mismo marco legal, el trabajo ofrece resultados de interés al capítulo de acceso y equidad en la evaluación institucional de universidades.

En la sección siguiente se aplica un conjunto acotado de técnicas actuales de evaluación de impacto de proyectos de inversión social con el propósito de responder algunas preguntas asociadas con: 1. La decisión que algunos estudiantes y sus familias toman en relación con el uso de tutorías privadas suplementarias (particularmente, durante su transición desde la escuela media a la universidad); 2. La existencia de un posible impacto de estas tutorías en el rendimiento del alumno al término de su primer año de actuación académica. Los resultados aquí presentados podrían constituir un insumo en el diseño de la agenda en materia de evaluación de universidades nacionales a partir de la detección de fortalezas o debilidades en este mercado paralelo privado.

El trabajo está organizado de la siguiente manera: en primer lugar se desarrolla el diseño de investigación propuesto para el estudio; luego se presenta el abordaje econométrico seleccionado para responder al objetivo indicado en el párrafo anterior; los resultados obtenidos mediante este abordaje se exponen en la siguiente sección, y se concluye con una breve discusión de los resultados.

Diseño de investigación

A fin de estudiar el impacto del uso de las tutorías privadas en la etapa de transición de la escuela secundaria a la universidad se utiliza una muestra representativa de la población estudiantil de la Provincia de Córdoba. Se seleccionan alumnos de las dos universidades públicas que concentran la mayor proporción de masa estudiantil: la Universidad Nacional de Córdoba y la Universidad Nacional de Río Cuarto. Ambas presentan similitudes y diferencias que hacen atractivo tanto el estudio agregado como comparativo sobre el uso que sus estudiantes hacen de las tutorías privadas.

En el caso específico de la carrera de Medicina, en la Universidad Nacional de Córdoba cabe destacar que, al momento de realizarse las encuestas utilizadas en el presente estudio, era necesaria la aprobación de un estricto examen de ingreso basado en conocimientos, explícitamente establecido en la reglamentación de la Facultad. La Universidad Nacional de Río Cuarto imparte la carrera de Veterinaria, no de Medicina, y aun cuando el perfil de los estudiantes resulta comparable, por su mayor propensión a ser usuarios de las tutorías privadas, el ingreso a Veterinaria no requiere de la aprobación de un examen de ingreso.

Muestra seleccionada

Los datos utilizados en este estudio provienen de la encuesta Apoyo Suplementario Universitario Privado (ASUP), llevada a cabo por el Instituto de Economía y Finanzas de la Facultad de Ciencias Económicas de la Universidad Nacional de Córdoba con apoyo del grupo de Inferencia Estadística y Econometría de la Universidad Nacional de Río Cuarto. Dicha encuesta fue suministrada a una muestra seleccionada de 715 estudiantes que culminaron su primer año de actuación académica en las dos universidades públicas mencionadas en el punto anterior, y específicamente en tres carreras en cada universidad⁴. En el caso de la Universidad Nacional de Córdoba se incluyeron las carreras de Derecho, Ciencias Económicas y Medicina. Para la Universidad Nacional de Río Cuarto se consideraron las mismas carreras con excepción de Medicina, la cual se reemplazó por Veterinaria, equiparable en sus niveles de exigencia y el intensivo uso de tutorías privadas a la carrera de Medicina de la UNC.

La tabla A1 (ver Apéndice A) indica la distribución de los casos en la muestra de trabajo por carrera y universidad. El criterio de selección de la carrera consistió en tomar en cuenta casos representativos de facultades con distintos niveles de uso de tutorías privadas. De manera agregada, los datos indican que Ciencias de la Salud registra la mayor demanda de tutorías privadas con un 48 % de los estudiantes encuestados, seguida de Ciencias Económicas con una demanda intermedia del 39 % de los estudiantes encuestados y, finalmente, Derecho aparece como la carrera que menos uso hizo del apoyo suplementario con el 14 % de los estudiantes encuestados.

El muestreo fue de tipo casual⁵ en ambas universidades. En la UNC los alumnos se identificaron en los pasillos de las respectivas facultades, o en las filas de inscripción para examen de materias de primer año durante el último turno de diciembre y de febrero-marzo siguiente. En la UNRC, los alumnos se seleccionaron durante las horas de clases de aquellas materias de segundo año que menos relación tienen con el resultado alcanzado por el alumno en primer año.

Información solicitada

Los principales desafíos durante la etapa de diseño de ASUP fueron identificar las dos variables críticas: asistencia a tutorías y avance académico al término del primer año de la carrera. En relación con el primer aspecto crítico (la asistencia a tutorías) se preguntó al alumno sobre su condición de haber asistido a tutorías privadas durante la transición de la escuela secundaria al nivel universitario. Con respecto al segundo aspecto, se introdujo un índice de avance académico para cuyo cálculo fue necesario recopilar información sobre el número de materias aprobadas por el estudiante al término del primer año universitario. Este índice de avance académico se construyó como un concepto de distancia lineal al vincular el número de materias que el entrevistado reportó como de primer año y aprobadas, en relación con el total de materias de primer año indicadas en el plan de estudios.

El cuestionario aplicado proporciona información adicional sobre: 1. Datos personales; 2. Características socioeconómicas del estudiante y su familia; 3. Experiencia educativa previa; 4. Experiencia personal en el ingreso a la universidad; 5. Experiencia como nuevo inscripto; y 6. Uso de las tutorías privadas.

Finalmente, se contó con 14 variables útiles para el estudio del impacto de las tutorías privadas en el rendimiento estudiantil. En la tabla A2 (ver Apéndice A) se define cada una de estas variables utilizadas a lo largo del trabajo, agrupadas en tres categorías: características del alumno, características de la escuela secundaria y características socioeconómicas del alumno. Adicionalmente, en la tabla A2 se indica el efecto que se espera estas tengan, según la literatura, sobre la probabilidad de que el alumno haga uso de las tutorías privadas. Como una tabla resumen de los datos provistos por ASUP, en la tabla A3 se caracterizan los 715 estudiantes según la condición “Asistió” y “No asistió” a tutorías privadas. De esta información se desprende que demandan proporcionalmente más las tutorías privadas las mujeres, los alumnos provenientes de otras localidades, los alumnos provenientes de escuelas privadas (de mayor calidad educativa y de mayor nivel de exigencia y con un menor nivel de correspondencia entre la orientación del nivel secundario y la especialización de la carrera elegida). Mientras que la cantidad de alumnos que asistieron con padres que poseen título terciario o universitario es similar a la cantidad de alumnos que asistieron con padres sin título.

Estos datos se procesaron con el fin de generar el input de la presente investigación, y posibilitar así la aplicación del modelo econométrico que se introduce en la siguiente sección.

Abordaje econométrico

Se busca estimar el efecto causal asociado con la asistencia a tutorías privadas universitarias en el rendimiento académico del alumno al término del primer año de la universidad. El principal desafío que se presenta en lograr este propósito es responder a una pregunta de tipo contrafactual: ¿Cómo aquellos estudiantes que recibieron apoyo suplementario privado se hubieran desempeñado en ausencia de dicha intervención? A fin de responder a este interrogante es imprescindible contar con información de un mismo individuo en los dos estados de tratamiento (“Asistió” y “No asistió”), en un determinado momento del tiempo. Por ejemplo, si fuera posible definir dos estados alternativos para cada estudiante i:

Di = { 1 Si "i" asiste a tutorías privadas 0 Si "i" no asiste a tutorías privadas

Se podría obtener el impacto del tratamiento sobre el índice de avance de dicho individuo, por medio de la diferencia (Δ) entre el índice de avance potencial en caso de haber demandado los servicios de tutorías (yic), la variable resultado, y el índice de avance potencial en el caso de no haberlo hecho (yit), la variable de control. Es decir:

Δ=yit-yic

Lógicamente, un mismo individuo no puede ser observado en ambos estados simultáneamente, por lo que Δ no es posible de estimar. Sin embargo, sí es posible obtener medidas del efecto promedio del tratamiento sobre la muestra estudiada (bajo distintos supuestos), al calcular la diferencia de medias estimadas no condicionadas de los resultados alcanzados por el grupo de tratados (asisten a tutorías) y no tratados (no asisten a tutorías) de la siguiente forma:

d^=Ê(y|D=1)-Ê(y|D=0)

No obstante, este método sencillo no es siempre aconsejable de aplicar puesto que los efectos del tratamiento d ̂ pueden verse sesgados por comparar dos subpoblaciones heterogéneas en sus características. El impacto estimado de la asistencia a tutorías privadas sobre el índice de avance podría aparecer contaminado por otros efectos (además del tratamiento), potencialmente derivados de la presencia de distintas características no controladas, como, por ejemplo, las características de la escuela secundaria de la que procede el alumno. Esto es lo que en la literatura se denomina sesgo de (auto)selección (Duflo, Glennerster y Kremer, 2006; Heckman, Ichimura y Todd, 1998) y es el que genera que sea un estimador sesgado. Para que d^ sea un estimador no sesgado es necesario que se cuente con un diseño experimental por el cual se asegure que las unidades estudiadas sean asignadas aleatoriamente entre los grupos que asistieron y no asistieron a tutorías, y que ambos grupos sean homogéneos en sus características. No obstante, el uso de los diseños experimentales en la economía empírica referente a intervenciones sociales es poco frecuente, dado su alto costo social y económico de implementación. Esto conduce a la utilización de diseños cuasiexperimentales, como es el caso de la encuesta ASUP.

A fin de corregir este sesgo de (auto)selección presente en este estudio cuasiexperimental, la literatura recomienda estimar medias condicionadas de manera que tanto en la muestra de tratados como en la de no tratados se haya previamente controlado por un vector de características observables y, así, los individuos resulten comparables excepto en su estado de tratamiento. La literatura, para este caso, expone tres indicadores a estimar focalizados en responder a distintas cuestiones: efecto promedio del tratamiento, efecto promedio del tratamiento sobre los tratados y efecto promedio del tratamiento sobre los no tratados; cada uno de ellos se explican de forma breve en el Apéndice B. En este capítulo se considera solo el efecto promedio del tratamiento sobre los tratados, indicador que mide la ganancia del grupo bajo tratamiento (que asistió) en relación con el grupo no tratado (que no asistió). Los otros dos indicadores no se consideraron en esta ocasión por su escaso aporte a responder al problema planteado en este capítulo.

A fin de responder al problema del dato faltante (el valor del índice de avance de los alumnos que asistieron en caso de que no lo hubieran hecho) para la estimación del efecto promedio del tratamiento sobre los tratados, en los últimos años se han desarrollado métodos alternativos de la técnica de evaluación de impacto. Cada uno de estos métodos cuenta con limitaciones y ventajas, y son aplicables a circunstancias y diseños muestrales particulares. El más adecuado para este estudio es el método del propensity score matching. En este, primero se construye un grupo de comparación análogo a aquel que hubiera sido generado por medio de un experimento aleatorio conformado por estudiantes que no asistieron a tutorías privadas. En otras palabras, se genera un grupo de alumnos que no asistieron a tutorías privadas (grupo de control) análogo al grupo de alumnos que asistieron (grupo de tratamiento) en ciertas características observables de ellos y su entorno socioeconómico, lo que corregiría el sesgo de autoselección generado por el diseño no experimental de la encuesta ASUP. Este grupo de comparación se construye a partir de los resultados que surgen de aplicar un modelo de elección discreto logit del uso de tutorías privadas, el cual revela la propensión a asistir a tutorías de cada estudiante condicional a un vector de características observables. En segundo lugar, los participantes (grupo de control) se emparejan con los no participantes (grupo de tratamiento) sobre la base de sus probabilidades semejantes. Al agrupar individuos análogos en estas características pero con estados de tratamiento distintos, se aísla el efecto del tratamiento de otros posibles factores asociados con las variables que intervienen en la decisión de asistir a tutorías. Para proceder al emparejamiento de los individuos sobre la base de sus probabilidades no existe un único criterio. La literatura diferencia al menos cuatro criterios de interés, los cuales se utilizan en este capítulo y se explican en el Apéndice B (tabla B1). Finalmente, el efecto de tratamiento promedio se calcula como la diferencia media en los resultados entre ambos grupos, el de tratamiento y de control.

En el Apéndice B se encuentran comentados algunos puntos básicos y particularidades del método del propensity score matching que son de interés para este estudio, relacionados con los supuestos que deben cumplirse para que los resultados sean válidos, así como la varianza del efecto promedio del tratamiento y la calidad de bondad de ajuste.

La sección siguiente resume los principales hallazgos de las estimaciones llevadas a cabo para obtener una medida de las posibles contribuciones de la asistencia a tutorías privadas suplementarias sobre el avance académico, de acuerdo con el procedimiento detallado a lo largo de esta sección.

Resultados

Esta sección reporta los resultados obtenidos. De manera similar a la literatura analizada, en este trabajo se plantea como hipótesis nula para contrastar los resultados obtenidos la existencia de un impacto significativo del uso de apoyo escolar suplementario sobre el grado de avance académico alcanzado al término del primer año universitario. Se espera que este índice registre valores superiores para el grupo tratado, es decir, para aquellos estudiantes que asistieron a tutorías y sea significativamente distinto al valor del índice alcanzado por el grupo de control (aquellos que no asistieron).

La presente sección se divide en dos partes. Primero, se indaga acerca de la contribución al avance académico atribuida al efecto de las tutorías privadas no condicionales a las características de los estudiantes que asistieron y no asistieron. Posteriormente, se presentan los resultados de dicha contribución luego de realizar los múltiples emparejamientos y al controlar por un vector de características del estudiante y su entorno socioeconómico, en procura de corregir de esta manera el sesgo de autoselección.

Resultados básicos de la contribución de las tutorías privadas al avance en la carrera no condicionales a características de los estudiantes

La tabla 1 muestra el grado de avance académico medido como la proporción de materias aprobadas, en promedio, al término del primer año universitario para cada uno de los grupos que asistió y no asistió a tutorías privadas, desagregado por facultad.

Tabla 1. Grado de avance de los estudios por universidad y carrera según condición de asistencia a tutoría privada suplementaria

Concepto		Asistió* (%)	No asistió* (%)	Total*
UNC	Derecho	40,4	59,7	56,04
	C. Económicas	61,6	64,6	62,84
	C. de la Salud	43,5	33,7	42,69
	Total	52,9	61,3	57,69
UNRC	Derecho	46,1	52,6	52,05
	C. Económicas	62,8	59,1	60,12
	C. de la Salud	42,8	57,2	52,14
	Total	52,5	56,4	55,44
Total muestra		52,7	58,2	56,41

Nota. Elaboración propia con base en ASUP. *Varía entre 0 y 100.

Al observar los resultados en conjunto, presentados en la última columna, el índice de avance promedio de todos los estudiantes de la UNC no se diferencia del alcanzado por sus pares en la UNRC (57,69 % y 55,44 %, respectivamente). Al desagregar los resultados según condición “Asistió” y “No asistió” surge que el índice de avance registrado por los estudiantes de la UNC que asistieron a tutorías presenta un menor índice de avance en Derecho y Ciencias Económicas, mientras que en el caso de la UNRC esto mismo sucede con Derecho y Ciencias de la Salud. En suma, hay una mayor diferencia de rendimiento entre estudiantes según su condición de asistencia o no a tutorías privadas en la UNC, en relación con la diferencia observada en la UNRC.

Estos datos son descriptivos y a partir de los mismos no es factible hacer una inferencia estadística sobre la significatividad de las diferencias detectadas. Con este propósito la tabla 2 indica los resultados obtenidos a partir de la aplicación de una prueba de diferencia de medias para los grupos de estudiantes bajo la condición “asistió” y “no asistió” a tutorías.

Esto equivale a estimar el impacto de las tutorías privadas previo a la corrección del sesgo de autoselección.

Tabla 2. Prueba de diferencia de medias antes del emparejamiento para los grupos de estudiantes "no asistió" y "si asistió" a tutorías. UNC y UNRC

Grupo	Observaciones	Medidas del indice de avance*	Error estándar	Desviación estándar	[95% intervalo de confianza]
Sí asistió	236	3,58	0,075	1,155	3,4332 3,729401
No asistió	479	3,75	0,045	0,999	3,659347 3,838716
Total	715	3,69	0,039	1,055	3,616201 3,771136
Diff		-0,17**	0,084		-0,3321263 -0,0033352
Diff Media (Sí)- Media (No)t = 2,0031 Ho: diff = 0 grados de libertad = 713 Ha: diff< 0 Ha: diff != 0 Ha: diff> 0 Pr(T < t) = 0,0228 Pr(|T| > |t|) = 0,0455 Pr(T > t) = 0,9772

**En logaritmos naturales. Varía entre 0 y 4,6; **La diferencia puede obtenerse también a partir de la regresión del índice de avance (log_IA) en la variable dicotómica T=1 que indica asistir a tutorías o T=0, no asistió.

La tabla 2 expresa en logaritmos naturales la media del índice de avance obtenido para el conjunto de estudiantes independientemente de su estado de tratamiento durante la transición de la escuela media a la universidad para el conjunto de la muestra analizada (3,69). Los estudiantes que no asistieron son los que presentan un índice de avance superior. La diferencia logarítmica resultó ser de 0,17 a favor de estos, equivalente en medidas lineales a un retraso relativo del 9,4 % en el avance del grupo que asistió a tutorías (52,7 sobre 100), en relación con el que no asistió (58,2 sobre 100). Los resultados son estadísticamente significativos y, consecuentemente, se rechaza la hipótesis nula de igualdad de medias de ambos grupos a un nivel de significancia del 5 %.

Esta primera estimación del impacto de tutorías previa al balanceo de los grupos de tratamiento y control da cuenta de un peor rendimiento en el grupo que accedió al tratamiento. Estos resultados presentan una debilidad puesto que los dos grupos de alumnos (tratados y no tratados) posiblemente no sean lo suficientemente semejantes, y por lo tanto estadísticamente comparables, al considerar sus atributos más relevantes. Esta heterogeneidad típicamente observada en las muestras de diseño cuasiexperimental (como lo es en este caso), conduce a dos problemas diferentes pero íntimamente relacionados que pueden sesgar los resultados de la medida de la contribución de las tutorías privadas al rendimiento estudiantil: el sesgo de la endogeneidad y el sesgo de selección.

La sección siguiente procede a corregir esos dos problemas mediante la introducción de variables condicionales dentro del modelo originalmente estimado, como, por ejemplo, condicionar el estado “asistir a tutorías” a la variable género. Esta estrategia permite verificar si luego de introducir estas correcciones los resultados sufren alguna modificación con respecto a los resultados no condicionales.

Resultados de la contribución de las tutorías privadas al avance en la carrera condicionales a las características de los individuos en la muestra

La sección presenta los resultados de la contribución de las tutorías privadas al avance en la carrera, condicionales a las características de los individuos en la muestra. El primer resultado corresponde al caso de introducir las características principales de los alumnos en un modelo de regresión lineal multivariado sencillo que es estimado por mínimos cuadrados ordinarios⁶, cuyos resultados se incluyen en la tabla 3.

Tabla 3. Efecto medio de la asistencia a tutorías en el avance académico condicional a características relevantes: regresión lineal con variables de control

Variable	Coef.
Asiste	-0,0965 (0,0891)
Género (Hombre=1)	0,0565 (0,0786)
Nomigrante (No migrante=1)	-0,0751 (0,0810)
Gestión (Privada=1)	0,4539*** (0,0830)
Padres_uni (Universitario/terciario completo=1)	0,2111*** (0,0784)
Calidad	0,0007 (0,0018)
Matching (Correspondencia=1)	0,0977 (0,0783)
AñosTranscurridos	-0,0071 (0,0204)
CienciasEconomicasXUNRC	0,2229* (0,1266)
VeterinariaXUNRC	-0,0037 (0,1383)
CienciasEconómicasxUNC	0,2638** (0,1275)
MedicinaXUNC	-0,6645*** (0,1986)
UNRC	0,1414 (0,1359)
Constante	3,1243*** (0,1458)

Observaciones: 715; el error estándar está entre paréntesis. *** p<0,01, ** p<0,05, * p<0,1

Este modelo permite conocer la influencia marginal que ejercen las tutorías privadas al avance académico controlando por el efecto independiente de diversas covariables⁷

Luego de introducir las variables de control, la tabla 3 indica que el efecto marginal de asistir a tutorías privadas (“Asiste”) mejoró con respecto al resultado obtenido de la comparación de las medias no condicionales. En efecto, si bien su signo aún sigue siendo negativo, es menor en valor absoluto y deja de ser estadísticamente significativo, con lo cual no podría afirmarse —en este caso— que el grupo que asistió a tutorías tenga un índice de avance menor al del grupo control.

Los resultados de la tabla 3 también muestran cómo el hecho de provenir de un establecimiento de educación media de gestión privada y poseer padres que completaron sus estudios superiores aumenta el logaritmo del índice de avance. Esto revelaría una brecha social importante en la educación superior en la que aquellos con un mayor poder adquisitivo logran mejores desempeños en el nivel universitario. Sumado a esto, las variables de control seleccionadas revelan que estudiantes de la Facultad de Medicina (UNC) y estudiantes de la Facultad de Ciencias Económicas (UNRC, UNC) alcanzan un mayor avance académico al tomar como base la Facultad de Derecho de la UNC.

La debilidad de este modelo radica en que no permite identificar efectos causales y, por lo tanto, no se puede estar seguro de que contribuya a eliminar potenciales problemas de endogeneidad (Grilli y Rampichini, 2011). Adicionalmente, los modelos de regresión lineal multivariables solo permiten observar los efectos promedios. En este caso, no es posible avanzar en el apareamiento de individuos con similares características, condicional a que haya o no asistido a tutorías privadas de forma que permita aislar el efecto independiente de la tutoría sobre el índice de avance académico.

Para evitar esta contaminación de los resultados y obtener una estimación robusta del impacto de las tutorías se introducen técnicas de apareamiento, tal como el propensity score matching, que contribuyen a construir un soporte común sobre la base de un balanceo de la distribución de las características del grupo de tratamiento y del grupo de control, como se explica en el punto siguiente.

Efecto promedio del tratamiento sobre los tratados (ATT) después del balanceo de las características.

Una de las maneras de mejorar la estimación del efecto independiente de asistir a tutorías, tal como se explicó en la sección de abordaje econométrico, consiste en aparear individuos semejantes en sus características. Por medio de un modelo de elección discreta logit se obtiene la probabilidad de asistir a tutorías privadas, condicional a las características personales que sirve para agrupar y comparar individuos con propensión de puntaje similar pero con estados de tratamiento distintos.

Los resultados del modelo logit de elección de asistencia a tutorías privadas presentados en la tabla 4 muestran cómo, de 12 variables examinadas, ocho afectan la probabilidad de asistir a tutorías de manera estadísticamente significativa. El único factor que afecta de manera positiva la probabilidad de hacer uso del apoyo suplementario es provenir de una escuela de mayor calidad (Calidad). Por el contrario, estudiar en la ciudad de procedencia (Nomigrante) y una mayor cantidad de años transcurridos entre el egreso de la escuela secundaria y el ingreso a la universidad (Difus), reducen las chances de que el estudiante demande tutorías privadas. En cuanto al contexto institucional, cursar en la UNRC la carrera de Ciencias Económicas (CienciasEconomicasXUNRC), Derecho (DerechoXUNRC) y Veterinaria (VeterinariaXUNRC), y en la UNC las carreras de Ciencias Económicas (CienciasEconomicasXUNC) y Medicina (MedicinaXUNC), aumenta la propensión del estudiante a recurrir a tutorías privadas suplementarias al tomar como base de comparación las chances de asistir a tutorías de ser estudiantes de la Facultad de Derecho de la UNC (DerechoxUNC).

Tabla 4. Efectos de los factores que afectan la decisión de asistir a tutorías privadas suplementarias

Variables independientes	Coeficiente	Odd ratio
Características del estudiante
Género (Hombre=1)	-0,0794	0,9237
	(0,184)	(0,1700)
Nomigrante (No migrante=1)	-0,351*	0,7043
	(0,192)	(0,1355)
AñosTranscurridos	-0,168**	0,8453
	(0,0686)	(0,0580)
Características de la familia
Padres_uni (1=universitario/terciario completo)	-0,172	0,8421
	(0,184)	(0,1551)
Características de la escuela
Gestión (Privada=1)	0,153	1,1649
	(0,197)	(0,2290)
Calidad	0,0126***	1,0127
	(0,00425)	(0,0043)
Matching	-0,175	0,8393
	(0,184)	(0,1547)
Variables de control
CienciasEconomicasXUNRC	1,441***	4,2258
	(0,380)	(1,6052)
VeterinariaXUNRC	1,764***	5,8379
	(0,395)	(2,3047)
Variables independientes
CienciasEconómicasXUNC	1,556***	4,7385
	(0,292)	(1,3819)
MedicinaXUNC	3,827***	45,9421
	(0,650)	(29,8428)
UNRC	-1,068***	0,3436
	(0,414)	(0,1424)
Constante	-1,187***	0,3051
	(0,356)	(0,1085)

Nota. Observaciones: 715; el error estándar está entre paréntesis; *** p<0,01, ** p<0,05, * p<0,1

Los resultados alcanzados revelan la influencia de las características personales y académicas en la decisión de solicitar apoyo suplementario, y confirman la existencia de una influencia del contexto institucional al marcar diferencias asociadas con el marco de enseñanza de las carreras y las universidades públicas aquí analizadas.

La bondad de ajuste del modelo utilizado para obtener los resultados de la tabla 4 se puso a prueba al utilizar el análisis de clasificación estadística de las observaciones, cuyos resultados sugieren una correcta especificación del modelo: un 72,35 % de los casos fueron correctamente clasificados. Al aplicar la prueba de Hosmer-Lemeshowse se rechaza la hipótesis nula de una pobre especificación del modelo a un nivel de significación del 5 %.

A partir de los resultados del modelo de elección discreta presentados en la tabla 4 se estiman los puntajes de propensión de cada estudiante de la muestra, los cuales se utilizan como una medida resumen del vector de características del modelo y su entorno.

La frecuencia de estos puntajes se ordena de manera ascendente. Se obtiene a partir de esta información la distribución de probabilidad de ambos grupos, los usuarios y los no usuarios de las tutorías, lo cual se muestra en la figura 1.

El modelo expuesto en el Apéndice B sugiere que un mayor soporte común, es decir, un mayor grupo de observaciones que tienen un par con igual puntaje de propensión pero distinto estado de tratamiento, provee estimadores más confiables. Se ha procedido al cálculo del soporte común para los dos grupos bajo estudio cuyos resultados se exponen en la figura 1. Este permite observar de manera intuitiva la existencia de un soporte común importante, es decir, un grupo de alumnos que comparten las características, con excepción de su estado de tratamiento.

Finalmente, la información de la tabla 4 —obtenida a partir de la estimación de las probabilidades de asistir a tutorías privadas— constituye la base para realizar los cuatro tipos de emparejamiento explicados en el Apéndice B, y posibilitan el cálculo del efecto medio de asistir a la tutoría sobre quienes asistieron (ATT). En dicha tabla el efecto medio se indica en logaritmos naturales.

Los cuatro métodos de emparejamientos aplicados en el presente estudio son: un vecino más cercano, cinco vecinos más cercanos, Radial, y Kernel;⁸ los resultados se exponen en la tabla 5.

Para este análisis se emplean 471 estudiantes que no asistieron a tutorías privadas y un grupo de control contemporáneo conformado por entre 228 y 227 estudiantes que asistieron, según sea la técnica de comparación empleada.

La primera fila muestra los resultados del parámetro estimado. Si bien los signos varían de acuerdo con el criterio que se utilice, al observar el t-estadístico (tercera fila) se concluye que en ninguno de los casos analizados se rechaza la hipótesis nula de ausencia de impacto del apoyo suplementario en los resultados del alumno.

Tabla 5. Efecto promedio de asistir a una tutoría privada suplementaria sobre los tratados (ATT) según diferentes técnicas de emparejamiento

	Un vecino más cercano	Cinco vecinos más cercano	Radial	Kernel
ATT analítico	0,0687	0,117	-0,16932	-0,098
ATT bootsrapping	**	**	-0,170	-0,1677
t-estadístico analítico	0,41	-0,98	-1,4	0,0855
t-estadístico bootsrapping	**	**	-2,01	-0,62
Error estándar analítico	0,168	0,119	0,085	0,158
Error estándar bootstrapping	**	**	0,085	0,0862
% de casos en el soporte común	97,80 %	97,80 %	97,80 %	96,36 %
Tratamiento	228	228	228	227
Control	471	471	471	471

Nota. Todas las estimaciones se realizaron con reemplazo y entre 698 y 699 observaciones en el soporte común. **No se calcula siguiendo a Abadie e Imbens (2008) para la técnica del vecino más cercano, ya que podría fallar en la provisión de intervalos de confianza válidos.

Al aplicar la técnica del bootstrapping se logra reducir el error estándar del método de Kernel como se observa en la sexta fila de la tabla 5, mientras que se mantiene constante en el caso del método radial. Al tomar en consideración, ahora, el error estándar obtenido cuando se aplica la técnica del bootstrapping, se halla un impacto negativo y significativo en uno de los cuatro criterios utilizados. En el caso de la técnica de Kernel, la no significatividad se mantiene al dejar de considerar el error estándar analítico, con resultados próximos a los provistos por el modelo multivariado estimado por mínimos cuadrados ordinarios. No sucede lo mismo con la técnica radial, tal como se muestra en la cuarta fila (-2,01), cuyos resultados pasan a ser estadísticamente significativos, y mantiene su signo negativo. Esta técnica aproxima los resultados a aquellos obtenidos en el modelo de diferencia de medias no condicionadas.

En suma, el trabajo indica que las tutorías privadas afectan de manera diversa según se consideren o no controles para tener un soporte común comparable. Sin control alguno, el efecto resulta negativo. Al ejercer un control, el efecto es neutro si se consideran todas las técnicas, con excepción de la de Kernel.

Análisis de robustez de los resultados del emparejamiento.

Finalmente, se aplicó la prueba de diferencias estandarizadas sugerida por Rosenbaum y Rubin. Esta prueba permite examinar cuán estadísticamente comparables resultan ser los grupos de control y tratamiento antes y luego del emparejamiento. En la tabla 6 se muestran los resultados de las diferencias estandarizadas antes del emparejamiento en la columna 2, luego del emparejamiento mediante la técnica del vecino más cercano con un vecino en la columna 3, y con cinco vecinos en la columna 4, la técnica radial en la columna 5 y la técnica de Kernel en la columna 6.

Antes del emparejamiento se observa una diferencia estandarizada importante en las variables Calidad y en las variables de control CienciasEconomicasxUNC, MedicinaxUNC y UNRC. Es decir, antes del emparejamiento la distribución de las características del grupo de alumnos que asistió a tutorías privadas no es equivalente a la conformada por los que no asistieron.

Luego de aplicar el emparejamiento, por ejemplo, y con la técnica del vecino más cercano la homogeneidad de características entre los grupos de tratamiento y de control mejora tanto en el caso de un vecino más cercano como al considerar a los cinco vecinos más cercanos. La variable Matching, luego del emparejamiento, muestra diferencias estandarizadas significativas con un vecino más cercano. Al utilizar la técnica de emparejamiento radial conserva la presencia de sesgos importantes en las variables de control CienciasEconomicasXUNC, MedicinaXUNC y UNRC, pero ha disminuido significativamente el sesgo en la variable Calidad. Finalmente, al aplicar la técnica de Kernel las diferencias estandarizadas se achican aún más con relación a todos los casos anteriores, con lo cual se logra que todas las variables observadas posean una distribución similar entre los grupos de tratamiento y de control.

Por medio de estos resultados se puede concluir que el análisis de comparación posterior a realizar emparejamiento por medio de los puntajes de propensión se lleva a cabo a partir de dos grupos similares. Los resultados de la prueba de Rosenbaum y Rubin indican que el efecto en el rendimiento educativo observado en la tabla 6 ha logrado ser descontaminado de la influencia de la heterogeneidad en las características del grupo de tratamiento y control presente en los resultados no condicionados. La técnica radial, aquella que arrojaba resultados estadísticamente significativos, es la que peor calidad de emparejamiento ha logrado.

Tabla 6. Prueba de diferencias estandarizadas (test de Rosenbaum y Rubin)

Covariable	Dif. estandarizada antes del emparejamiento (2)	Dif. estandarizada después del VMC 1* (3)	Dif. estandarizada después del VMC 5** (4)	Dif. estandarizada después del radial (5)	Dif. estandarizada después del Kernel (6)
Género	0,70	2,70	3,6	1,20	-12,80
Nomigrante	-18,50	12,50	13,0	-17,00	8,60
Gestión (Privada=1)	2,80	-8,20	1,5	1,10	-4,00
Padres_uni (1=univ./terciario completo)	-1,80	-2,60	-0,9	-3,50	-1,60
Calidad	20,00	-9,60	-9,7	14,80	-4,60
Matching	6,20	-22,90	-2,6	6,10	-1,20
Difus	-10,40	9,40	3,3	-1,80	0,90
CienciasEconomicasXUNRC	-11,70	0,00	-4,8	-11,10	-1,90
VeterinariaXUNRC	4,50	-18,30	-0,7	5,50	-1,10
CienciasEconomicasXUNC	40,00	12,60	-8,8	42,10	2,00
MedicinaXUNC	55,10	0,00	18,4	43,40	0,00
UNRC	-41,40	-16,10	-4,8	-37,90	-2,70

*Técnica de Un vecino más cercano; **Técnica de Cinco vecinos más cercano. Nota. Elaboración propia sobre la base de ASUP.

A fin de corroborar la existencia de un soporte común importante entre los que no asistieron y asistieron a tutorías privadas en relación con las características observables resumidas en su puntaje de propensión, se recurre a la función de densidad de Kernel. Tal como ya se observó en la figura 1, se concluye que el supuesto de solapamiento entre unidades de control y de tratamiento se cumple.

Discusión de resultados y conclusiones

A diferencia de los países que poseen un alto nivel de exigencia y selectividad en el ingreso universitario, Argentina se caracteriza por contar con universidades públicas gratuitas y de acceso irrestricto, es decir, todos aquellos que posean un título secundario pueden iniciar sus estudios en el nivel superior sin otro requisito.

A pesar de la presencia de la universidad y del Estado en la provisión de mecanismos gratuitos de nivelación académica durante el periodo de transición de la escuela secundaria a la universidad, el presente estudio reveló que alrededor de un tercio de los ingresantes a la universidad pública acude al apoyo suplementario privado, lo que varía su proporción a lo largo de las carreras y universidades estudiadas. Esto deja entrever la percepción por parte de las familias acerca de la insuficiencia de los mecanismos provistos por las casas de estudio para lograr una tranquila transición entre los niveles, y confirma la inquietud de los pares evaluadores de la CONEAU en el sentido de indicar a las universidades la conveniencia de una inclusión de estudios más profundos —tanto cuantitativos como cualitativos— sobre esta problemática al proyectar futuros ejercicios de autoevaluación institucional.

En un contexto de baja selectividad, como es el caso de Argentina, el principal reto en este nivel, por lo tanto, no es atravesar exitosamente la barrera de no alcanzar el ingreso universitario por motivos de cupo, sino —tal como surge del trabajo realizado—, lograr una calmada transición hacia un nuevo ambiente académico desconocido por el estudiante. Una correcta adaptación a este nuevo entorno se traduciría en un más fluido avance académico durante el primer año de estudios universitarios. Si bien la comunidad académica parece ser consciente de este hecho y la Comisión Nacional de Evaluación y Acreditación Universitaria incluye esta dimensión entre los ítems requeridos para evaluar logros con respecto a la calidad educativa, no se evidencian esfuerzos por parte de las instituciones para mejorar la recolección y el análisis de los datos requeridos a tal fin. Esta información se traduciría en un gran aporte a la investigación de la economía de la evaluación de la educación superior, lo que permite distinguir las contribuciones que las distintas características del individuo hacen a la mejora en su rendimiento estudiantil a lo largo del primer año de estudios universitarios. En este estudio se trabajó en esta línea, pero la información se debió generar a partir de una encuesta independiente. El sistema de estadísticas universitarias está en condiciones de contribuir a subsanar este déficit de información en los sistemas estadísticos universitarios existentes.

La falta de efectividad del uso del apoyo suplementario privado es un resultado significativo de este trabajo que podría resultar de interés para los hacedores de políticas públicas. Por una parte, parece no influir sobre los resultados académicos posteriores. Sin embargo, las familias están dispuestas a invertir en cursos privados que compiten con los servicios similares ofrecidos por las propias universidades públicas de manera gratuita.

Por fin, el modelo de evaluación de impacto utilizado representa, desde nuestra perspectiva, un aporte original a la actualización del diálogo de saberes en el campo de la evaluación universitaria. En primer lugar, porque demuestra prácticamente cómo incorporar una técnica de análisis de desarrollo reciente a fin de identificar de manera más clara efectos propios de una política relacionada con la generación de incentivos al avance académico, y el ejercicio desnuda las falencias a superar en la confección de indicadores apropiados por parte de las universidades. Finalmente, brinda información a la agencia para diseñar la capacitación de pares evaluadores.

Agradecimientos

Los autores agradecen las sugerencias de los evaluadores a una versión preliminar del trabajo, así como los comentarios recibidos por parte de los participantes a la reunión Anual de la Asociación de la Economía de la Educación (AEDE) en Murcia, España, en junio del 2017. También agradecen el apoyo de la SECYT UNC al presente proyecto mediante subsidio otorgado por Resolución SECyT N.o 313/16.

Referencias

• Abadie, A., e Imbens, G. W. (2004). On the failure of the bootstrap for matching estimators. Econometrics, 76(6), 1535-1557.


• Aslam, M., y Atherton, P. (2011). “The “shadow” education sector in India and Pakistan: the determinants, benefits and equity effects of private tutoring. Ponencia presentada en UKFIET (United Kingdom Forum for International Education and Training). Oxford: University of Oxford.


• Azevedo, M. L. (2001). Universidade argentina em tempos menemistas (1989-1999): reformas, atores sociais e a influência do Banco Mundial. San Pablo: Programa de Pós-Graduação em Educação.


• Barros, S. (2008). A Banca e a institucionalizacao escola: possibilidades para a historia de educacao da Bahía. Bahía: Departamento de Educacao de Universidade do Estado da Bahía.


• Berberoğlu, G., y Tansel, A. (2014). Does private tutoring increase students’ academic. Bonn: IZA DP N.o 8343.


• Bettaglio, J., y Domínguez, C. (2010). Universidad Nacional de La Plata: Informe final de evaluación externo. Buenos Aires: CONEAU.


• Bray, M. (1999). The shadow education system: private tutoring and its implications for planners. París: Naciones Unidas.


• Bray, M., y Kwo, O. (2014). Regulating private tutoring for public good: policy options for supplementary education in Asia. Bangkok: Comparative Education Research Centre, The University of Hong Kong, Unesco.


• Bray, M., Kwo, O., y Jokic, B. (2015). Researching private supplementary tutoring: methodological lessons from diverse cultures. Hong Kong: Springer.


• Buchmann, C. (2002). Getting ahead in Kenya: social capital, shadow education, and achievement. Research in the Sociology of Education, 13, 133-159.


• Cadena, F., Grieken, R., y Malo, S. (2015). Informe de evaluación externa 2015 de la Comisión Nacional de Evaluación y Acreditación Universitaria. Buenos Aires: CONEAU.


• Cangiano, M., y Catalán, C. (2003). Evaluación externa de la UNC. Buenos Aires: CONEAU.


• Choi, Á., Calero, J., y Escardíbul, J.-O. (2011). Hell to touch the sky? Private tutoring and academic achievement in Korea. Barcelona: Institute d ́Economia de Barcelona.


• Comisión Honoraria. (1988). Estructura y dimensión de la universidad y del post-grado. Cuadernos del Congreso Pedagógico, 8. Buenos Aires, Eudeba.


• Duflo, E., Glennerster, R., y Kremer, M. (2006). Using randomization in development economics research. Cambridge: National Bureau of Economic Research.


• Gertel, H. R., y Jacobo, A. D. (2004). Hacia la calidad en la gestión de la educación superior en América Latina. ¿Qué indicadores deben prevalecer? Revista brasilera de política y administración de la educación, 31-37.


• Gertel, H., y Cámara, F. (2016). The shadow education market of a mass higher education institution. The Global and the Local: Diverse Perspectives in Comparative Education, 133-154.


• Grilli, L., y Rampichini, C. (2011). Propensity score matching for the estimation of average treatment effects in observational studies. Training Sessions on Causal Inference. Bristol, Reino Unido, 28-29 de Junio de 2011.


• Gutiérrez, R., y Leal, M. R. (2017). Informe final de evaluación externa de la Comisión Nacional de Evaluación y Acreditación Universitaria.: Universidad Nacional del Litoral. Buenos Aires: CONEAU.


• Heckman, J. J., Ichimura, H., y Todd, P. (1998). Matching as an econometric evaluation estimator. Review of Economic Studies, 65, 261-294 .


• Ireson, J. (2004). Private tutoring: how prevalent and effective is it? London Review of Education, 2(2), 109-122.


• Marquís, C., y Peñaherrera, L. (1994). Sistemas de evaluación y acreditación de Instituciones. Quito: BIRF.


• Marquís, C., y Sigal, V. (1993). Evaluación para el mejoramiento de la calidad universitaria: estrategia, procedimientos e instrumentos. Buenos Aires: Ministerio de Cultura y Educación, Secretaría de Educación.


• Mattos, L. (2007). Explicadores do Rio de Janeiro: contros e desencontros em trajetoroas profissionais singulares. Revista Brasileira de Estudos Pedagogicos, 88(218), 140-156.


• Mori, I., y Baker, D. P. (2010). The origin of unviersal shadow education: what the supplemental education phenomenon tells us about the postmodern instituttion of education. Asia Pacific Education Review, 11(1), 36-48.


• Nasif, D., y Gertel, H. (2016). El impacto de las tutorías privadas sobre el rendimiento académico en el periodo de transición del nivel secundario al universitario. Córdoba: Facultad de Ciencias Económicas, UNC.


• Picasso, S., Meiners, E., y Gertel, H. (2015). Análisis de impacto de las tutorías privadas para el ingreso universitario sobre el rendimiento académico al finalizar el primer año de estudios. En AAEP, Anales. Salta. Recuperado de www.aaep.org.ar/anales/buscador.php?anales=2015-salta.


• Rosenbaum, P., y Rubin, D. (1985). Constructing a control group using multivariate matched sampling methods that incorporate the propensity score. The American Statistician, 33-38.


• Seiler, R., y Mutchinick, E. (2015). Informe de evaluación externa: Universidad Nacional de San Juan. Buenos Aires: CONEAU.


• Silova, I., Budiene, V., y Bray, M. (2006). Education in a hidden marketplace: monitoring of private tutoring. Nueva York: Education Support Program of the Open Society Institute, Network of Education Policy Centers.


• Stevenson, D., y Baker, D. (1992). Shadow education and allocation in formal schooling: Transition to university in Japan. American Journal of Sociology, 2.1639-1657.

Apendice

Apéndice A

Tabla A1. Distribución de la muestra por universidad y carrera según condición asistió-no asistió

Concepto		Total muestra	Asistió (%)	No asistió (%)
Total	Derecho	233	14	86
	C. Económicas	319	39	61
	C. de la Salud	163	48	52
	Total	715	33	67
unc	Derecho	121	19	81
	C. Económicas	150	51	49
	C. de la Salud	38	92	8
	Total	309	43	57
unrc	Derecho	112	9	91
	C. Económicas	169	28	72
	C. de la Salud	125	35	65
	Total	406	25	75

Nota. Elaboración propia con base en ASUP.

Tabla A2. Definición de las variables relevantes en el análisis e hipótesis de la dirección del impacto en las tutorías privadas

Etiqueta	Descripción	Signo esperado
Asiste	Variable dummy (1=Asiste), variable de tratamiento
Características del alumno
Género	Variable dummy (1=Hombre)	?
NoMigrante	Variable dummy (1= No migrante) No migrante UNC= Escuela secundaria en Córdoba; No migrante UNRC= Escuela secundaria en Río Cuarto	-
AñosTranscurridos	Años transcurridos entre la graduación de la escuela secundaria y la inscripción en la universidad	?
Características socio-económicas
Padres_uni	Variable dummy (1=nivel universitario o terciario finalizado) Proxy del nivel socio-económico	+
Características de la escuela secundaria
Privado	Variable dummy (1=ES privada)	+
Calidad	Índice de calidad de la ES (a mayor valor, menor disciplina)	+
Exigencia	Percepción de los estudiantes en relación a la exigencia en la ES	-
Variables de control
Matching	Variable dummy (1=Sí, existe afinidad entre la orientación de la ES y de la carrera elegida)	-
CienciasEconómicasXUNRC	Control. Variable dummy (1=Estudiante de Ciencias Económcas de la UNRC)	+
MedicinaXUNC	Control. Variable dummy (1=Estudiante de Medicina de la UNC)	+
VeterinariaXUNRC	Control. Variable dummy (1=Estudiante de Veterinaria de la UNRC)	+
UNRC	Control. Variable dummy (1=Estudiante de la UNRC)	-
DerechoxUNC	Base. Variable dummy (1=Estudiante de Derecho de UNC)

Nota. Elaboración propia con base en ASUP.

Tabla A3. Características de los estudiantes según condición “Asistió” o “No asistió”

Covariable	Sí asistió		No asistió		TOTAL
	Media	D.E.	Media	D.E.	Media	D.E.
Género (Hombre=1)	0,38	0,49	0,37	0,48	0,38	0,48
Nomigrante (No migr=1)	0,37	0,48	0,46	0,50	0,43	0,50
Años transcurridos	1,39	1,28	1,57	2,15	1,51	1,91
padres_uni (padres tit=1)	0,53	0,50	0,53	0,50	0,53	0,50
Privado (ES privada=1)	0,64	0,48	0,63	0,48	0,63	0,48
Calidad	27,78	21,77	23,42	20,90	24,86	21,27
Exigencia	58,86	24,58	64,72	22,28	62,78	24,58
Matching (match=1)	0,56	0,50	0,53	0,50	0,54	0,50

Nota. Elaboración propia con base en ASUP.

Apéndice B

Estimadores de la evaluación de impacto

Con relación a los textos estándar (Heckman et al.,1998) debe tomarse en cuenta: en primer lugar, el efecto promedio del tratamiento para la población (ATE, averagetreatment effect) indica la diferencia esperada en el índice de avance del grupo de tratamiento (aquellos que asistieron), y el del grupo de control (aquellos que no asistieron).⁹ Este parámetro estima el efecto promedio del apoyo suplementario para un individuo sacado al azar de la población bajo estudio:

ATE = E ( Δ ) = E ( Yt - Yc ) = E ( Yt ) - E ( Yc )

Un segundo parámetro a tener en cuenta es el efecto promedio del tratamiento sobre los tratados (ATT, average treatment effect on the treated) que revele la ganancia del grupo bajo tratamiento (que asistió) en relación con el grupo no tratado (que no asistieron). Este indicador se define como sigue:

ATT = e ( Δ | d = 1 ) = E ( yt - yc | d = 1 ) = e ( yt | d = 1 ) - e ( yc | d = 1 )

Finalmente, se tiene el efecto promedio del tratamiento sobre los no tratados (ATU, average treatment effect on the untreated). Este sirve para averiguar cuánto podría haber sido el beneficio que habría obtenido el grupo de alumnos que no participó de las tutorías privadas en caso de haberlo hecho:

ATU = e ( Δ | d = 0 ) = e ( yt - yc | d = 0 ) = e ( yt | d = 0 ) - e ( yc | d = 0 )

Estas tres medidas (ATE, ATT y ATU) se aplican bajo distintos contextos dependiendo del objetivo que se persigue. El efecto del tratamiento promedio (ATE) suele utilizarse en programas de índole universal (como es el caso de una vacuna universal), y resulta relevante en los estudios en los que se trata de averiguar cuál sería el beneficio que produce expandir un proyecto piloto a toda la población. El efecto del tratamiento promedio sobre los tratados (ATT) resulta relevante en aquellos casos en los que las intervenciones son por decisión voluntaria y, por lo tanto, interesa medir el impacto del programa sobre aquellos que voluntariamente optaron por ser tratados. El razonamiento es similar a este último para el caso del efecto de tratamiento promedio sobre los no tratados (ATU), pero este parámetro resulta de interés en aquellas intervenciones voluntarias en las que interesa conocer el cambio en el resultado que se evalúa, en el caso en el que el grupo no beneficiario lo hubiera sido.

Técnicas de emparejamiento más populares

El apareamiento de estudiantes con similares características —lo cual se traduce en un puntaje de propensión similar, pero con estados de tratamiento distintos—, puede realizarse bajo distintas técnicas. La más popular (y la que se utilizó en este trabajo), consiste en aparear y comparar los estudiantes con base en su probabilidad o propensión a asistir a tutorías (PSM), a partir de los cuales se estiman las diferencias en los resultados académicos entre los estudiantes tratados y no tratados atribuibles al uso de tutorías privadas. Existen diversos criterios para determinar cuándo dos estudiantes en distintos estados resultan lo suficientemente similares en las características como para ser emparejados: 1. El emparejamiento por el vecino más cercano; 2. El emparejamiento radial; 3. El emparejamiento Kernel; y 4. El emparejamiento por estratificación. No existe evidencia en la literatura por la cual se demuestre que alguno de estos algoritmos sea superior en un contexto como en el que se desarrolla en el mercado de “educación a la sombra” en Argentina. Por el contrario, evidencias se complementan, y existe un trade-off de eficiencia/sesgo entre ellas, y la comparación de sus resultados constituye una medida de robustez de este estudio. A continuación, en la tabla B1 se desarrolla cada una de las técnicas con sus ventajas y desventajas.

Tabla B1. Técnicas de emparejamiento del propensity score matching

Emparejamiento mediante la técnica del vecino más cercano: cada estudiante que asistió a tutorías se empareja con uno o más estudiantes* que no lo hizo y con el propensity score más cercano. El emparejamiento puede hacerse con o sin reemplazo**. El principal problema de esta técnica es que podría suceder que el vecino más cercano de un estudiante tenga un propensity score muy alejado –aunque el más cercano— al de su compañero emparejado.

Emparejamiento radial: a fin de salvar el problema de la técnica del vecino más cercano, esta técnica impone un radio de máxima distancia del puntaje de propensión. Es, por lo tanto, una técnica con reemplazo y dentro de cierto rango. La desventaja que presenta es que se podría estar eliminando alumnos en una gran proporción de los alumnos encuestados, y con ello aumentar el sesgo de muestreo.

Emparejamiento Kernel: es una técnica no paramétrica que utiliza un promedio no ponderado de los no participantes para construir el emparejamiento contrafactual de los participantes. Compara el resultado de cada estudiante tratado con un promedio ponderado de los resultados del total de los alumnos no tratados, proporcionándole un mayor peso a aquellos con un puntaje más cercano al estudiante tratado. En este caso, más información se utiliza y, por lo tanto, la varianza es menor, aunque algunos emparejamientos serán pobres.

Emparejamiento por estratificación: se particiona el soporte común en diferentes intervalos y se calcula el impacto de las tutorías privadas dentro de cada intervalo. Se evalúa el impacto promedio por medio de la diferencia en los índices de avance entre los estudiantes tratados y no tratados en cada estrato.

*La cantidad de vecinos más cercano por estudiante es una variable a fijar.**Con reemplazo hace referencia a que un mismo estudiante puede ser emparejado con más de un estudiante.

Supuestos básicos del propensity score matching

La validez del efecto promedio del tratamiento sobre los tratados estimado a través de la técnica del PSM depende de dos supuestos: 1. Independencia condicional, es decir, una vez se controla por las variables observables el resultado potencial del índice de avance es independiente de la participación en el tratamiento; 2. Asegurar la existencia de un soporte común importante de los estudiantes que participaron de las tutorías y los que no lo hicieron. En otras palabras, se requiere de un gran solapamiento en la distribución de las observaciones entre el grupo de tratamiento y el grupo de control basado en las características observables utilizadas como control.

Varianza del efecto promedio del tratamiento

La varianza del efecto promedio estimado por medio del PSM incluye la varianza atribuible tanto a la derivación del propensity score a partir de la función de probabilidad como aquella atribuible al proceso de determinación del soporte común. De no considerarse esto, el error estándar sería estimado de manera incorrecta (Heckman et al., 1998). La literatura recomienda medir la signficatividad de las diferencias de medias en el índice de avance entre los grupos de tratados y no tratados sobre la base del error estándar típicamente estimado por medio de la técnica de bootstrapping, lo que complementa su estimación analítica. Esta técnica estima el error estándar a través de la media resultante de repetir n veces los resultados incluidos en la estimación del propensity score y las particularidades que le agrega realizar las mismas e imponer el soporte común. El resultado final aproxima la distribución y los errores estándar de la población (Abadie e Imbens, 2004).

Cálculo de la bondad de ajuste: calidad del emparejamiento

Una vez se obtiene el efecto promedio de las tutorías privadas sobre los beneficiarios, por medio de la comparación de los resultados de los múltiples emparejamientos de estudiantes de distintos estados pero similares en sus características, solo resta poner a prueba la calidad de dichos apareamientos.

A fin de estudiar la bondad de ajuste y garantizar una buena calidad de emparejamiento se aplica la prueba de Rosenbaum y Rubin (Rosenbaum y Rubin, 1985), por la cual se calculan las diferencias estandarizadas entre el grupo de tratamiento y el grupo de control. Para cada variable¹⁰ se calcula la medida de reducción de sesgos, la cual se mide de la siguiente manera:

SB = B i V 1 ( X i ) + V 0 ( X i ) 2 * 100 %

Donde B es igual a la diferencia de medias del grupo de control y del grupo de tratamiento correspondientes a cada una de las covariables, es la varianza de la covariable analizada para todas las unidades del grupo de tratamiento y es la varianza de la misma covariable para todas las unidades del grupo de control. Mediante esta fórmula se busca comprobar si, luego del emparejamiento, existen aún diferencias relevantes en la distribución de las características observables entre los individuos que han asistido a tutorías y los que no lo han hecho. De acuerdo con Rosenbaum y Rubin, una diferencia estandarizada mayor a 20 se considera grande, lo cual evidencia la ausencia de equilibrio de las covariables (Rosenbaum y Rubin, 1985). Esta prueba solo examina la condición de equivalencia estadística en las características observables entre el grupo de estudiantes que hicieron uso de las tutorías y aquellos que no.

Además, con el fin de corroborar que la condición de existencia de soporte común se cumple, se estiman las funciones de densidad de Kernel del propensity score para las observaciones del grupo de tratamiento y del grupo de control. De esta manera, intuitivamente se observa la importancia de la proporción de estudiantes que quedan fuera del soporte común por no poder ser emparejados con otro estudiante con estado de tratamiento opuesto.

Notas

¹ Este capítulo se deriva del documento titulado “El impacto de las tutorías privadas sobre el rendimiento académico en el periodo de transición de nivel secundario a universitario”, trabajo final de la Licenciatura en Economía presentado a la Facultad de Ciencias Económicas, Universidad Nacional de Córdoba, Córdoba, Argentina. Puede ser consultado en: https://hdl.handle.net/11086/4596

² Véase al respecto Comisión Honoraria (1988).

³ Véase la Resolución N.o 094 del CONEAU de 1997.

⁴ El total de estudiantes que cumple con esta condición en las facultades seleccionadas fue extraído del Anuario Estadístico de las Universidades y sirvió como base para obtener la muestra de trabajo. Se aplicó a este el método del cálculo para poblaciones finitas, con un margen de error del 5 %, a fin de obtener el tamaño de la muestra de 715 casos. La distribución por carrera se efectuó con base en el peso relativo de la población dentro de cada universidad.

⁵ Muestreo no probabilístico en el que los individuos se seleccionan sin juicio previo y de manera casual.

⁶ Se estima la siguiente regresión: Yi= αXi+βTi+εi. En donde Xi representa el vector de covariables observables, Ti la variable dummy que refleja el estado de tratamiento del estudiante i y εi el vector de co-variables no observables del estudiante i. α y β son los parámetros de interés a estimar.

⁷ Las variables incluidas dentro del vector X se detallan en el Apéndice A, tabla A2, con las hipótesis sobre la dirección de los efectos de estas sobre las chances de que el estudiante asista a tutorías privadas, sugeridas por la literatura de la “educación a la sombra”.

⁸ La técnica de estratificación no fue tomada en cuenta, dado que el tamaño de la muestra imposibilita hacer análisis por estratos.

⁹ En la encuesta ASUP se identificó a los alumnos que asistieron y a los que no asistieron a tutorías privadas, por lo tanto, en el conjunto de la población bajo estudio puede clasificarse de manera excluyente a todas las unidades según hayan sido beneficiarios o no del apoyo suplementario.

¹⁰ Se utiliza el comando PSTEST del software stata.