CUARTA PARTE EVALUACIÓN EDUCATIVA: ARGUMENTO Y PRÁCTICA
EVALUACIÓN PROGRAMÁTICA
EN LA EDUCACIÓN SUPERIOR: Warren Crowther* La inquietud:
Contradicciones de la educación superior El propósito de este documento es presentar algunas lecciones de la experiencia al aplicar los principios de investigación acción (action research) en la evaluación de la educación superior en diversos países en desarrollo o transición.1 La experiencia del autor sobre este tema en países en desarrollo es la evidencia principal para derivar estas lecciones, con énfasis en los resultados obtenidos en varios países de América Latina, África y Asia. Por medio de la investigación acción se apoya mutuamente el desarrollo teórico y la práctica, con el fin de definir y mejorar la contribución de la educación superior a la sociedad que la sostiene. Esta contribución consiste en nuevas definiciones de problemas claves de la sociedad y de soluciones para estos problemas, descubrimiento y exploración de oportunidades de aprendizaje y desarrollo, y formación de una ciudadanía profesional, responsable, democrática y pacífica. Esta misión de la educación superior encara un reto difícil de balancear ciertos valores. Por ejemplo, existe la contradicción entre una educación relevante para el desarrollo de la sociedad, y una posición de autonomía de manejo y aplicación de normas académicas, que supuestamente reflejan valores más universales. Para ser “relevante” hay que relacionarse con los valores dominantes de la sociedad y aceptar muchos de ellos, lo que contradice una posición de independencia. Por ejemplo, existe una ambivalencia en si la acreditación con reconocimiento internacional puede admitir o no contenidos y métodos totalmente autóctonos de cursos. Una segunda contradicción, relacionada con la primera, es una derivación de la autonomía tan cotizada para proteger el mundo académico contra indebidas interferencias políticas, y consiste en la desvirtuación de esta protección en la forma de rutinización burocrática y falta de renovación constante de los enfoques y contenidos de sus cursos, investigaciones y actividades de extensión. Cuando sucede esto, la institución académica corre el peligro de una preparación de estudiantes para un mundo que ya no existe. Otra contradicción es que la educación superior busca credibilidad y prestigio con base a una apropiación o ventaja de conocimientos, al mismo tiempo que se le encomienda la responsabilidad de facilitar el acceso a estos conocimientos. Esta relación ambigua con su “materia prima” (los conocimientos) le permite adornar los privilegios y luchas internas minúsculas, y llamarlos prerrogativas académicas. Contradicción que se relaciona con otra en que la educación superior supuestamente busca contribuir sensiblemente a la “formación” de personas “responsables”, pero lo más usual es que se adopta una pedagogía y forma de llevar sus programas que son todo lo contrario de un apoderamiento (empowerment) de estas personas. Es decir, pocas oportunidades existen para que el estudiante pueda influir en las hipótesis subyacentes del programa, o en la selección y aplicación de los indicadores de su propio desempeño, aparte de evaluaciones sumamente estructuradas y limitadas que hace el estudiante de cada curso, y mientras puede organizar y hasta cuestionar asuntos extra-curriculares, no es reconocido hasta el momento de graduarse (un momento de milagrosa conversión) como colega responsable en relación con los asuntos de fondo. Una quinta contradicción sucede a consecuencia de la presión de expandir las especializaciones que ofrece la institución educativa, y competir más ampliamente con otras instituciones, privadas y públicas, que buscan ocupar los campos más relevantes para la sociedad, o los más rentables, frente a las limitaciones del financiamiento tradicional y del profesorado de planta. La institución de educación superior debe aprovechar, explotar o “anexar” fuentes no tradicionales de recursos financieros y de docentes e investigadores, para mantenerse competitiva. La creación de programas financiados con una mayor retribución por parte de los estudiantes, donaciones o con financiamiento externo, tiende a la aceptación de condicionamientos explícitos o implícitos en cuanto a este financiamiento, a veces favorables para la calidad de la educación pero en muchos casos bastante onerosos.2 En muchos países en desarrollo y transición el problema parece agudizarse, en un medio donde muchas instituciones académicas se encuentran en competencia para obtener ventajas comerciales no siempre en términos de la excelencia y pertinencia de la educación; donde hay proliferación de nuevas universidades sin una verdadera biblioteca u otras formas de comunicación científica; y donde la selección de materias nuevas responde más a temas de moda que a una evaluación coherente de los problemas más grandes que tendrán que resolverse en el país.3 Las contradicciones mencionadas aquí tienden a mitigar el cuestionamiento y renovación de los paradigmas científicos que ordenan el contenido de la educación. Específicamente en las ciencias sociales y empresariales, las instituciones académicas de los países en desarrollo y transición han tenido dificultades de aplicar su aparente independencia de pensamiento para la generación de modelos alternativos acordes a la realidad, y más bien abundan reacciones favorables o desfavorables a la aplicación del modelo dominante pragmático de “desarrollo por condicionamientos de los organismos de cooperación”.4 Cuando en el ámbito universitario hay generación de alternativas, en competición con el paradigma dominante, es demasiado largo el lapso antes de que aquéllas reciban reconocimiento, o posibilidades de aplicación. Las cinco contradicciones presentadas responden a una tensión subyacente entre cuatro misiones de la educación superior no fáciles de compatibilizar, en relación con el manejo de conocimiento (knowledge management): 1) Desarrollo y aplicación de una epistemología, metodología y clasificación de conocimiento que permitan la creatividad y acercamiento a la realidad con rigor científico; 2) Especialización con lazos internacionales de red (networking), y con credibilidad de una estructura de poder (incluyendo la profesionalización) sobre el conocimiento especializado; 3) Contribución al desarrollo de la sociedad, con nuevas soluciones de transformación o complementación de las estrategias de supervivencia y bienestar de todos los estratos sociales, con énfasis en los estratos más relacionados con la institución; y 4) Estímulo de conciencia y práctica ética. La evaluación representa una intervención con fines de crear conocimiento y dejar en mejores condiciones los programas de educación superior, cuya función es justamente el manejo de conocimiento (knowledge management). Necesariamente participa (es decir, el evaluador llega a ser protagonista) en la resolución o no de cada una de las contradicciones, y de la tensión entre las cuatro misiones de manejo de conocimiento. Es así que con el espíritu de promover un papel más pertinente de las evaluaciones de programas a nivel de educación superior, al tiempo de insistir en rigurosidad y desarrollo científico de la evaluación, se ha intentado, en múltiples lugares y ocasiones, abrir posibilidades de aplicar o ensayar bases epistemológicas no convencionales para esta actividad. Estas bases incluyen la enseñanza dinámica (action teaching) e investigación acción (action research). Son diversos los objetos de la evaluación que pretenden mejorar la educación superior. El cuadro 1 delimita cuatro niveles de evaluación para el mejoramiento de la educación superior, y ofrece ejemplos de las experiencias del suscrito. Al mismo tiempo que se realizaron estas evaluaciones, hubo en muchos casos una actividad de doble propósito con respecto a los proyectos de evaluación, consultoría e investigación que llevaron a cabo los profesores, investigadores y estudiantes de las instituciones académicas:
Hay uno más de estos niveles de evaluación para mejorar la educación superior. Recientemente, como profesor en un nuevo programa de maestría en Evaluación Social, he tenido que reflexionar sobre la contradicción entre las prácticas académicas que sostienen relaciones estrictas de autoridad entre profesor y estudiante, en cuanto a la evaluación del rendimiento del último, y un precepto cada vez más fuerte de la materia que se está enseñando: el apoderamiento (empowerment) de los proyectos de evaluación. Ha sido incómodo descubrir que no estoy practicando lo que predico. En el aula, puedo hablar de “evaluación de cuarta generación”,5 que facilita este tipo de apoderamiento, pero tendría que hacer muchas revoluciones, tanto personales como institucionales, antes de poder demostrar a los estudiantes su viabilidad en ese mismo lugar. No es nada fácil, porque a menudo los intereses personales de los estudiantes no son compatibles con los estándares de calidad educativa. La conclusión: El tema principal de este documento es el reto de implementar una metodología de investigación acción para las evaluaciones que son generadas como apoyo para el cumplimiento de los objetivos de la educación superior. En los mismos intentos de practicarla, hay una confrontación ineludible con las contradicciones o dilemas en juego. La conclusión más general es que la aplicación de los principios de la investigación acción no dependen solamente de una decisión autónoma del docente o investigador con respecto a la metodología que va a adoptar. En la práctica se ha demostrado que el afán de un asesor, profesor o investigador de adoptar una metodología orientada a recalcar principios de relevancia, rigurosidad, agilidad, participación y economía de acción, le conduce a tener que gestionar las condiciones para hacerla aceptable y viable. Puede tener un argumento coherente en cuanto a la consistencia de la innovación metodológica con los objetivos de una verdadera educación, pero las contradicciones de la educación superior se manifiestan con mucha fuerza. Sin embargo, los obstáculos para la aplicación de los principios de la investigación acción no deben tomarse como dificultades molestas, sino como elementos o síntomas importantes de la dinámica de acercamiento de la educación superior a una realidad más allá del ámbito de ésta.6 En el juego de poder sobre el manejo del conocimiento que caracteriza la educación superior, el intento de evaluar este manejo significa agregar una nueva lucha de apoderamiento del conocimiento a la que ya existe. La investigación acción hace la diferencia ¿Cuáles son las características que distinguen a la investigación acción?7 El concepto ha evolucionado mucho durante las últimas décadas, y se pueden identificar distintas escuelas de pensamiento al respecto. El suscrito ha evolucionado su propio pensamiento y aplicación del mismo, a raíz de supervisar o realizar más de 400 intervenciones, y enseñar el tema en numerosos talleres y seminarios, durante los últimos 12 años. A continuación, se resumen los principios generales, y en el Anexo 1, se delimitan algunos de los principales principios más específicos.8 En el fondo, la principal diferencia entre la investigación acción y otros enfoques que se proponen para crear conocimiento científico, es que con la primera se intenta mucho más hacer explícitos los valores en juego y su influencia en el diseño y manejo de los elementos u operaciones metodológicas de evaluación. En primer lugar, reconoce que en toda evaluación social, el evaluador adopta como marco explícito o implícito de referencia una interpretación de desarrollo social, o de las transformaciones sociales deseadas. Estas transformaciones sociales se manejan comúnmente como el “contexto de la evaluación”, incluyen los cambios de:
En el caso de la educación superior, estos dos componentes de “transformación social” se manifiestan en muchos niveles, como por ejemplo los siguientes tres:
La evaluación social (una actividad de alto costo, especialmente con altos costos de oportunidad) tiene sentido cuando produce un valor agregado significativo en mejorar o alterar las transformaciones sociales para que éstas mejoren la sociedad; consiste en procurar una determinación de este valor agregado, esencialmente en dos líneas:
Más allá de una estrategia de investigación bibliográfica, investigación de campo y análisis de datos, el evaluador asimila estas funciones en una expresión de su intencionalidad consciente y dinámica, que preferimos llamar: “estrategia de interfaz, o de reciprocidad e intervención”. La “interfaz” trata del contacto entre las iniciativas del evaluador y las personas, y documentos que ofrecen datos de interés para la evaluación. La “reciprocidad” reconoce que este contacto es más efectivo cuando existen amplios incentivos, en que los stakeholders aprenderán a identificar y resolver sus problemas y oportunidades de desarrollo, y a cambio ofrecen una buena voluntad y la mejor información posible. La “intervención” es la presencia del evaluador, necesariamente como protagonista en la situación que está evaluando. Como “protagonista”, el evaluador adopta el papel de interlocutor o catalista que ayuda asimilar opiniones de los actores (stakeholders), intérprete de un mandato o política superior, agente de cambio (o de fortalecimiento de valores existentes), instigador o innovador, ingeniero social, o un investigador algo inconsciente del impacto de su propia presencia en la situación objeto de evaluación. La selección del papel refleja el énfasis relativo que el evaluador pretende hacer a las funciones de conocer, cambiar, enseñar-aprender, e informar. Como estas funciones son parte integral de la evaluación, la investigación acción involucra tener conciencia de las mismas durante la intervención, y la racionalización de su manejo. Conocer significa acercarse al sistema objeto de evaluación y su contexto, sin embargo, siempre habrán susceptibilidades ya que el objeto inmediato (una organización, programa o proyecto social) es por sí un instrumento con intenciones de privilegiar determinados grupos y variables, en cuanto al acceso a recursos escasos o el uso de ellos. Como es inevitable en una evaluación, el cambio del comportamiento y actitud de los actores relacionados con el objeto de evaluación (aunque simplemente sea el impacto de plantear algunas preguntas y provocar una nueva forma de pensar), y de los procesos, lo mejor es determinar cómo se pretende influir en: (a) el establecer, reproducir o alterar los paradigmas y rutinas con el fin de mejorar la efectividad de la producción de determinados servicios, bienes, información y valores, (b) el cuestionamiento del propósito o misión de la organización, programa o proyecto, incluso la mejor explotación del espacio y potencialidad organizacional, (c) el fomento de la institucionalización del aprendizaje organizacional, y (d) la distribución de autonomía y poder de decisión y acción en el medio, o el apoderamiento (empowerment). Enseñar-aprender es una función intrínsica de la Evaluación Social donde el evaluador planifica para el enriquecimiento del pensamiento y comportamiento del evaluador y de los otros actores, a raíz de la comparación de sus percepciones, interpretaciones y proyecciones, y además de los respectivos valores subyacentes detrás de esas percepciones, interpretaciones y proyecciones. Así, un taller es un instrumento muy interesante de investigación de campo. Es una forma económica de crear un laboratorio de cambio, hacer la obtención de datos de los actores en forma eficiente, transferir capacidades de evaluación hacia estos actores y reducir la susceptibilidad que ellos como “sujetos” pueden tener frente a la aplicación de otros instrumentos. Informar es otra función intrínsica de la Evaluación Social, entonces cabe determinar cuáles de todas las opciones son las más adecuadas para identificar y llenar los supuestos vacíos de información, y la posibilidad de que los mecanismos usuales de evaluación (investigación de campo) no sean tan efectivos o de tan buen uso de recursos y tiempo como, por ejemplo, la creación de una base de datos, la contratación de una persona sabia, la explotación de resultados de casos ya estudiados, la consideración de teorías y conceptualizaciones pertinentes a los problemas o soluciones, etc. Hay que considerar, además, la alternativa de “ignorancia funcional”, cuando los costos previstos para ampliar el conocimiento pueden ser excesivos.9 En la evaluación programática de la educación superior, se han adoptado “estrategias de interfaz” muy dinámicas, con procedimientos de etnografía, método delfos, FODA, grupos focales, talleres, simulación y ensayos, revisión detallada con un profesor del programa de curso, entrevistas profundas para una beca o de orientación vocacional, programas de inducción de estudiantes, desarrollo participativo de un glosario o lenguaje común, etc. En el “sistema objeto” de la evaluación, que es un programa o proyecto de educación superior, el centro de atención es tanto la calidad de la relación entre institución educativa y sociedad, como la relación entre profesor y estudiante. Llamamos a estas relaciones las “relaciones nexo” de la educación superior. A pesar del compromiso de la institución académica con el constante mejoramiento de la calidad de estas relaciones, existe mucha resistencia a una Evaluación Social dedicada a determinar y mejorar esta calidad. El evaluador es un elemento intruso, interrumpe en estas relaciones, y desde el primer momento, afecta la misma calidad de relaciones que pretende evaluar. Entra y sale de la situación, mientras los otros actores deben proseguir su actividad, absorbiendo el impacto de la intervención. En el interés de hacer viable, ética y efectiva su intervención, el evaluador tiene que ser un excelente actor político y escoger bien el momento y forma de formalizar su diseño de la evaluación y de la presentación de los resultados. Al mismo tiempo, su integridad y credibilidad dependen de un manejo científico riguroso de los elementos de la evaluación, incluyendo la definición del problema u oportunidad que justifica la evaluación, segmentación de la población objetivo en grupos meta, selección de valores subyacentes, formulación de hipótesis e indicadores, evolución de modelos de análisis, aplicación de instrumentos, control para la validez, análisis de datos y la conversión de los datos en valores pertinentes, etc. En todo esto, tiene que tener conciencia y control de la introdución inevitable de subjetividades.10 En la evaluación de la educación superior, estas consideraciones se traducen en los siguientes interrogantes: ¿Cuáles son las consecuencias de su intervención en el ámbito de educación superior? ¿Cómo están conjugadas sus intenciones con los intereses de los otros actores, y cuál es el impacto de esta nueva dinámica en la calidad de las relaciones nexo de este sector? ¿Se puede determinar si la intervención, que es un proyecto de manejo de conocimientos (knowledge management), representa un verdadero valor agregado para el objeto, que es un programa más amplio también de manejo de conocimientos? Un caso sobre reforma de la
educación superior en un país Para ilustrar la aplicación de la investigación acción en la evaluación de la educación superior en condiciones desafiantes, se resume una experiencia reciente de un país en una muy aguda transición, Mongolia. Este país, después de 70 años de comunismo, se transforma oficialmente en una economía de mercado. Naturalmente, el reto para que la educación superior participe en esta transición y ayude a facilitarla, es enorme. Sin embargo, la diferencia más grande con muchos otros países, como por ejemplo, los de Centroamérica, no es tanto el tamaño del reto, sino que en Mongolia hay más conciencia de la dimensión del reto que está enfrentando. Aún más, en otros países en desarrollo, no existe suficiente comprensión de la naturaleza y dimensión de la crisis que se está gestando. La Comisión de Rectores y Decanos de las Escuelas de Economía, Administración de Negocios y Gerencia Pública es en Mongolia el cuerpo ejecutivo para el cual se realizó una evaluación de requerimientos (needs assessment) de reforma educativa. A raíz de estudios y consultas, con mucha atención a las recomendaciones de las numerosas misiones de expertos internacionales, se delimitaron 40 materias o especializaciones críticas que representan los retos gerenciales más importantes del país durante el resto de este siglo. Se determinaron 21 factores críticos de éxito (ver Anexo 2 de este artículo) para aumentar la calidad y propiciar un impacto positivo inmediato de la educación superior en estas materias, con una importancia relativa que varía de acuerdo con la materia o especialización.11 Para muchas de las materias se elaboró una estrategia de reforma educativa, diseño curricular y reenfoque y actualización de los profesores. Por medio de la investigación acción, se ensayaron muchas reformas con el fin de que sus resultados inmediatos demonstraran su viabilidad, y ayudaran a convencer a los actores (stakeholders) de su utilidad. Durante 6 meses de asistencia del suscrito, se logró:
Realizar el diseño participativo y negociación de financiamiento de una maestría en economía de mercado, herramientas gerenciales, y metodologías de enseñanza e investigación, para los 300 profesores de las materias objeto de atención. Gestión de la aceptación de los rectores y decanos de principios de programas conjuntos entre sus instituciones, y la integración de las funciones de educación, capacitación, investigación, consultoría, extensión y servicios de información. De acuerdo con el principio de “coordinación mínima pero firme” entre sus instituciones, éstos han creado un consorcio para encarar funciones de acreditación, infraestructura básica para la educación a distancia, la maestría para profesores y redes de información. Los problemas prácticos de aplicar principios de investigación acción en una evaluación que pretende mejorar la educación superior Se concluye este ensayo con referencias a problemas prácticos, para ejecutar una evaluación de la educación superior por medio de la investigación acción. Se destacarán las lecciones diferenciadas de experiencias en distintos países, con el fin de aproximarse a una determinación de cuáles factores en juego son más generalizados y cuáles pueden depender de la cultura político-social, la economía u otras consideraciones particulares de cada país. A pesar de la variedad de experiencias del suscrito, no se pretende que las referencias a continuación sean tomadas como más que hipótesis de derivación empírica. El obstáculo más importante tiene que ver con la pertenencia de conocimiento. ¿Quién es el dueño del conocimiento? Más adelante, se considerarán otros factores que inciden en las posibilidades de apertura. Pertenencia A partir de las contradicciones de la educación superior presentadas en este ensayo, se contrastan tres líneas generales en cuanto a la pertenencia del conocimiento:
La apertura de la investigación acción intenta favorecer a la primera línea de pertenencia de la evaluación, y naturalmente introduce nuevas tensiones con las otras dos líneas. Esta tensión se manifiesta en muchos sentidos: Definición y evaluación de la calidad de los productos académicos13 La mera idea de hacer una evaluación de productos académicos ha provocado reacciones fuertes, especialmente en los países latinos. Las autoridades solicitaban una evaluación programática, y fueron sorprendidas pero anuentes del enfoque en la calidad; pero en algunos casos las bases lo rechazaron, aunque la metodológia fue participativa. Se cuestionó si el diseño de un nuevo curriculum, la evaluación del apoyo de los servicios de información a la enseñanza e investigación, o peticiones de los estudiantes en favor de la evaluación, fueron motivos legítimos para evaluar la calidad de los productos académicos. En un país centroamericano, la reacción consistió hasta en amenazas al evaluador. En otro país de la región, los mismos profesionales de una institución solicitaron la evaluación, y lograron hacer muchas reformas en poco tiempo. Por sus condiciones de países con un sistema educativo muy débil, o en pleno deterioro muy acelerado, en países como Guinea Ecuatorial y Mongolia se aceptaba en principio y de hecho la idea de un proyecto de evaluación sobre la calidad de producto.14 En estos proyectos, se ha intentado institucionalizar la evaluación de la calidad de los productos académicos. Se capacitó un equipo de profesionales de la institución académica, para llevar a cabo gran parte de la evaluación, y poder repetir ésta periódicamente. Sin embargo, hasta el momento, el suscrito no tiene evidencia que esta repetición haya sucedido. Recientemente se ha promovido la acreditación, pero siempre existen dos interrogantes de fondo: ¿Cuáles estándares? y ¿quién los aplicará? Además, existe el problema de determinar los factores críticos de éxito para que el programa llegue a cumplir con los estándares. En Mongolia hubo aceptación en principio de las autoridades de un proceso gradual de adecuar los programas para lograr una acreditación internacional de los tipos de títulos que son comunes en el Occidente, y de utilizar otra nomenclatura para otros programas.15 De los profesores hacia los estudiantes Los profesores resisten que se facilite un apoderamiento de los estudiantes debido al trabajo adicional que representa, la desconfianza en la madurez del estudiante, y temores en cuanto a provocar brechas en la autoridad tradicional o sentido de mentor con discípulos. Naturalmente, cuando hay reservas con respecto a apoderamiento tanto de los evaluadores (en este caso, los estudiantes) como los “sujetos” de evaluación, hay más resistencia a la investigación acción. En el medio latino, hay considerable resistencia contra el rompimiento de una estructrua de autoridad entre profesor y estudiante. Incluso los profesores que se autodefinen como progresistas, se resisten a hacer el trabajo adicional que implica una metodología participativa. Con muchos argumentos indirectos, se defiende una relación más convencional con los estudiantes, la que limita las posibilidades de modificar o cuestionar el manejo de su materia. Esta resistencia no depende de la edad del profesor, como sucedió en Guinea Ecuatorial y Mongolia. De la institución
académica, profesores/investigadores o estudiantes La institución académica tiene que extender la evaluación fuera de su propio ámbito para determinar asuntos como: Los requerimientos de conocimientos para tomarlos en cuenta durante el diseño de un currículum relevante, la identificación y uso de fuentes de información pertinente para la enseñaza e investigación o conocimiento de los problemas y oportunidades de desarrollo de la sociedad. La investigación acción involucra esta extensión para todos los tipos de evaluación mencionados al comienzo de este ensayo (Cuadro 1). En cuanto al trabajo de campo de los estudiantes, y a veces de los profesores, una tendencia muy desafortunada en muchos programas de educación superior es la diferenciación muy marcada entre trabajos “académicos” y “profesionales”. Cuando el evaluador está convencido de las bondades de hacer una “intervención” de evaluación para cumplir con un requisito de trabajo “académico”, y no una investigación convencional, no siempre tiene la anuencia de los profesores guías del estudiante o colegas del profesor. O, al contrario, cuando se requiere una “práctica” o trabajo “profesional”, una fundamentación conceptual o teórica no está considerada importante, y en casos, hasta prohiben que se incluya. Comúnmente, se encuentra cierta resistencia por parte de los mismos estudiantes y profesores de “mezclarse” con los “sujetos” o “contrapartes”, y permitirles influir en la construcción conceptual de la “intervención”. Se utiliza el pretexto de que esta participación podría ser “contaminante”, en cuanto a la validez de la investigación. La resistencia es mayor en los países no latinos que en los latinos; en los países no latinos hay más tradición intelectual en los “círculos académicos” de mantener vínculos con el “mundo afuera”. Sin embargo, en los países latinos, la tendencia es que los estudiantes que han recibido cursos convencionales sobre metodología son los mismos que expresan mucho más resistencia contra una metodología tan participativa. Los estudiantes y otros evaluadores que pretenden apoderar a los actores (stakeholders) fuera del ámbito académico, en la evaluación de su propia situación, tienen que ser imaginativos para crear instrumentos que motivarán y facilitarán, en un lenguaje sencillo, que estos actores propongan sus propias hipótesis, indicadores e interpretaciones.17 La investigación acción presume no solamente extender la evaluación hacia la sociedad, sino romper la concentración de la misma capacidad de identificar y resolver problemas u oportunidades de la sociedad, lo que significa que la institución académica procure aprovechar la evaluación para transferir estas capacidades. Sin embargo, es muy difícil convencer a profesores o investigadores, y hasta estudiantes, que asuman una responsabilidad (y, realmente, una posición ética) de transferir capacidades a todos los niveles. En el fondo, a muchos de ellos no les agrada la idea de “democratizar” el acceso a los conocimientos. La excepción se presenta cuando el evaluador comprenda que se trata de una forma muy eficiente o económica de realizar un reconocimiento o investigación de campo, ya que las personas se convierten en informantes más accesibles. Uso del “contrato” Los acuerdos o “contratos” escritos, aunque no tienen fundamento legal, han ayudado a evitar problemas cuando el estudiante u otro evaluador aplica técnicas o instrumentos que de alguna manera tocan a la susceptibilidad de las personas. Por medio del contrato, el evaluador ha anticipado las técnicas que va a aplicar, y tiene el respaldo institucional para aplicarlas. Sin embargo, irónicamente, cuando se hace un compromiso más explícito, en el sentido de que una evaluación tendrá efectos directos en transformar una institución, las propias autoridades de ésta pueden aceptar este arreglo hasta con entusiasmo, pero luego tratarán de controlar los resultados. En la mayoría de casos en América Central, se ha determinado que cuando un evaluador trate de realizar una “intervención” de evaluación en su propia institución de trabajo, las sanciones (sutiles o no) pueden ser severas al producir una interpretación independiente y honesta sobre la institución. En Mongolia, se gestionó un matrimonio entre los objetivos académicos y los de las instituciones no académicas objeto de evaluación, con optimismo que sea mutuamente beneficioso, sin embargo, ya hay casos en los cuales esta asociación conduce a la improvisación de programas académicos, a servicio de determinados intereses ajenos, sin debida atención a la calidad o credibilidad de los mismos. El trabajo conjunto entre profesionales y técnicos de una institución y estudiantes u otros evaluadores del medio académico ha funcionado bien en muchos casos, pero a menudo existe la presunción o manipuleo por parte de cada grupo para que el otro grupo asuma gran parte de las labores. Un acuerdo o “contracto” tomado a nivel de gerencia, no significa que los mandos medios o sus subalternos estén debidamente informados u orientados para prestar su debida colaboración. Otros impedimientos a la
investigación acción en la evaluación Rechazo por no adherirse a la rigurosidad científica Uno de los argumentos más irónicos acusa a la investigación acción de ser anti-científica, ateórica, excesivamente empírica, etc. No obstante, requiere una competencia alta de desarrollar teoría e interrelacionarla con la práctica. Se trata de teoría no desarrollada o legimitizada, y práctica no sintetizada, combinando las dos para reconstruir conceptualmente la realidad de la perspectiva de todos los actores, y no simplemente en términos de un paradigma dominante. Esto requiere como complemento, una gran capacidad de obtención y manejo de información “gris” (no publicada) y empírica para generar y analizar hipótesis. Para el control de rigurosidad científica en el manejo de los elementos de evaluación (interrogantes, modelos, hipótesis, valores subyacentes, indicadores, instrumentos, validez, etc.), se utilizan listas eclécticas de cuestionamiento, que permitan mejorarlos en muchos sentidos pero que resaltan la imposibilidad de un elemento “perfecto”.18 No hay suficiente síntesis de experiencias para ayudar a determinar cuales cuestionamientos sean los más importantes para cada desafío de evaluación. Competencia de uso de información y tecnología de información Un impedimento práctico de uso de la investigación acción para la evaluación es que requiere una alta competencia en el uso de información de muchos tipos y de tecnologías de información que facilite la recolección y análisis ágil de datos y documentos. Esta es una de las restricciones más de los países en desarrollo. Los estudios sobre uso de información en las mismas instituciones académicas son desalentadores. Los círculos de comunicación, aun con INTERNET, están muy limitados, con poca continuidad. Las redes de documentación recolectan y procesan mucha información, pero el uso de sus productos es escaso. La recuperabilidad de información en bases locales de datos bibliográficos y estadísticos es muy poco eficiente. La mayoría de las bibliotecas especializadas adoptan clasificaciones que no responden a los términos de búsqueda de los usuarios más próximos. La información más actualizada tiende a entrar en colecciones privadas.19 Tolerancia de ambigüedad Se ha encontrado mucho más tolerancia en los países latinos, en comparación con los otros países, de un período de ambigüedad en cuanto a la definición de metas concretas, durante un evento educativo o una evaluación. En Mongolia, hubo menos paciencia con dinámicas de grupo y otros intentos de determinar sobre la marcha, o en forma reiterativa, lo que sería el enfoque más constructivo o idóneo de un evaluador. Para ellos, la base teórica debería ser clara antes de comenzar, y sería una cuestión de instrumentarla en la forma más directa y eficiente posible. Los africanos no insistieron tanto en seguir una línea predefinida, pero la invitación a que participen en adaptar los términos de referencia sobre la marcha a inquietudes y problemas reales de ellos, fue sumamente novedosa y fue objetada por los otros expertos internacionales en el país. Los obstáculos reveladores En conclusión, se reitera que estos obstáculos deben tomarse principalmente como síntomas de la problemática de manejo de conocimiento de las instituciones educativas. En ese sentido, son “positivos”, como son síntomas de enfermedad para un médico. * El Dr. Warren Crowther enseña en el programa de Maestría en Evaluación de Programas y Proyectos Sociales de la Universidad de Costa Rica. Es autor del texto Investigación-acción para la evaluación científica en el ámbito administrativo y otras obras de amplio uso en América Latina.
NOTAS 1. En este ensayo se hace poco uso de la palabra “universidad”, dando preferencia a “instituciones académicas” o “educación superior”. Además de las universidades, hay centros regionales de excelencia especializada con programas de título académico. 2. Los profesores regulares tienen un problema análogo al de su institución: se encuentran en una búsqueda individual de oportunidades de complementar un salario que tiene tendencias decrecientes en términos reales. Ser forzado a tomar contacto con el mundo “real” competitivo tiene sus ventajas, pero muchas veces reduce la dedicación y autonomía de pensamiento del profesor. 3. Warren Crowther, “Algunas premisas sobre el sistema de planificación y de proyectos en los países de Centroamérica”, Revista centroamericana de administración pública. 4. En el caso de Centroamérica, el canal más efectivo para la influencia de la universidad sobre su ambiente político y empresarial, y vice versa, es caracterizado por la constante rotación de algunas personas entre la docencia, consultoría y función pública privada, tanto internacional como nacional. Esta rotación permite enriquecer un ámbito de acción con base a experiencias en otros, pero además consolida el poder de los organismos internacionales sobre los paradigmas, debido a su financiamiento y selección de consultores. Ellos saben, que cuando quieran ser consultores, su adopción en todos sus roles de una posición “razonable” influirá en conseguir o no el contrato deseado. 5. Warren Crowther, Manual de investigación acción para la evaluación científica en el ámbito administrativo (Costa Rica: UNED, 1993) 126-134. 6. Una conclusión parecida, pero con un enfoque distinto, plantea Luis Ricardo Villalobos, “El paradigma de la integración de la investigación, docencia y acción social en la universidad latinoamericana: Síntesis de una experiencia en la Universidad de Costa Rica”, Proyecto de universidad para el siglo XX, Ed. Alicia Gurdián Fernández (Costa Rica: Universidad de Costa Rica, 1994) 311-337. 7. En realidad, las delimitaciones en esta sección son una aproximación a una definición de “evaluación programática”, a diferencia de una “investigación” convencional. No sería casual que existan bases similares en el ámbito académico para el rechazo de evaluaciones prográmaticas y de investigación acción como investigaciones legítimas. 8. Crowther, Manual Capítulo IV. Una excelente aplicación de la investigación acción en el ámbito universitario centroamericano se resume en: E. McLean Petras y D. Popora, “Participatory Research: Three Models and an Analysis”, The American Sociologist (1993) 107-126. Otros planteamientos metodológicos más generales que han influído mucho en el presente ensayo incluyen: Orlando Fals Borda, Conocimiento y poder popular (1985). D. Fetterman, “Steps of Empowerment Evaluation”, Evaluation and Program Planning (1994). E. Nevis, A. diBella y J. Gould, “Understanding Organizations as Learning Systems”, Sloan Management Review (1995) 73-85. I. Sommerville, et al., “Cooperative Systems Design”, The Computer Journal 37 (1994), sobre el análisis etnográfico. B. Townley, “Performance Appraisal and the Emergence of Management”, Journal of Management Studies 30 (marzo 1993) 221-38. B. Townley, “Foucault, Power/knowledge, and its Relevance for Human Resource Management”, Academy of Management Review (1993) 518-545. Egon Guba y Yvonna Lincoln, Fourth Generation Evaluation Nueva York (Sage 1989). 9. El término es de Warren Ilchman. 10. Crowther, Manual, Capítulos VI-VIII. 11. Otras sugerencias de factores críticos de éxito son: Dennis Slevin, Paul Stieman y Larry Boone, “Critical Success Factor Analysis for Information Systems Performance Measurement and Enhancement: A case Study in the University Environment”, Information and Management (1991) 161-174. R. Sabherwal y P. Kirs, “The Alignment between Organizational Critical Success factors and Information Technology Capability in Academic Institutions”, Decision Sciences 25 301-330. 12. F. Cancian ofrece un ejemplo del conflicto entre normas académicas y el trabajo de profesores en la investigación participatoria en: “Conflicts Between Activist Research and Academic Success: Participatory Research and Alternative Strategies”, The American Sociologist (1993) 92-106. W. Chua y A. Sinclair ofrecen un ejemplo de la lucha de una profesión por establecer su dominio temático en: “Interests and the Profession-State Dynamic: Explaining the Emergence of the Australian Public Sector Accounting Standards Board”, Journal of Business, Finance and Accounting (1994) 669-705. 13. En cuanto a las dificultades de aplicar una evaluación de calidad en el ámbito universitario: Magaly Zuñiga Céspedes, “¿Epistemología y/o Ética?”, Primer Congreso Internacional de Epistemología y Educación (Costa Rica: Universidad de Costa Rica, 1995). Crowther, “Information Resources Management for Knowledge and Records Management in Central American Academic Institutions....”. Ruth Lesher Taylor, Garland Hunnicutt y Michael Keefee, “Merit Pay in Academia: Historical Perspectives and Contemporary Perceptions”, Review of Public Personnel Administration (1991) 51-65. Un estudio de impacto de la educación, a nivel de posgrado en tres carreras, fue realizado por Silvio Cerda Hernández para su tesis de grado de Maestría en Gestión de Proyectos, del Instituto Centroamericano de Administración Pública en Costa Rica, 1993. Véase: Ken Brown, “Group Selection of Service Efforts and Accomplishments Indicators for Colleges”, International Journal of Public Administration (1995) 311-353. 14. En Mongolia, se opuso sólo el gerente de una de las instituciones académicas, la que talvez estaba realizando más innovaciones pero en forma poca democrática, y el mismo gerente estaba considerando su candidatura para la presidencia de la república. 15. Existen varias alternativas en cuanto a acreditación. Una fue adoptada en Indonesia, con un cuerpo colegiado local encargado de establecer y aplicar las normas. Banco Mundial, Higher Education: The Lessons of Experience (Washington, D.C.: Banco Mundial, 1994) 70. Otra es la aplicación de normas de países más industrializados, aplicados por equipos visitantes de estos países. Viswanathan Selvaratnam, Innovations in Higher Education: Singapore at the Competitive Edge (Washington, D.C.: Banco Mundial, 1994). Una tercera posibilidad es la acreditación por agencias internacionales que adaptan las normas a las condiciones particulares del país. 16. Sunkel, op.cit. David Landsberger, “The Effect of Scientific Education on Boundary-Spanning Activity in Scientific and Technical State Agencies”, Journal of Management Science and Policy Analysis (1991) 309-318. John Rees y Keith Debgage, “Industry Knowledge Sources and the Role of Universities”, Policy Studies Review (1992) 6-25. 17. En realidad, esto es uno de los dilemas epistemológicos que en el fondo no puede resolverse. Es decir, el evaluador no puede saber a ciencia cierta si ha logrado o no, superar malentendidos semánticos o diferencias idiomáticas, o si está imponiendo una prematura racionalidad o coherencia. Solamente puede presumir que la aplicación de una técnica, con la intención explícita de descubrir diferencias semánticas, permite penetrar en los significados que las personas realmente asignan a los conceptos, y que estos significados no se pierden en el momento de interpretar, agregar y generalizar sobre las respuestas indiviudales. Los resultados de un trabajo filólogo para facilitar esta comunicación están presentados en: Warren Crowther, Flor Cubero y Mafalda Sibile, Estrategias de información: Un enfoque en la gestión pública (Costa Rica: ICAP, 1990) 92-4. 18. Crowther, Manual. 19. Crowther, “Information...”. ANEXO 1 PRINCIPIOS DE INVESTIGACIÓN ACCIÓN Lo que en principio distingue la investigación acción de enfoques alternativos es:
Un compromiso con la importancia de destacar las implicaciones éticas de toda actividad de cambio, incluyendo las presunciones de valor inherentes en el acto de realizar la evaluación, y las que tienen que ver con la situación o materia objeto de atención, con el fin de rescatar los principios de derechos e integridad humana.
ANEXO 2 FACTORES CRÍTICOS DE
ÉXITO 1. Determinación de requerimientos de educación en términos de las materias o especialidades críticas, cuya gestión sea más deficiente, o en las que las oportunidades de desarrollo sean menos aprovechadas. 2. Reforma curricular para atender los problemas y oportunidades claves de las materias o especialidades críticas. 3. Evolución planificada hacia el cumplimiento de estándares de acreditación con reconocimiento internacional, a menos que sean programas enfocados principalmente en atender demandas coyunturales locales. 4. Incentivos para atraer profesores de calidad, más una dinámica organizada y permanente de revisión del perfil de un “buen profesor”. 5. Actualización y reenfoque de los conocimientos de los profesores, para que puedan responder a la reforma curricular. La estrategia de reenfoque y actualización debe hacerse “a medida” para cada especialización, además de una comprensión del contexto y problemática del desarrollo de su país. 6. Afianzar la red de profesores en cada especialización, incluso comunicación con las asociaciones profesionales internacionales en su profesión. 7. Adecuada selección e inducción de estudiantes. 8. Administración de los recursos de información (information resources management) con énfasis en administración de conocimientos (knowledge management) y gestión de archivos (records management), como apoyo a la docencia, bibliografía de curso, investigación y consultoría. 9. Competencia de uso de información y tecnologías de inforemación, por parte de los profesores y administradores del programa. 10. Creación y actualización constante de paquetes educativos, con la distribución correspondiente y capacitación en su uso. 11. Educación a distancia. 12. Programas conjuntos entre instituciones educativas, para aprovechar sus respectivos puntos fuertes. 13. Integración de la funciones de educación, capacitación, investigación, consultoría, extensión e información. 14. Enfoque multipropósito de la investigación que realizan los estudiantes como trabajo de curso o tesis. 15. Una base de datos sobre competencias de los profesores, investigadores y graduados, para ser consultada en caso de tener cupo en cursos de reenfoque y actualización, o necesidades de contratar a personal docente. 16. Apoyo real al programa, por parte de las unidades administrativas y técnicas en la institución. 17. Gerencia competente de la institución. 18. Investigación acción aplicada periódicamente para actualizar la evaluación de la institución y sus programas. 19. Una distribución de especializaciones entre las instituciones, y cooperación de cada una con las otras para aprovechar los mejores profesores disponbiles en el país. 20. Apoyo presupuestario adecuado. 21. Identificación y aprovechamiento de nuevos recursos financieros. Además de estos factores, hay otros que son destacados en muchas evaluaciones de la educación superior. Éstos tienen importancia solamente en relación con su apoyo a los factores ya mencionados. Por sí solos, no pueden resolver mucho. 22. Descentralización o fusión de unidades académicas, o de apoyo. 23. Privatización. 24. Tecnología de educación. |