PRIMERA PARTE

EVALUACIÓN Y ESTADO
EN AMÉRICA LATINA

TENDENCIAS Y VICISITUDES
DEL ESTADO EVALUADOR ESTADOUNIDENSE Y SUS
REPERCUSIONES PARA LA REINVENCIÓN DE LA EVALUACIÓN
EN AMÉRICA LATINA

Luis Fernández y Zavala^*

Las tendencias hacia el siglo XXI

La cercanía del siglo XXI ha abierto una nueva oportunidad para el mundo occidental, y si bien no se puede pensar fácilmente en un “borrón y cuenta nueva”, subjetivamente nos apuramos a recibir el nuevo siglo como quien recibe cada año, el Año Nuevo, deseando que las cosas cambien para bien. En esta euforia donde los últimos años del siglo XX cuentan como las últimas semanas del año viejo, los gobiernos y las fuerzas políticas pueden hacer promesas y resoluciones, y los académicos pueden arriesgarse a predecir nuevas corrientes y paradigmas con una rápida retrospectiva mirada al siglo que termina. Subjetivamente, todos esperamos un siglo mejor, un mundo mejor.

Como todos sabemos, sin embargo, las posibilidades reales de arreglar lo que no se pudo arreglar en un siglo (o dos...) no se basan en un oportunismo subjetivo, sino en la correcta interpretación de la historia vivida y en el análisis de las tendencias que nos transportarán al nuevo siglo. La primera tarea será enfrentada tenazmente por intelectuales y políticos y dará origen a un debate interminable. Cruzaremos así hacia el nuevo siglo debatiendo y produciendo el conocimiento correcto de lo vivido. Esto es inevitable y tomará su propio curso. La segunda tarea, el análisis de las tendencias, no está ajena tampoco al debate, pero puede darnos algo más de certeza inmediata para este tránsito en el tiempo.

Las tendencias que enmarcan el tránsito de América Latina hacia al siglo XXI pueden identificarse en lo ideológico, en la predominancia de las reglas de igualdad formal y la aplicación indiscriminada de la analogía del mercado a todas las esferas de la vida social; en lo económico, en  un proceso acelerado de liberalización y globalización económica en el cual los países de la región se vienen insertando de forma desigual; en lo político-administrativo, en la presencia de un Estado necesario para cumplir ciertas tareas de regulación pero disminuído en su capacidad operativa y con poca legitimidad, además se puede notar un deterioro de los partidos políticos nacidos bajo el contexto socio- económico de los años treinta y sesenta. Dentro de estas tendencias, la fragmentación social y las disparidades económicas vienen siendo una constante que ha implicado el sacrificio de generaciones enteras al privarlas de un mínimo básico de condiciones de subsistencia.

Los estados latinoamericanos, sea por influencia externa, presión social o necesidad de legitimidad, han venido expresando su intención de ser eficientes, es decir, optimizar el uso de sus escasos recursos. En general, se percibe una tendencia a la modernización del aparato estatal, sin pretender equipararlo al movimiento de reforma del estado, pero más bien ligado a corrientes de administración y a los cambios operacionales. En otras palabras, los estados ahora liberados de sus conecciones corporativas de antaño y sin pretender mayores cambios estructurales (que era el horizonte ideológico de las décadas anteriores) se están poniendo a la altura de las circunstancias.  Dentro de estas tendencias generales resurge en la región la problemática del Estado Evaluador dentro del contexto del neo-liberalismo institucional¹ que reclama un instrumento ad hoc, una técnica para justificar el uso eficiente de los recursos estatales.²

La presencia de un Estado Evaluador en la región latinoamericana se asume como una tendencia porque todavía no está generalizada a todo lo largo y ancho de la actividad estatal y porque no todos los estados latinoamericanos le están poniendo igual énfasis. Por otro lado, también se asume que es una tendencia modernizante, o porque busca imitar lo alcanzado por países capitalistas desarrollados³ en el campo de la evaluación o porque conlleva una racionalidad que busca la eficiencia basada en “la observación científica de la realidad social” y no meramente en los gustos clientelísticos de los gobiernos,⁴ expandiendo por así decirlo, el rol del estado como representante de lo universal o de lo público.

La evaluación en la región latinoamericana no es un tema nuevo, principalmente debido a los requirimientos las agencias internacionales de cooperación económica⁵ y a su uso ligado a algunas actividades de planificación y control presupuestario. Sin embargo, aún en la década de los noventa todavía no es claro qué limitaciones y desafíos se enfrentan desde la perspectiva académica y de gobierno al tratar de generalizar la evaluación como una actividad necesaria para optimizar la actividad del sector público. No se sabe aún qué cambios organizativos y de cultura organizacional se requiere dentro de la maquinaria estatal para la implementación de evaluaciones válidas, cuáles son sus pre-requísitos dentro del sistema político-administrativo, qué desafíos metodológicos se enfrentarán, qué tipo de evaluaciones son necesarias, y si todo esto representaría un cambio significativo en el accionar del estado respecto a las mayorías empobrecidas.

La respuesta a estas preguntas pueden enmarcarse en una discusión metodológica genérico-abstracta o pueden ubicarse en relación a sus referentes de contexto. En este ensayo se ha optado por este segundo enmarcamiento. A continuación y como ante sala de esta reflexión sobre la evaluación y su contexto en América Latina, se presenta la experiencia evaluativa en los Estados Unidos. Las consecuencias extraídas de esta reflexión breve y de ninguna manera exhaustiva, pueden ayudarnos a hallar algunas respuestas a nuestras interrogantes. Obviamente, América Latina no es igual que los Estados Unidos, y este es el meollo de la discusión.

La evaluación de programas en los Estados Unidos:
Cientificismo versus realidad social

Desde la post-guerra, en los Estados Unidos y en otros países desarrollados (Inglaterra, Canadá y Suecia, entre otros) la evaluación de programas sociales y educacionales se ha ido integrando a las estructuras organizativas del aparato estatal absorbiendo millones de dólares de los presupuestos públicos y adquiriendo su propia dinámica de desarrollo dentro de los círculos académicos y de gobierno. La evaluación en estos países, ha sido el resultado de un largo proceso de reacomodos del sistema político-administrativo que empezó mucho antes que la evaluación misma. En la actualidad, este campo se ha desarrollado tanto que cuenta con sus propios teóricos, revistas técnicas, conferencias nacionales, centros de investigación, especialidades universitarias, y hasta una dirección propia en el INTERNET.

En los países desarrollados y en especial, en los Estados Unidos, la evaluación ha estado ligada a las iniciativas de los gobiernos y a los cambios en las políticas, y ambos han afectado significativamente su desarrollo. No ha sido lo mismo para la actividad evaluativa, la euforia de los años ciencuenta y sesenta que los años del reaganismo, por ejemplo; no ha sido lo mismo porque los objetos de las evaluaciones han ido cambiando, así como los estándares y necesidades, pero también porque la política estatal ha ido cambiando. Según esto, la trama del desarrollo de la evaluación tiene que verse en los Estados Unidos como un proceso abierto dentro de las determinantes de su contexto, donde muchas veces las evaluaciones han cumplido un rol controvertido, ya sea para justificar la política estatal o para desafiarla.⁶

La evaluación dió sus primeros pasos y probó tener cierta utilidad en el campo educativo en las décadas del cincuenta y sesenta en los Estados Unidos. Su uso en aquél entonces estuvo sustentada por la necesidad de corregir ciertas anomalías sociales especialmente en el área educativa,⁷ en tanto que se aceptó consensualmente que los métodos cuantitativos, presumiblemente libres de sesgo ideológicos, eran los más adecuados para el desarrollo de la actividad evaluativa.

El contexto optimista de los años cincuenta apoyado por altas y sostenidas tasas de crecimiento económico, hizo posible pensar en el Estado de Bienestar, o un estado que interviene para resolver ciertos disfunciones sociales, quizá un poco para acelerar el cambio social, cambio que debería al fin y al cabo llegar de todas formas, dado que la economía produciría lo suficiente para todos los miembros de la sociedad. En otras palabras, se creía que el sistema de libre empresa estadounidense tenía la potencialidad de alcanzar por sí mismo la justicia social. Dentro de esta lógica, era posible identificar el problema, proponer soluciones, dirigir recursos para los programas portadores de las soluciones, y asunto resuelto.

Dentro de este paradigma, la clave era el constante crecimiemto de la econonomía; las ciencias sociales ayudarían a identificar los problemas y soluciones, en tanto que las evaluaciones dedicarían sus esfuerzos a determinar si se alcazaron o no los objetivos propuestos y a identificar las intervenciones más eficientes para su generalización a nivel nacional.⁸ Los consumidores de los resultados de las evaluaciones serían los gerentes, directores de programas y los políticos que los apoyaban o que necesitaban una racionalidad ad hoc para sustentar sus decisiones.⁹ En términos metodológicos, dada la tradición de las ciencias sociales norteamericana, el experimento o cuasi-experimento cuantitativo era la mejor forma de obtener evaluaciones objetivas y útiles. El gerentismo positivista y el consenso liberal eran los soportes ideológicos de las evaluaciones de esta época.

Sin embargo, la ideología del consenso liberal pronto encontró sus propias limitaciones frente una realidad social que ponía en  escena movimientos sociales anti-establishment (ecologistas, feministas, liberacionistas sexuales, sindicalistas radicales, movimientos de minorías étnicas, movimiemtos por la paz, y por los derechos civiles, entre otros). Más aún, la economía misma dejó de crecer como se esperaba alcanzando sus efectos mas agrios en la década de los setenta. La ingeniería social basada en el gerentismo positivista y el consenso liberal no pudo resolver los problemas sociales creados por el “lado oscuro” del capitalismo, y las evaluaciones perdieron así muy rápidamente sus soportes ideológicos¹⁰ no sólo por la presencia activa de movimientos sociales disidentes que traían diferentes intereses y valores para juzgar los programas, sino porque las metodologías empleadas no podían dar respuestas definitivas para la generalización de los programas dado el carácter tan disímil de realidades sociales: lo que funcionaba en un tugurio de una ciudad industrial como Chicago, no funcionaba en otra ciudad más multi-étnica y menos industrial, como la ciudad de Albuquerque (New Mexico), por ejemplo.

Se abre así el debate, forzado por la realidad social y económica misma, sobre las ventajas y desventajas de métodos y técnicas de evaluación, el cual ocupará en los últimos veinte años un sin número de cuartillas de las publicaciones académicas de los Estados Unidos.¹¹ La adscripción a una u otra metodología se convertirá en la razón de ser de unos evaluadores, su coto privado o su marca de identidad, en tanto que algunos otros autores propugnarán metodologías mixtas.¹² Dentro de este debate, la necesidad de integrar las visiones e intereses de los grupos afectados por los programas deviene en una necesidad perentoria que no todos los evaluadores aceptaron de buena gana. Este debate, segun Ernest House, viene durando veinte años y aún esta por resolverse en el contexto estadounidense.¹³

Lo que es importante resaltar es que la realidad social y económica misma de los Estados Unidos forzó a los evaluadores al debate y abrió las puertas para la discusión de temas antes ausentes tales como la naturaleza y origen de los estándares,¹⁴ la naturaleza de la causalidad misma (se puede o no predecir el cambio social y de qué depende) y su relación con la validez,¹⁵ su utilidad y usos reales de los resultados de la evaluación,¹⁶ la participación activa de la población objetivo en la evaluación, la integración de intereses contrapuestos, la asumida confiabilidad y objetividad de las diversas metodologías, y por último, la relación entre programas, evaluación y justicia social.¹⁷

El debate cruzó la tradicional separación de las ciencias sociales demandó una comunicación interdisciplinaria que hoy en día ha transcendido el campo exclusivo de la evaluación de programas educacionales.¹⁸ El ámbito de la evaluación en sí mismo se expandió hayándose en la actualidad al borde de ser una disciplina o inter-disciplina aplicable a muchas más áreas de la actividad humana con una variada gama de métodos y técnicas. La antropología y sicología prestaron sus técnicas de análisis cualitatitivo en tanto que, la sociología y la economía brindaron su espectro de técnicas cuantitativas, y aun la historia, la filosofía y la crítica literaria aportaron métodos y técnicas para el desarrollo de lo que se ha dado en llamar la Meta-Evaluación o la evaluación de la evaluación.¹⁹

Paralelamente, en la década de los setenta, la evaluación de programas integrará el análisis de costos con mayor intensidad, dado que ya no se trataba de resolver los problemas sociales con una torta económica en expansión, sino de atenderlos con la menor cantidad de recursos.²⁰ Los resultados de los estudios de costo-beneficio,²¹ costo-efectividad, costo-utilidad se convertirán así en herramientas útiles para justificar o no programas sociales que están en escrutinio no por su bondades intrínsecas, pero por ser “caros” y consumir ingentes recursos públicos.

No hay que ser un experto en evaluación o en economía, para arribar a la conclusión de que la lógica de la “escasez de recursos” o eficiencia económica es la que se convertirá en hegemónica y la que prevalece hoy en día como el criterio básico para juzgar los programas sociales y educacionales, ya sea porque la lógica de la escasez de recursos tiene que ver con otras fuentes alternativas de inversión y ganancias o porque el sector público está entrampado entre las necesidades sociales en incremento y la reducción de sus fuentes de ingreso.²²

Es evidente que la práctica evaluativa se complejizó rápidamente en los primeros diez años de desarrollo y se hizo más sofisticada en las siguientes décadas en su intento de integrar otras dimensiones de la realidad social que al principio habían sido ignoradas. La evaluación perdió así su carácter descriptivo y monolítico de sus inicios, para convertirse en una inter-disciplina enfrentando una realidad social de consenso fragmentado donde diversos intereses en juego se tradujeron en valoraciones y estándares en conflicto, todas ellas “válidas” para juzgar los alcances y resultados de los programas sociales y educacionales. Bajo esta situación, los evaluadores ya no podían  más verse como técnicos neutros en tanto su actividad evaluativa formaba parte del proceso de toma de decisiones del aparato estatal con claras ramificaciones políticas.²³

La situación de consenso fragmentado y la necesidad de integrar diversas dimensiones de la realidad social en el análisis evaluativo, así como la búsqueda de soluciones a los desafíos operacionales ligados a la productividad, diversificaron los enfoques administrativos y dentro de ellos la manera de hacer las evaluaciones. En un inicio, tal como lo señalamos anteriormente, la evaluación estuvo catalogada y ligada a la investigación social aplicada, dentro de la cual el tipo de profesional de las ciencias sociales (sociología, antropología, sicología social, economía, y estadística aplicada) determinaba el tipo de diseño de investigación según los métodos y hábitos de su propia disciplina. La idea era brindar respuestas acerca de la pertinencia de los programas en base a argumentos rigurosamente sustentados. La técnica, teoría y la metodología de las disciplinas era la clave para obtener evaluaciones válidas y objetivas.

Posteriormente, la evaluación se liga más a enfoques administrativos, y por lo tanto a problemas prácticos y limitados. La mayoría de los enfoques administrativos se basaron en el enfoque de sistemas poniendo diferente tipo de énfasis en los aspectos a tomarse en cuenta en la evaluación: insumos, procesos, resultados.²⁴ Sin embargo, no todos los enfoques administrativos surgidos en los últimos treinta años en los Estados Unidos, algunos de ellos ligados a las necesidades del sector empresarial privado, han contado con el mismo nivel de  aceptación por parte de las agencias federales y estatales, ni todos ellos han probado suficientemente su unívoca utilidad.

La evaluación y los enfoques del cientificismo oficial

Dentro de los los enfoques administrativos oficialistas más usados y que incluyen la evaluación como pieza clave de su propuesta se podrían mencionar el Análisis de Sistemas, el Análisis de Objetivos de comportamiento y el Enfoque sobre las Decisiones. Entre los menos usados pero ciertamente aceptados por las organizaciones públicas, se encuentran el Enfoque de los Interesados, y recientemente, el enfoque de la Calidad Total y el de la Reingeniería. Todos estos enfoques aportan algo a la tarea evaluativa y no se pueden descalificar de antemano, si se admite que su utilidad tiene que ver con las intenciones explícitas de quienes los usan, el tipo de programa a ser evaluado y el nivel de consenso real en cuanto objetivos, estándares y metas. Sus limitaciones se derivan del contexto socio-político mismo dentro del cual se les pretende entronizar como los únicos enfoques científicos disponibles.

De estos enfoques el más usado y aceptado por el gobierno federal de los Estados Unidos, es el Enfoque de Análisis de Sistemas (System Analysis Approach) cuyos antecedentes primigenios se pueden encontrar en las aplicaciones hechas por el Departamento de Estado bajo la dirección de Robert McNamara, por la Secretaría de Salud, Educación y Bienestar y posteriormente en 1965 con la creación de oficina para la Evaluación de Programas dentro de esta Secretaría. Más contemporaneamente, el enfoque fue esquematizado para su uso en la evaluación por Rivlin (1971) y Rossi (1979).²⁵

Su audiencia típica son los gerentes, directores y economistas que tratan de responder a la pregunta cuál programa o estrategia implementada resulta más eficiente. Su metodología prioriza el experimento y cuasi-experimento y el análisis costo-beneficio. Los datos cuantitativos obtenidos (outputs) se correlacionan con las intervenciones de tal forma que pueda determinarse si se usó eficientemente los recursos (inputs). Se parte por admitir que existe una relación directa y estable entre inputs y outputs que puede ser especificada o medida estadísticamente y que existe además, un consenso general en cuanto a los objetivos establecidos.²⁶

El problema se presenta cuando se deja en manos de los oficiales de gobierno decidir qué es lo mejor para la sociedad, según House. La decisión sobre los estándares de la evaluación y la suerte de los programas está centralizado, burocratizado e elitizado. Corresponde a los oficiales del gobierno y expertos (evaluadores, economistas) determinar cómo maximizar la utilidad social. House nos dirá que este enfoque bien podría funcionar en realidades donde el consenso es real y las condiciones de ejecución del programa están ciertamente controladas, es decir, cuando en base a unos pocos y claros objetivos (bajo consenso) se puede prever la relación directa entre las intervenciones y el producto final. Pero cuando los programas son de una base social más compleja —a nivel nacional, por ejemplo— y con una gama variada de objetivos, el enfoque de sistemas aplicado a la evaluación choca con la realidad y sesga los resultados. La implementación de un modelo X para la producción del servicio educación en una realidad Z puede rendir resultados excelentes, en tanto que en otra realidad el mismo modelo puede obtener resultados desastrosos. No es pues útil para justificar la generalización de programas o para su rechazo a nivel nacional.²⁷ Por otro lado, no es cierto que exista una relación de producción estable entre inputs y outputs en la producción de servicios sociales y educacionales, tal como existe en la producción manufacturera. El contexto —una variable multidimensional y dinámica— juega un papel determinante al desestabilizar la función de produción que no es en todo caso física. Y por último, no es cierto que la obtención masiva de datos cuantitativos sea la única manera de evaluar objetivamente los programas. Se confunde aquí la inter-subjetividad de unos expertos que determinan qué y cómo analizar la realidad con objetividad.

El análisis de sistemas aplicado a la evaluación, al dejar de lado la multiplicidad de intereses que un programa social envuelve, carece de imparcialidad y su presunta objetividad no es otra cosa que la inter-subjetividad de algunos expertos. La recolección de datos sobre la planificación, monitoreo, impactos y costos, realísticamente hablando, está dirigida para el uso de los oficiales de gobierno, pero nada más. Usarlo para justificar el bienestar del sociedad en general, es pedirle demasiado a este enfoque.

El “enfoque sobre las decisiones” (decision-making approach), desarrollado por Stufflebeam (1969), Guttentag (1974) y Patton (1978)²⁸ entre otros, reclama su validez en base a su utilidad en el proceso de toma de decisiones del cual la evaluación forma parte. Se relieva la importancia de las evaluaciones de los procesos. El evaluador debe identificar primero los niveles claves de toma decisiones, ya sean estructuras organizativas o personas, para conocer sus demandas y necesidades y luego proceder al análisis cuyos resultados ofrecerán un grupo de alternativas de decisión. El lado positivo de este enfoque es precisamente el ligar los resultados de la evaluación con su uso. Sin embargo, en este caso, como en el anterior, las preguntas centrales están puestas por los que manejan y deciden sobre los programas. Otra vez se puede desprender una priorización de los intereses burocráticos en detrimento de los intereses de la población objetivo, por ejemplo. Por otro lado, la mayoría de las veces, las alternativas presentadas no necesariamente están atadas a la decisión correcta sobre los programas porque aquí entran en juego el contexto político que es cambiante por definición. La evaluación es parte del proceso de toma de decisiones hasta cierto punto; se presenta como su antesala técnica donde la mutua confianza y la comunicación clara entre evaluadores y su audiencia es muy importante para facilitar el uso de sus resultados, pero éste no está en ningún caso garantizado tal como se desprende del estudio de Carol Weiss sobre los usos de la evaluación en diferentes agencias del gobierno norteamericano.²⁹

El “enfoque de objetivos de comportamiento” (behavioral objectives approach), muy en boga en la tecnología educativa contemporánea, fue introducido por Tyler (1950) y luego desarrollado por otros autores como Bloom (1956), Schumam (1967), Mager (1972) y Popham (1975).³⁰ Su influencia en la actualidad se ha expandido al campo administrativo, tanto privado como público, con la llamada “administración por objetivos”.

El enfoque de objetivos de comportamiento adquiere importancia dada su gran precisión para abordar la evaluación de programas educacionales de lo cual se deriva su constante preocupación por especificar objetivos y por construir instrumentos para medirlos. A diferencia del enfoque anterior, éste pone énfasis en el análisis de resultados. La pregunta básica es si se alcanzaron y en qué medida, los objetivos propuestos. Los objetivos (no cuestionados) tienen que ser especificados en comportamientos y metas, haciendo medibles los resultados. La misión del evaluador es ayudar a especificar estos objetivos únicos, así como su trasformación en metas y su posterior medición. La evaluación arrojará resultados sobre las pre-establecidas metas. No se juzga lo intrínsicamente logrado por el programa, sino lo que se dijo que se iba a obtener. Aquí se trata de establecer la relación entre intención y acto, al margen de que el acto haya sido afectado por otras variables de contexto o existan otros efectos tanto o más importantes que los especificados. La certeza que nos brinda este enfoque en una sociedad tecnologizada y segmentarizada corre el riesgo de basar los juicios evaluativos en ciertas dimensiones y no en otras y hasta de rechazar el resultado final por no ser estadísticamente significativo, o porque el instrumento de medición no está suficientemente desarrollado y validado, al margen de que haya habido un cambio producto de las intervenciones. Aquí, otra vez se asoma el fantasma de la parcialidad inter-subjetiva.

En la década de los setenta, The National Institute of Education de los Estados Unidos pretendió recoger algunas de las críticas que se venían haciendo a estos enfoques evaluativos y lanzó su “enfoque de los interesados” (stakeholder approach). El enfoque pretendió responder no sólo a los criticismos de la comunidad académica en cuanto a la verdadera utilidad de las evaluaciones, sino que incluso pretendió ubicar la actividad evaluativa en el contexto del consenso fragmentado. El enfoque toma en cuenta ya no sólo los criterios e intereses de los burócratas y el gobierno sino que también incluye los intereses de todos aquellos afectados por los programas.³¹ Este intento de hacer más realista y participatoria el manejo y la evaluación de los programas sociales y educacionales, por lo tanto más consensual, busca potenciar el uso de los resultados de la evaluación para la toma de decisiones.

Según Ernest House, el enfoque de los interesados se basa en la teoría del equiblibrio pluralista-elitista de la democracia. Esta teoría asume que grupos de interés compiten por ver representados sus intereses en la escena oficial logrando una suerte de equilibrio al ser éstos absorbidos por quienes deciden las políticas. El estado está libre de sesgo normativo y se limita a balancear los intereses en cuestión. Los evaluadores, al presentar las visiones de los diversos grupos o individuos afectados por los programas, ayudan a los que deciden la suerte de los programas, a tomar decisiones equilibridas. Estas decisiones representan la racionalidad del bienestar social.³²

Si bien se puede admitir que esta visión es un avance respecto a la visión monolítica de la sociedad norteamericana e introduce ciertas mejoras con respecto al uso de la información y resultados de la evaluación por un espectro más amplio de intereses y por lo tanto, le da un carácter más justo y democrático a la evaluación, todavía enfrenta problemas en relación a la manera de implementar el enfoque en el actual contexto político y respecto al rol de los evaluadores.

Primero, el contexto político en el que está inmerso el programa está definido por la presencia “relevante de interesados” y quienes deciden las políticas. En este contexto, no todos los interesados manejan la misma cuota de poder, no todos los que reclaman representar los intereses de ciertos grupos o individuos no necesariamente gozan de legitimidad u organicidad con sus supuestos representados y más aún todavía, no queda claro quién decide sobre la participación de los interesados, es decir, quién y cómo se define a los interesados. Esto puede, de hecho, poner en peligro el juego de equilibrio democrático: se priorizará los intereses de aquellos con más cuota de poder y/o de aquellos que de alguna manera se presentan en el momento de la repartición de la torta, al margen de su legitimidad, dejando de lado a sectores que comúnmente no tienen voz pública.

Segundo, dentro de este esquema las burocracias a cargo de los programas siguen teniendo una cuota importante de poder, quizá ya no tanto a nivel nacional, pero sí a nivel local. Hay que tomar en cuenta que las evaluaciones de los programas, aun siendo implementadas por evaluadores externos, están inmersas en estructuras burocráticas que articulan diferentes culturas organizacionales, que compiten por recursos y esferas de influencia y que pueden tender a priorizar sus propias valoraciones en detrimento de los intereses de otros interesados presentes o no, en el momento del acuerdo sobre los estándares y problemas a estudiar.

Tercero, el contexto político estadounidense ha perdido hoy en día su dinamicidad de los años sesenta y ha excluído a los actores políticos más contestatarios; esto ha traído como consecuencia una burocractización de las demandas sociales dentro de una situación de pasividad e inercia política que ha contribuído, entre otros factores, a la crisis de legitimidad del estado de Bienestar. En este contexto, los programas y sus evaluaciones han adquirido un nuevo carácter e importancia. No es extraño encontrar que las evaluaciones de los años ochenta y noventa, no sólo disminuyeran en número porque se trataba de reducir la intervención estatal, pero que además que hayan servido como justificación técnica para la eliminación de ciertos programas sociales.³³ Entonces, mal se puede hablar de una apertura o un avance, al margen de las intenciones de unas pocas agencias federales, ya que el enfoque de los interesados se vio limitado por la situación política en la cual el conservadurismo norteamericano, anti-estatista y autoritario pareciera tener por ahora la hegemonía.

Cuarto, asumiendo que todos los interesados son los que deberían estar presentes, la necesidad de consenso incorpora otra dimensión dentro del proceso de la toma decisiones: la dimensión tiempo. Esta dimensión demanda procedimientos específicos de tal forma que la negociación de intereses no inmobilice la toma de decisiones. La voluntad política de hacer intervenir a los interesados no es pues suficiente, se necesita además una decisión al final de proceso, donde las partes se comprometan a aceptar los resultados. Estos procedimientos de participación-negociación-toma de decisiones no están todavía lo suficientemente desarrollados y/o integrados a las estructuras organizativas del sector público y pueden trabar el desarrollo de los programas.

Quinto, el proceso de negociación de intereses, estándares y metas de los programas podría estar forzando a los evaluadores a asumir un papel bastante distinto al que comúnmente vienen desarrollando. Este nuevo papel no ha sido especificado claramente en el enfoque. Los evaluadores podrían actuar como facilitadores, activistas o administradores políticos en vez de simple observadores técnicos. Surge pues la pregunta de si los evaluadores están preparados para asumir eficientemente estos roles junto con las implicancias técnicas de la tarea evaluativa.

Finalmente, a fines de la década setenta se empezó a desarrollar en el sector empresarial estadounidense un nuevo movimiento administrativo que ponía énfasis en la calidad, definida como el compromiso permanente de todos los participantes de una empresa para obtener mejores costos, mayor productividad y mejores productos o servicios vía un incremento de la autonomía, responsabilidad y autoridad de los trabajadores.³⁴ En sus inicios, esta preocupación por la calidad se concretizó en un llamado a la “calidad de la vida laboral” (quality of work life) y la creación de los “círculos de la calidad” (quality circles o quality control circles).³⁵

Si bien las empresas estadounidenses contaban con la tecnología apropiada para efectivizar el control de calidad, éstas habían estado fallando en la integración de esta tecnología al manejo de los recursos humanos. Las compañías reconocían así que el proceso productivo tenía un “lado humano” relacionado a la motivación e identificación de los trabajadores con el mejoramiento de la productividad,³⁶ según lo postulado por McGregor (1969), Herzberg (1966) y Maslow (1954).³⁷

A fines de los ochenta, esta preocupación por el control de la calidad en las empresas estadounidenses se convierte en un movimiento administrativo integral³⁸ llamado “administración de la calidad total” (ACT) (total quality management, TQM). La ACT busca que los estándares para la calidad del producto o servicio final sean establecidos claramente en base a lo que los consumidores creen necesitar y los productores consideran viable de hacerse. Se requiere que los gerentes tengan una visión estratégica de la firma, que la empresa tenga una organización flexible y comunicación rápida, y que los trabajadores manejen una serie de técnicas estadísticas que les ayuden a procesar y entender la información acerca de su desempeño y la manera de realizar los procedimientos. Dentro de esto, la evaluación, tipo monitoreo o control es una pieza fundamental del enfoque, enfatizando la auto-evaluación permanenente y precisa.³⁹

La ACT trataría de enfrentar así las presiones y desafíos de un mercado globalizado, tecnologizado y cambiante en el cual los empresarios y trabajadores ya no cuentan con la certidumbre que tenían durante los años cincuenta y los sesenta cuando la producción norteamericana prácticamente era la dominante a nivel nacional e internacional,⁴⁰ y las actitudes y composición de la fuerza laboral eran otras.

En el sector público norteamericano, la aplicación de la ACT se hace oficial, un poco más tarde, con la creación del Premio Presidencial a la Calidad en el Gobierno Federal y el Instituto Federal de la Calidad durante la administración Republicana en 1988.⁴¹ En la actualidad, algunos postulados de la ACT han sido recogidos por la administración Clinton y plasmados en el documento sobre la Re-invención del gobierno (The Gore Report on Reinventing Government), que si bien no endorsa a cabalidad la ACT le ha permitido esbozar una estrategia de reforma del gobierno federal (crear un “gobierno que trabaja mejor y cuesta menos”).⁴²

La ACT en el sector público estadounidense se enmarca dentro de la urgente necesidad de reducir el monstruoso déficit fiscal y la pérdida de confianza en el gobierno federal parte de la ciudadanía, así como los desafíos de una era post-industrial.⁴³ Aunque la ACT está incorporando en la práctica muy parcialmente al sector público norteamericano se espera un mayor desarrollo y aplicación de este en los años venideros. En este sentido, la implementación de la ACT en el sector público norteamericano es una de las tendencias post-modernizantes que nos transportarán al siglo XXI.

La evaluación en el sector público dentro de la ACT se centra fundamentalmente en los procesos y en el desempeño de los agentes. El monitoreo del desempeño individual y de equipo estaría ligado a la necesidad de determinar responsabilidades y establecer incentivos, de esta forma su uso se relaciona más con la evaluación del personal y es de carácter interno.⁴⁴

No se desprende claramente, cuál es el papel de las evaluaciones de impacto ni cuáles son los mecanismos para integrarla dentro del enfoque administrativo. Presumiblemente, este tipo de evaluaciones, tan cruciales para los programas sociales y educacionales, seguirán siendo la tarea de otras organizaciones dentro del sector público. Esto último debido a que tanto del poder ejecutivo como del legislativo, necesitan información técnica y fidedigna que les permita debatir la necesidad de los programas.

Sin embargo, la actividad evaluativa federal se da en un contexto particular en la década de los noventa: la necesidad de decidir en el corto plazo sobre el futuro de programas en funcionamiento y la casi imposibilidad de nuevos programas, dada actual preocupación por la reducción del déficit fiscal. Esto llevaría a  revitalizar la evaluación de programas maduros y de largo alcance para determinar su necesidad, al mismo tiempo que se trataría de poner énfasis en el mejoramiento de aquellos programas que sobrevivan el corte presupuestal. Por lo tanto, el énfasis de la evaluación recaerá en los procedimientos intra-burocráticos y la productividad en detrimento de las evaluaciones de impacto.

No se puede negar que existe curiosidad e interés por parte de los académicos, profesores y administradores de la educación sobre la aplicación de la ACT en las áreas educativas y sociales, pero lo avanzado hasta el momento deja todavía mucho que desear.  Algunas pocas universidades estadounidenses lo vienen usando sobre todo en el manejo de la enseñanza en aulas, otras están introduciendo cursos sobre la ACT, especialmente en las escuelas de ingeniería y administración de negocios respondiendo a las demandas de las grandes corporaciones como Xerox, Motorola, IBM, American Express,⁴⁵ y muy pocas universidades están de hecho aplicando el enfoque en su sistema administrativo.⁴⁶

Todavía no hay estudios que nos permitan ver a plenitud su utilidad en el campo de la administración educativa y de programas sociales, más allá de las obvias ventajas que produce la motivación de hacer las cosas mejor sabiéndose parte del problema y la integración de diversas fuentes de información en la creación y evaluación de estándares.

Sin embargo, habría que llamar la atención sobre los peligros de aceptar acríticamente este enfoque que muy bien puede ser beneficioso para las grandes corporaciones estadounidenses,⁴⁷ pero que puede dejar de lado muchas de las diferencias básicas entre el sector privado y público dado el fervor anti-estatista de los años noventa.

Una de las diferencias claves es cómo las organizaciones públicas y privadas identifican, sirven a sus “clientes” y establecen los estándares. Para la empresa privada esta es una decisión económica y unívoca, en tanto que para el sector público es una decisión no sólo económica sino política y por lo tanto, cambiante, conflictiva y sujeta a una correlación de fuerzas internas y externas a la organización misma.

Por ejemplo, en 1990 la Comisión para la Igualdad de Oportunidades en el Empleo fue nominada para recibir el Premio Presidencial a la Calidad. La Comisión estaba bajo el liderazgo conservador y merecía ser reconocida según los estándares de la administración republicana, como un ejemplo de organización que aplicando la ACT en el sector público servía mejor a sus “clientes”.

La Comisión, sin embargo, fue duramente criticada por las organizaciones defensoras de los derechos de las minorías, de las mujeres, y de minusválidos, sus “clientes” naturales. La crítica se basó en la disminución de “casos legales de grupo” (class action) llevados a los tribunales por la Comisión: en 1980 fueron presentados a las cortes 218; en 1989, sólo se presentaron 94 casos de grupo; en aumento y acumulación de los casos no atendedidos: en 1983 los casos no atendedidos fueron de 35,000 y en 1989, llegaron a 46,000; y en el aumento en el período de procesamiento de las demandas: en 1983 el período era de 4 a 7 meses, en 1989, llegó a ser 10 meses.⁴⁸ La Comisión, tomando en cuenta los estándares de los grupos mencionados, servía más a sus “clientes conservadores” (organizaciones descriminadoras) debilitando en la práctica su misión para la cual fue creada.⁴⁹ Desde el punto de vista conservador, probablemente se aumentó la eficacia de la Comisión porque se disminuyó el número de interferencias entre las empresas privadas y el gobierno. Sin embargo, ¿Quién decide quiénes son los reales “clientes” y cómo atenderlos? Teóricamente, la ley; pero como todos sabemos hay distintas maneras de interpretarla e implementarla. La ACT no resuelve este conflicto que es propio del sector público, sino que tiende a diluirlo.

Otra diferencia importante es la manera cómo las grandes empresas privadas actúan frente a la necesidad de entrenamiento de su personal y el cambio tecnológico usando la ACT. Las empresas privadas pueden darse el lujo de invertir en entrenamiento y ver sus resultados en el mediano plazo, en tanto que suelen ser económicamente diversificadas. Por otro lado, el cambio tecnólogico siendo una necesidad de su supervivencia en el mercado necesita de una inversión constante. En el sector público, los presupuestos públicos definidos políticamente no tienen la flexibilidad que encontramos en el sector privado. El cálculo sobre el uso de recursos destinados a un largo proceso de entrenamiento y experimentación y los frutos a obtenerse gracias a la ACT, cobran en este sentido, diferente racionalidad en el sector privado y público y merece elaborse más al respecto.

Otro aspecto medular ligado a la implementación de la ACT es el tipo de cultura organizacional y el ambiente social al cual supone pertenecer.⁵⁰ Es interesante notar que la ACT fue implementado primero en las grandes empresas japonesas donde los trabajadores forman parte parte de un sistema empresarial altamente jerarquizado, con aumentos salariales controlados a cambio de seguridad laboral y con buenos beneficios sociales.⁵¹  El paternalismo empresarial y el desmantelamiento de la oposición obrera radical han de hecho facilitado contar con una clase obrera fiel a los designios de la empresa. Dentro de este esquema, invertir en el entrenamiento de trabajadores ligados a las firmas de por vida no sólo tiene sentido económico, sino que además refuerza el sentimiento de pertenencia: el trabajador se siente parte de la “familia Toyota!”. El trabajador no espera que el estado resuelva sus problemas de vivienda o salud, sino la empresa. Cabe preguntarse entonces, si ésta es la cultura organizacional de las corporaciones y/o del sector público estadounidense. Por lo tanto, creemos que una extrapolación de las ventajas adquiridas por Japón gracias a su propia realidad cultural y política podría estar omitiendo las particularidades de una sociedad que desarrolló mal que bien, un Estado de Bienestar y a la cual los trabajadores (del sector privado o público) están acostumbrados y consideran importantes. El sentido de inseguridad en los actuales tiempos de recesión económica, reducción del déficit fiscal y del empleo público, no coincide con el contexto japonés dentro del cual se desarrollo la ACT.

Validez y contexto de las metodologías de evaluación

Nuestro comentario sobre los enfoques predominantes en las actividades evaluativas de los Estados Unidos no pretende ser exhaustivo. No hemos agotado las posibilidades de aplicación de los enfoques ni su crítica, así mismo no hemos hecho mención de otros enfoques menos usados. Lo que se quiere resaltar con la revisión hecha es que existen corrientes metodológicas en la evaluación adscritas a enfoques administrativos que por ser más frequentemente usados y aceptados por el gobierno federal, se han convertido en las metodologías científicas por excelencia al margen de que su uso y abuso dejen mucho que desear en cuanto a sus aportes a la eficiencia de los programas sociales y educacionales.

Pero, ¿cuál es el problema? se preguntará el lector. La respuesta es sencilla: lo que se dice objetivo no necesariamente lo es; lo que se asume ajeno a valoraciones subjetivas, es más bien una inter-subjetividad burocrática y lo que se supone garantizaría la eficiencia y racionalidad, no lo es tampoco porque éstas están ligadas a la valoración de una élite.

Si tomamos en cuenta por ejemplo, el actual contexto político conservador en los Estados Unidos y su relación con los enfoques administrativos y metodologías propuestos, podemos encontrar que algunos de éstos, utilizan las evaluaciones para representar la racionalidad cientificista necesaria para justificar el quehacer conservador. Las metodologías empleadas entran así en un compadrazgo tautológico con el pensamiento conservador. Se crea una nueva legitimidad basada no en el consenso real, pero en la ciencia y la técnica, por lo tanto “neutral” y aceptable para todas las partes, en donde la cantidad de productos o la imagen de productividad justifica la decisión política. De esta manera el estado y evaluación se ligimitizan mutuamente: “yo acepto tus resultados, si tu me demuestras ‘científicamente’ lo que yo quiero que me demuestres”. Para lograr este fin el uso de hard data o hard evidence es sine qua non de objetividad. Otro tipo de metodología, técnica o dato sería espureo y no aceptable.⁵²

Se podría hablar de un cientificismo oficial que muchas veces entra en contradicción con la realidad misma (consenso fragmentado) y que es sancionada por algunos profesionales de la evaluación en tanto que otros, buscan metodologías alternativas más realistas pero menos aceptadas oficialmente, y que no pretenden avalar las decisiones tomadas sino en todo caso cuestionarlas.⁵³

Esto nos lleva a plantear que la objetividad y la validez en la evaluación, garantías del conocimiento racional-científico, no pueden ser asumidas como abstracciones generales libres de su contexto socio-económico y político. La objetividad y la validez  de las evaluaciones están íntimamente relacionados al objeto de estudio (programas), al observador (evaluador) y a sus audiencias (actores sociales y políticos, grupos de interés, presencia relevante de interesados, clases sociales). La objetividad y la validez tienen que ver necesariamente con la producción social del conocimiento y no con una reconstrucción abstracta de hechos. Es decir, la objetividad y la validez están históricamente determinandos, a menos que aceptemos erróneamente que “conocer racionalmente” es una entelequia externa a la actividad humana a la cual sólo unos escogidos pueden arribar dada su capacidad de abstraerse falsamente del contexto donde se produce el conocimiento.

A estas alturas, el lector ya se ha podido dar cuenta que la tarea evaluativa al estar íntimamente ligada al proceso de investigación social, al cambio social y a la esfera política-estatal, está por ende, inmersa dentro de un debate epistemólogico (¿cómo conocer?), filosófico (¿qué es la realidad social?) y político (¿cómo transformar la realidad social y para quién?) de mayor alcance, que no se queda meramente la determinación de cuál es la mejor técnica o método de investigación social (si cualitativo o cuantitativo; si enfoque de sistemas u otro enfoque). Estas técnicas son intrumentos usados para sistematizar información sobre la realidad social, los enfoques son instrumentos de manipulación de la realidad con determinados fines, pero no garantizan en sí mismas el conocimiento válido y objetivo, ni el cambio social en sí mismo.

El uso de técnicas y métodos de investigación social, así como el uso de enfoques administrativos que afectan la evaluación están subordinados a un debate mayor que debe hacer necesariamente referencia específica a la realidad social y política dentro de la cual se desarrolla la tarea evaluativa: actores sociales, estructuras estatales, necesidades sociales, ideologías, fuerzas políticas y la asimilación de determinadas pautas culturales y científicas.

En una realidad social y política como la estadouninense donde se asume un tratamiento de las necesidades sociales desde una perspectiva liberal-pluralista según la cual el estado actúa como árbitro de los intereses en juego, los intereses de grupo son interpretados como la suma de los intereses individuales. Al margen de lo que ya comentamos en relación a las diferentes cuotas de poder y la representación de los intereses que sólo se presentan en la escena oficial, el problema de los intereses sociales entendidos como la sumatoria de percepciones individuales, conduce al análisis de las preferencias individuales —que como cualquier percepción individual— puede ser modificada y/o  manipulada, en tanto que los que deciden sobre las políticas y los programas se nutren de estas mismas percepciones para sustentar sus decisiones. Es el marketing dirigido a la conciencia individual el que crea la legitimidad necesaria, sin necesariamente cambiar el status quo. No se trata de resolver problemas reales, sino de garantizar que no haya oposición y legitimizar así la acción estatal como moralmente correcta para la sociedad en que se vive.⁵⁴ En este caso, el análisis de necesidades individuales (needs assessment) se presentan otra vez como el argumento sistemático, pero tautológico de las necesidades sociales. Estas pueden ser sistematizadas y priorizadas a través de encuestas de opinión que no necesariamente reflejan una necesidad social objetiva.⁵⁵

La adscripción a un liberalismo donde el interés del individuo es legítimo si es que no choca con el interés de otro individuo, sin considerar su referente social o la totalidad social puede entrampar las decisiones sobre programas y políticas a tal punto que el consenso creado respecto a la actividad gubernamental para resolver desigualdades históricas puede diluirse entre las demandas de los individuos formalmente iguales (clientes y consumidores) y con el mismo peso.

Dentro de este esquema ideológico es fácil aplicar la analogía del mercado y considerar utilitariamente a los sectores en desventaja como “clientes” o “consumidores” con igualdad de condiciones para optar libremente por las preferencias disponibles en el mercado de servicios federales o estatales. En la actualidad, la presiones para abandonar a los sectores sociales en desventaja a su suerte se presenta como alternativa fácil y peligrosa que siguiendo la analogía del mercado, eliminaría el servicio y de esta manera, su demanda.⁵⁶

La experiencia evaluativa estadounidense, si bien tiene sus limitaciones dado su contexto cultural e ideológico hegemónico, no debe entenderse como estática e imposible de cambiar. El eficientismo y cientificismo de la evaluaciones vienen siendo contrastados con nociones más amplias de justicia social participación, democracia, equidad y ética profesional que asumen el cambio social como una responsabilidad de la comunidad y no sólo de los gobiernos y las burocracias. Dentro de esta perspectiva los evaluadores y los participantes en los programas tienen algo que decir acerca de las desigualdades de la estructura social y cómo ésta está siendo o no afectada mediante los programas sociales y educacionales. Este desarrollo de la evaluación que principalmente se da dentro de la academia⁵⁷  choca no obstante en la actualidad con las tendencias de la economía, su manejo y la aparición de enfoques administrativos que le son funcionales.

Ligado a lo anterior, la práctica profesional y el rol de los evaluadores podría estar pasando por una encrucijada en la cual la misma esencia de la profesión puede llegar a ser cuestionada en la medida que los evaluadores sean absorbidos por el establishment y pierdan su independencia que les da autoridad moral y científica. La posibilidad de que esto no ocurra no depende de evaluadores individuales sino de la integración de la profesión como tal a un movimiento profesional por el cambio social dentro del cual su autoridad científica se restablecería, con el riesgo de convertirse en marginal-no-oficialista.  En este contexto, diferente al que percibimos hoy como la tendencia predominante, la evaluación podría convertirse en un instrumento para la democratización de las decisiones públicas y, el manejo y escrutinio de los programas.

Sólo dentro de esta opción es que puede tener sentido y orientación específica el diseño, implementación y evaluación de programas sociales y educacionales, y solo así, los términos de justicia social entendida como la alteración de las cuotas de poder, status y de riqueza podrán ser integrados a la administración de los programas con un sentido de cambio más perdurable.

En cualquier situación, la evaluación seguirá siendo un campo de controversia en la medida que siempre estará conectada a ideologías y a la política. La diferencia radicaría en que el desacuerdo podría estar basado en juicios arbitrarios, inter-subjetivos y elitistas, o estos se darían alrededor de los intereses de los participantes en los programas (grupos sociales en desventaja) bajo criterios racionales de igualdad, imparcialidad y justicia. Para lograr este escenario en los Estados Unidos, una reactivación de la comunidad es necesaria, los evaluadores tienen que asumir una posición política clara frente a los programas educacionales y sociales y los administradores deben buscar ligar su práctica a enfoques administrativos que faciliten la participación ciudadana y el escrutinio de la actividad estatal.

Se hace necesario, desde esta perspectiva, una participación más constante de los sectores implicados en el cambio social. Una vigorosa ciudadanía no sólo es compatible con una administración pública efectiva, sino que es su condición para la efectividad. En otras palabras una ciudadanía efectiva es esencial para la administración de un gobierno efectivo.

Por otro lado, los evaluadores tiene que producir evaluaciones relevantes y significativas para estas audiencias y no esconder, bajo el prurito de la objetividad, una serie de valoraciones y subjetivismos que a la larga actúan en contra de los intereses de estas audiencias.⁵⁸ El evaluador, como profesional, al manejar una serie de técnicas y metodologías sobre las cuales él decide  en el proceso de investigación, tiene que tener una percepción clara de las implicancias de sus decisiones. Esto significa que antes que nada debe conocer el programa en cuestión y tomar una posición frente a éste; su percepción del programa afectará su decisión sobre las técnicas de recolección de información y análisis, y no al revés. Cerrar los ojos al contexto de la evaluación, y pasar directamente a la justificación técnica de los hallazgos, significa sesgar los resultados de antemano y venderlos como “científicos” y neutros. Quiza valga la pena recordar aquí que no existe investigación social libre de valoraciones, y que lo más peligroso para proceso de investigación social, no es la existencia de valoraciones, sino su uso oportunista.⁵⁹

Las implicancias para América Latina

Una verdad de Perogrullo que no hacemos sino olvidarla, es que América Latina no es los Estados Unidos, como lo señalábamos al principio. La experiencia latinoamericana de los últimos cincuenta años buscando un modelo de desarrollo adecuado nos ha demostrado que mucho más útil para nuestra realidad es tener en cuenta las diferencias culturales, de sistema político y de desarrollo económico que obviarlas copiando recetas o aceptando lo que está de moda porque es sinónimo de lo moderno. Este tipo de olvido, todavía persiste en algunas esferas académicas y de gobierno en ambos lados del continente americano con dañinas repercusiones en la solución de los problemas de desarrollo social y económico. Este olvido hace que en las esferas burocráticas latinoamericanas todavía se esté pensando que la solución a la problemática de la modernización del estado y de la evaluación en particular, pasan por la adopción de las “técnicas más modernas” y las “metodologías más complejas”, sin reflexionar sobre su validez y/o utilidad.⁶⁰

En este sentido, la primera implicancia a la luz de la experiencia evaluativa estadounidense es saber diferenciar los contextos en los cuales se da la expansión de la evaluación y con que características se adoptan metodologías y modelos de evaluación. En América Latina el impulso por la evaluación se viene dando dentro del modelo neo-liberal, en tanto que en los Estados Unidos se dio bajo el marco del Estado de Bienestar. En uno, el estado jugó un papel determinante para tratar de inducir el cambio social, no solamente asignando recursos pero también creando organizaciones e infrastructura. En América Latina de hoy en día, el estado aparece disminuído y sin capacidad de liderazgo, sin recursos, y poco se espera de su actividad y desempeño para solucionar las necesidades sociales. A nivel económico, la deuda externa latinoamericana y la recesión mundial han venido empujando a tomar medidas de constante ahorro fiscal que reducen la ingerencia del estado en ámbito de los servicios sociales y por lo tanto, poco se está haciendo para resolver el problema de la deuda social.⁶¹

Sería erróneo equiparar este contexto de pobreza en crecimiento y con los programas sociales disminuídos con una “guerra contra la pobreza” de la década de los 60 en los Estados Unidos por ejemplo. En el contexto estadounidense los programas necesitaban ser evaluados para su generalización o expansión, se buscaba las estrategias más adecuadas para expandir la cobertura. Posteriormente, se trató también de incluir más de una visión para la determinación de los indicadores de eficiencia dentro de lo cual la inclusión de las poblaciones objetivo en el proceso evaluativo aparecía como sine qua non de validez para algunos profesionales de la evaluación. Esta perspectiva, aún en debate en los Estados Unidos pero de reconocida importancia, es en sí misma una metodología compleja que expande el papel de los evaluadores y fomenta el escrutinio ciudadano, merece ser revisada cuidadosamente en el actual contexto de la región latinoamericana.⁶²

En América Latina actual, las estrategias de lucha contra la pobreza están sumamente focalizadas y dirigidas a grupos específicos de extrema pobreza.⁶³ Estas circunstancias estarían determinando el tipo de modelo de evaluación y metodologías a las que se pueden adscribir los estados latinoamericanos. Lo que importaría en este contexto es estar seguros que se están usando los recursos de acuerdo a metas especificadas. Lo específico de los programas es lo que contaría. La metodología adecuada sería aquella que obtenga la verificación de que lo que se programó, realmente se dio, y aquella que permita medir el impacto a escalas limitadas: en cuánto se redujo x indicador de pobreza para este específico grupo social. En este contexto, los gobiernos latinoamericanos probablemente se comprometerán más que nada a impulsar evaluaciones ligados a inversiones específicas (de repente finaciadas con fondos de cooperación internacional) y a proyectos muy puntuales (adaptación del sistema universitario a las nuevas demandas del mercado, por ejemplo), más que a la creación de sistemas nacionales de evaluación.

En varios países latinoamericanos se vienen creando en este sentido sistemas nacionales de evaluación de la inversión pública (Argentina, Brazil, Colombia, Venezuela, Chile, El Salvador, Panamá, Nicaragua, Guatemala) que facilitarían la creación de bancos únicos de datos sobre inversión pública, proyectos y programas; esto llevaría a optimizar el seguimiento financiero y económico de la inversión pública a la vez que permitiría obtener una idea más clara de que se está haciendo y cuánto se esta afectando la realidad social.

Este tipo de compromiso aunque limitado en alcance, implicará una reestructuración de la coordinación entre agencias estatales (auditoría, contraloría, planificación, presupuesto, ministerios particulares y de hacienda) determinando los ámbitos y funciones de cada una de ellas respecto a actividades conexas pero no idénticas.64 Requerirá cierto encuadre legal que le dé peso específico a la evaluación y la haga obligatoria, a la vez que demandará el entrenamiento de recursos humanos en manejo de banco de datos y supervisión. Los gobiernos en su gran mayoría podrían comprometerse en el mediano plazo a una modernización limitada y focalizada del aparato estatal, basada en lo que más o menos vienen haciendo de desde hace un buen tiempo, pero afinando los mecanismos de evaluación y seguimiento ligados a la ejecución del presupuesto.

Sin embargo, en las actuales circunstancias, esta alternativa no demandará una restructuración del aparato estatal como un todo, dentro del cual la evaluación se convierte en uno de los principales instrumentos de esta modernización. Es decir, no requerirá la creación de un sistema nacional de evaluación ligada a la modernización global del aparato estatal.⁶⁵

Lo limitado de este posible curso de acción estaría dejando de lado la necesidad imperiosa de reactivar la sociedad civil y sus nexos con el estado para garantizar que la liberalización económica tome su propio curso. La regeneración de la sociedad civil como un factor importante de reforma del estado implica ensanchar los márgenes de participación ciudadana vía el escrutinio de las actividades públicas.

En América Latina, la sociedad civil si bien no está totalmente ausente en el escrutinio de las actividades estatales, su participación es endeble dado que los movimientos sociales se hallan en una larga crisis ideológica y organizativa que afecta la canalización de sus demandas sociales y las otras “dimensiones del escrutinio” (los profesionales, la academia, los consumidores, por ejemplo) sólo tienen una presencia esporádica sin autoridad cultural y sin canales de expresión institucionalizados. Junto a esto se puede notar que no existe una tradición de involucrar a la población en los asuntos del gobierno, ya sean éstas poblaciones objetivo, comunidad o asociación de ciudadanos.⁶⁶ Se puede hablar de una sociedad civil en efervecencia pero que carece de mecanismos institucionalizados para hacerse sentir dentro del estado. Esta exclusión se deja sentir mucho más ahora que los partidos políticos tradicionales han perdido su rol intermediario entre la sociedad civil y el estado. En pocas palabras, no existe en América Latina una diversificación de modos de evaluación que constituya una red de búsqueda de consenso y facilitadora del escrutinio de lo público. Lo que se tiene se parece más a formas segmentadas de evaluación que no trascienden los marcos limitados impuestos por las burocracias nacionales o internacionales para el manejo de proyectos y programas específicos. Es decir, lo que se tiene sobre-dimensiona el peso de lo público-estatal (rol de las burocracias) en la llamada modernización segmentada del aparato estatal.

Si no existe en América Latina una cultura política que acepta la necesidad del escrutinio de lo público por parte de los ciudadanos mal se puede hablar de una modernización del estado que pretenda hacer eficiente su actividad y fomentar su transparencia. Sin embargo, sabemos que el problema no empieza con la evaluación misma, sino con la falta de debate sobre los objetivos de los programas y las políticas públicas. Estos simplemente no son debatidos lo suficiente para arribar a un consenso real entre estado-burocracia y actores sociales.⁶⁷ Esto implicaría un debate abierto de alternativas en un contexto democrático que a duras penas se mantiene abierto en las actuales circunstancias de polarización social.⁶⁸ En este sentido, se podría esperar que aun contando con más información, los sectores sociales todavía se mantendrán al margen de la actividad estatal y la evaluación tomará un derrotero cada vez más intra-burocrático.

Cabe mencionar, sin embargo que una de las características propias del contexto latinoamericano es que la reactivación de la sociedad civil se viene dando gracias a la presencia masiva de organizaciones no-gubernamentales (ONGs) de desarrollo que dentro del contexto de la crisis del estado intervencionista y su reemplazo por el estado neo-liberal, han adquirido sin duda alguna una importancia relevante. Las ONGs han venido asumiendo parte de la tareas de servicio social que el estado abandonó o nunca se interesó en desarrollar pero que típicamente son de carácter público. Muchas de ellas lo vienen haciendo con financiamiento extranjero y promoviendo la participación popular. Estas organizaciones han probado en muchos casos su eficiencia y cuentan con la aceptación de los sectores a los que sirven.⁶⁹

Las ONGs no se ubican en la esfera estatal propiamente dicha, pero por su actividad y por su ideología, su quehacer está ligado a lo que Aníbal Quijano llama lo “público no-estatal”.⁷⁰ En tanto que no pertenecen a lo público estatal, sus avances más de las veces no son tomados en cuenta en la esfera oficial. Valdría la pena en los actuales momentos de euforia por la calidad y la evaluación repensar y recoger sus aportes en el manejo y evaluación de programas sociales y educacionales. En el caso particular de la evaluación, dado que no existe una red de profesionales especialistas en evaluación como en los Estados Unidos, y dado que la canalización de los intereses de los sectores populares se encuentra desarticulada, su rol intermediario podría ser útil no sólo para la ejecución de evaluaciones externas al aparato estatal sino que también para integrar en esta los valores e intereses de la comunidad. A esto habría que añadirse la experiencia de trabajo en áreas específicas (salud, vivienda, educación, infraestructura física, participación popular, etc) y el hecho mismo de que vienen, desde hace un buen tiempo, realizando evaluaciones de todo tipo.

Por otro lado, frente a la reconocida y notable ausencia de una cultura organizacional y el expertise adecuados para la implementación de la evaluación permanente y sistemática de todas las actividades del sector público latinoamericano, se ha creado una demanda inmediata por entrenamiento de cuadros gerenciales y especializados en evaluación.⁷¹ Esta demanda que algunos organismos de cooperación internacional pueden satisfacer en el corto plazo, está ciertamente haciendo perder de vista la  necesidad de crear e incentivar mecanismos de participación y educación política para los ciudadanos. Los ciudadanos deberían aprender a usar la información disponible para la canalización de sus demandas y los gobiernos deberán aprender a facilitar esa información y a recibir los inputs de la comunidad.⁷² En este aspecto las universidades públicas podrían jugar un papel importante formando profesionales de la evaluación con la ética y el expertise necesarios, facilitando la difusión de los resultados de la evaluación capaces de ser entendidos por la comunidad y siendo parte ejecutora del sistema de evaluación.

Una observación acuciosa de la experiencia evaluativa en los Estados Unidos nos evidencia que no existe un sólo modelo o una sola metodología de evaluación válida para todos los programas y para todas las realidades, su variedad depende de los objetos de evaluación, de los contextos socio-económicos y políticos, de los paradigmas administrativos en boga, de las necesidades de quienes usan y necesitan los resultados de la evaluación. La variedad de métodos y modelos (oficiales y no oficiales) nos brinda la oportunidad de sopesar sus ventajas y limitaciones para su adaptabilidad a la realidad latinoamericana.

Sería otra vez, erróneo desligar las decisiones sobre modelos de evaluación en América Latina de consideraciones básicas como qué es lo que se pretende lograr con las evaluaciones, bajo qué circunstancias se han aplicado y dentro de qué paradigma administrativo. Recientemente, por ejemplo, el paradigma administrativo de la Calidad Total se nos presenta como el paradigma moderno por excelencia, y se corre el riesgo de asimilarlo sin mayor discusión. Una rápida revisión de éste nos demuestra que todavía hay mucho que analizar sobre qué lugar se le asigna a la evaluación y cómo integrarla dentro de un proceso de cambio organizacional más global. Consideramos que su carácter experimental y su poco uso en el sector público estadounidense, no proporciona todavía respuestas claras en términos de si éste beneficia la participación ciudadana, la democratización de la actividad estatal, su escrutinio.

Conclusión

La breve revisión y reflexión de la experiencia del estado evaluador en los Estados Unidos nos lleva a plantear que la actividad evaluativa en América Latina necesita expandirse y generalizarse, no como quien usa una varita mágica que resolvería todos los problemas que venimos arrastrando, sino como un instrumento racional-técnico que dentro de una estrategia de modernización estatal, se conecte y esté ligada al bienestar y participación de la ciudadanía. Esto es, si la evaluación abre las posibilidades de lograr el cambio social haciendo las cosas más racionalmente y con la participación de la población organizada.

Los estados latinoamericanos no tienen que subscribir el individualismo a ultranza para ser eficientes o modernos; ni tampoco tienen que volver a una estrategia de crecimiento estatal indiscrimanada. Al contrario, su papel puede ser temperado a establecer prioridades obtenidas bajo consenso y a facilitar la participación de la ciudadanía en la solución de los problemas sociales. Dentro de este enfoque, las ONGs podrían ser parte del esfuerzo evaluativo gracias a su autoridad moral y experiencia no sólo en la administración de proyectos de desarrollo sino en la inclusión y educación de la comunidad. Las universidades públicas podrían jugar un rol importante, no sólo formando profesionales de la evaluación sino también siendo ejecutores externos de evaluaciones. Si esto se da, el beneficio sería doble: por una parte se garantizaría el escrutinio de la actividad pública (con profesionales de la evaluación ligados a las universidades y/o a las ONGs) y por otra, se integraría las valoraciones de la comunidad ampliando los márgenes de participación ciudadana.

Las metodologías y técnicas de evaluación a usarse deberían estar en relación a facilitar la integración de la comunidad organizada en la toma de decisiones, diferenciando aquellas que pueden ser de uso intra-organizacional (gerencia, toma de decisiones sobre rendimiento) de las que están más orientadas a medir el cambio social. En todo caso, un estudio de las técnicas, metodologías y conceptualizaciones de la evaluación usadas en cada país de la región debería ser el punto de partida para cualquier programa de capacitación y entrenamiento.

Es importante determinar con qué recursos humanos y organizacionales se cuentan para homogenizarlos técnicamente. Aquí de lo que se trataría es de potenciar los recursos humanos existentes sin crear nuevas capas burocráticas. La capacitación de estos recursos humanos deberá tomar en cuenta como prioridad el cambio de cultura organizacional. La transformación de la cultura organizacional implica que los trabajadores del estado aceptan en teoría y práctica un conjunto de principios que guían su quehacer cotidiano, tales como la aceptación del escrutinio de lo público por parte de los ciudadanos, la evaluación como un instrumento del cambio social, el mejoramiento organizacional y el rendimiento, que éstos no tienen punto de llegada, que asumen la evaluación como parte de la reforma del estado y que más que técnicas y modelos, la problemática de la evaluación está ligada a la “metodología”, es decir a la manera de entender el objeto de ser evaluado, los intereses en juego y los usos de los resultados de la evaluación.

Finalmente, la evaluación en América Latina necesita de una estrategia de desarrollo. Para arribar a ésta lo más importante es ubicarla en la práctica y en el discurso dentro de las tendencias que envuelven y afectan la transformación del estado. En otras palabras, se trata de ubicarla en su contexto, ubicando las fuerzas ideológicas y culturales que sustentan el cambio para la democratización del funcionamiento del aparato estatal en cada país. No se trata de remendar lo que se viene haciendo, sino transformarlo en algo nuevo apoyándose en las características de cada realidad. Se trata de crear una gran mobilización cultural dentro y fuera del aparato estatal que facilite el funcionamiento ordenado y responsable de lo público. Como todo cambio social, tomará tiempo y creatividad, pero no se puede esperar a contar con todos los requisitos sociales y políticos para realizarlo; se tiene que empezar hoy para ganar (experiencia) mañana.

La comunidad de la cooperación internacional podría jugar un rol importante en este proceso apoyando a los países de la región que demuestren en la práctica su compromiso con una estrategia coherente de transformación del aparato estatal bajo los parámetros enunciados. En este sentido, se trataría de apoyar la potenciación de sus recursos humanos en el área de la evaluación (en técnicas y cultura organizacional) tratando de romper el aislamiento entre estado, profesionales y comunidad e integrándolos dentro de un movimiento cultural por el cambio social y organizacional.

El apoyo debería estar dirigido a la capacitación de servidores públicos, miembros de las ONGs y profesionales exponiéndolos a las experiencias evaluativas de la región, actualizándolos en el debate sobre la disciplina, a la vez que les dé también un bagaje técnico-práctico y ético. En este sentido, y retomando la experiencia positiva de algunos países desarrollados, debería tenderse a la certificación de los evaluadores con la finalidad de crear una masa crítica necesaria para el impulso y desarrollo de la práctica evaluativa. Las áreas de capacitación práctico-formal deberían poner énfasis en la metodología de las ciencias sociales, las experiencias comparadas en evaluación, enfoques administrativos comparados, política y administración pública comparados, técnicas estadísticas y de seguimiento computarizado,⁷³ técnicas de evaluación económico-financiera, y ética profesional.

* El Dr. Luis Fernández y Zavala es profesor adjunto de Ciencias Sociales y de Administración Pública, University of New Mexico. Es consultor en proyectos de desarrollo social y coautor del estudio Evaluación de un sistema nacional de capacitación para docentes (OEA-PROMULCAD, Lima-Perú).

NOTAS

1. Ver al respecto: Fernando Jeannot, “Respuestas al neoliberalismo institucional: La escuela del bienestar y la teoría de la coacción”, Revista Análisis Económico XI.22 (1993).

2. “Si el marco de política macroeconómica, la estrategia de desarrollo y la modalidad de intervención tienden a excluir condiciones semejantes a las del mercado es muy probable que el resultado sea un sector público ineficiente”...“La corrección macroeconómica no es condición suficiente para garantizar un desarrollo económico y social más rápido y sostenible...” ésta deberá estar ligada a la reforma del sector público donde la evaluación se convierte en su instrumento principal. Eduardo Weisner D., “Desarrrollo de la capacidad de evaluación ex-post y reforma del sector públco en América Latina y el Caribe: Situación actual, problemas y perspectivas”, Seminario regional sobre seguimiento y evaluación en América Latina y el Caribe: Fortalecimiento de la capacidad de evaluación para un desarrollo sostenible (Ecuador: BID-OECD, 1993) 9.

3. “En primer lugar, tal presión [por la modernización] se ejerce, en gran medida por la acción y en intereses de agentes no latinoamericanos, si se quiere, externos. En segundo lugar, aparece formalmente como una propuesta de recepción plena del modo de producir, de los estilos de consumir, de la cultura y de los sistemas de organización social y política de los países del capitalismo desarrollado, considerados como paradigmas de una exitosa ‘modernización’”. Aníbal Quijano, Modernidad Identidad y Utopía en America Latina (Ecuador: Editorial Conejo, 1990) 9.

4. “En el plano político, la evaluación en general y la evaluación ex-post en particular serán consideradas como una amenaza por los ‘intereses personales’ y ‘buscadores de rentas’...” Weisner, 13.

5. Frecuentemente los países que reciben ayuda económica de estas organizaciones se quejan de la falta de coordinación entre la parte nacional y la extranjera, imposición de criterios de evaluación, excesivo control y falta de conocimiento de la realidad social y cultural. En tanto las organizaciones internacionales se quejan de la falta de personal nacional calificado para llevar a cabo evaluaciones. Organisation for Economic Co-Operation and Development, Evaluation in Developing Countries. A Step in Dialogue (Paris, 1988).

6. Ernest House, “Evaluación y legitimidad”, New Directions in Educational Evaluation, ed. E. House (Great Britain: The Falmer Press, 1986) 6.

7. En la década de los cincuenta y comienzos del sesenta se buscó determinar los efectos de la nueva currícula en las llamadas nuevas ciencias y matemáticas; posteriormente a insistencia del senador Robert Kennedy se instituyó la Elementary and Secondary Education Act of 1965 que obligó realizar evaluaciones de los programas educacionales para estudiantes en desventaja económica; este mandato luego se expandió rápidamente a todos los programas sociales federales. House (1986).

8. Ernest House, Professional Evaluation Social Impact and Political Consequences (Newbury Park: Sage, 1993) 4.

9. Un clásico ejemplo del gerentismo positivista es el texto de Joseph S. Wholey. Uno de los aportes de este trabajo es presentar en forma esquemática y simple el uso de la información relevante para evaluar los programas en sus diversas etapas o momentos. La información se obtiene secuencialmente, desde lo más simple hasta lo más complejo; desde la determinación de la evaluabilidad del programa, el monitoreo, hasta el experimento. Toda esta información es relevante para los gerentes, ejecutores y quienes deciden la suerte de los programas. Véase Joseph S. Wholey, Evaluation: Promise and Performance (Washington D.C.: The Urban Institute, 1979).

10. “An ideology thus informs the actions of many individuals and groups, but it becomes a significant force only when certain conditions coincide.” Walden Bello, Dark Victory, The  United  States,  Structural  Adjustment  and Global Poverty  (Pluto  Press, 1994) 3.

11. Ver al respecto: Robert F. Boruch y Henry Riecken, eds. Experimental Testing of Public Policy (Boulder: Westview, 1975). B. McDonald, “A Political Classification of Evaluation Studies,”  Beyond the Numbers Game. A Reader on Educational Evaluation, ed. David Hamilton (London: MacMillan, 1977).

12. “Speaking of experiments and naturalistic case studies as polar opposites is a rhetorical device: evaluation planning is not a matter of choosing between irreconcilables...The balance between the styles will vary from one subquestion to the next and may well shift (in either direction) after early evaluation activities change the evaluator’s sense of the job to be done. Experimental control is not incompatible with attention to qualitative information or subjective interpretation, nor is open-minded exploration incompatible with objectification of evidence.” Lee J. Cronbach, Designing Evaluations of Educational and Social Programs (San Francisco: Jossey-Bass Publishers, 1982) 44.

13. House 1993.

14. Ver al respecto: K.R. Rivers y M. Eisenhart, “Standards in Qualitative Research: A Prolegomenon,” Educational Researcher 19.4 (1990).

15. Cronbach 1982.

16. Carol H. Weiss, “Evaluations for Decisions: Is Anybody There? Does Anybody Care,” Evaluation Practice 9.1 (1988).

17. E. House 1993.

18. Ver el artículo de Elci Maria de Oliveira en esta edición que presenta el uso de la evaluación aplicada al desarrollo de los recursos organizativos por ejemplo.

19. Ver al respecto: Nick L. Smith, “Criticism and Meta-Evaluation” en Smith (1981).  Daniel Stufflebeam, “Meta-Evaluation”, Occasional Paper 3 (Michigan: Western Michigan University, 1975). Michael Scriven, “An Introduction to Meta-Evaluation,” Educational Report 2 (1969).

20. “The general decline in economic resources has increased the sensitivity of program managers, funding agencies, policy makers, and the public at large to questions to economic  benefit. Evaluators are already being asked not only to assess the social benefit of given  program, but to relate that benefit to program costs and to make comparisons across competing programs”. Henry M. Levin, “Applying Well-Established Methods To A Current Dilemma: Educational Evaluation”, New Techniques for Evaluation, Ed. Nick L. Smith (Newburick: Sage Publications, 1981).

21. Para tener una idea clara del uso del análisis costo-beneficio ver el trabajo de Alejo Villarreal en esta edición.

22. A principios de la década de los setenta, las corporaciones norteamericanas se quejaban fuertemente de las altas tasas impositivas impuestas por el Estado que impedía, según ellas, dirigir recursos para reinventir y realizar investigación para el desarrollo de sus plantas. Además, el costo de la mano de obra con los beneficios sociales adquiridos hacía imposible competir eficientemente en un mercado globalizado. Estas demandas tuvieron que esperar hasta la década del ochenta para verse satisfechas. Del ochenta al noventa, una “revolución conservadora” se esparció por los Estados Unidos y Europa desmantelando el Estado de Bienestar a nivel central y regional. Muchos y diversos programas sociales fueron abolidos o simplemente no indexados por inflación o crecimiento de la clientela, al mismo tiempo que se cortaba la tasa impositiva a corporaciones e individuos. Ver al respecto: Walden Bello, Dark Victory. The United States, Structural Adjustmente and Global Poverty (Pluto Press, 1994).

23. “A study that is technically admirable falls short if what the evaluators learns does not enter the thinking of the relevant political community...An evaluations fulfills its function to the extend that assists participants in the political process to resolve conflicts intelligently.”  L. Cronbach (1982) 8.

24. Mary Lee Smith y Gene V. Glass, Research and Evaluation in Eduaction and the Social Sciences (New Jersey: Prentice Hall, 1987) 39-42.

25. Alice M. Rivlin, Systematic Thinking for Social Action, (Washington D.C.: Brookings Institution, 1971). Peter Rossi y Howard Freeman, Evaluation Systematic Approach (Newbury Park: Sage 1989).

26. House 1980, 222.

27. House 1993.

28. Daniel Stufflebeam, “Evaluation as enlightenment for decision-making”, Improving Educational Assessment and an Inventory of Effective Behaviors, ed. Beatty (Washington, D.C.: Association for Supervision and Curriculum Development, NEA, 1969). Marcia Guttentag and K. Snapper, “Plans, evaluations and decisions.” Evaluation 1.2 (1974): 58-74. Michael Patton, Utilization-Focused Evaluation (Beverly Hills: Sage Publications, 1978).

29. Según la autora, la política entra a tallar en tres diferentes formas: 1) los programas son creados y mantenidos por fuerzas políticas; 2) los que deciden sobre los programas en los altos niveles de gobierno están envueltos en el juego político; 3) el mero acto de evaluar los programas tiene consecuencias políticas. Ver al respecto: Carol Weiss, “Evaluation Research in the Political Context”, Evaluation and Education: At Quarter Century, eds. Milbrey McLaughlin y Denis Phillips (Chicago: University of Chicago Press, 1991) 211-231.

30. Ralph Winfred Tyler, Basic Principles of Curriculum and Instruction (Chicago: University of Chicago Press, 1950). Benjamin Bloom, Taxonomy of Educational Objectives (New York: McKay, 1956). Edward A. Suchman, Evaluative Research. Principle and Practice in Public Service (New York: Russel Sage, 1967). Robert F. Mager, Goal Analysis (Belmont: Fearon, 1972). James Popham, Educational Evaluation (Englewood Cliffs: Prentice-Hall, 1975).

31. Richard A. Berk y Peter Rossi, Thinking About Program Evaluation (Newbury Park: Sage, 1990) 13.

32. House 1980, 1993.

33. “From 1980 to 1984, the number of evaluation units in nondefense departments decreased from 206 to 141, and the number of evaluation personnel was reduced from 1,507 to 1,179. Funding for these evaluations units declined from $177.4 million to $110.9 million. Whereas overall federal funding declined 4%, funding for evaluation declined 37%. Apparently, the Reagan administration had little appetite for evaluation”. House, 39 (1993).

34. Carl L. Harshman, Quality Circles: Implications for Training (The Ohio University, 1982) 1-2.

35. “A broad expression covering a vast variety of programs, techniques, theories, and management styles through which organizations and jobs are designed so as to grant workers more autonomy, responsability, and authority than usually done.” D. Kenkins, “QWL - Current Trends and Directions,” Issues in the Quality of Working Life (Canada: Ontario Ministery of Labor, 1981) 28.

36. Las grandes firmas estadounidenses (General Motors, Ford Motor Company, Hughes Aircrat, Bank of America) fueron las primeras en implementar los “círculos de la calidad” (CC) reconociendo que se había estado sub-utilizando a los trabajadores como un recurso clave de sus organizaciones R. E. Cole, “Learning from the Japanese: Prospects and Pitfalls,” Management Review September 1980: 22-42.

37. Douglas McGregor, The Human Side of Enterprise (New York: McGraw Hill, 1960).  Frederick Herzberg, Work and the Nature of Man (Cleveland: World Publishing Co., 1966). A. H. Maslow. Motivation and Personality (New York: Harper & Row, 1954).

38. El enfoque es integral en la medida que no sólo subsume dentro de su postulados una serie de teorías y prácticas administrativas parciales previamente desarrolladas (administración científica, dinámica de grupos, entrenamiento y desarrollo, teoría de las motivaciones, desarrollo organizacional, sistemas socio-técnicos, cultura organizacional, teoría del liderazgo, planificación estratégica y evaluación) sino que además considera que la calidad se logra reformando constantemente el conjunto de la organización empresarial, esto es, si reforma la manera de hacer las cosas (procedimientos), las actitudes (cultural organizacional) y las estructuras organizacionales. La búsqueda de la “calidad” se convierte así, en un “modo de vida”, en una filosofía de la era post-moderna, en “una carrera sin punto de llegada.” Ver al respecto: Warren H. Schmidt y Jerome P. Finnigan, The Race Without A Finish Line. America’s Quest for Total Quality (San Francisco, 1992).

39. Paradójicamente, los primeros en implementar este enfoque administrativo fueron los industriales y gerentes japoneses gracias a las sugerencias de los norteamericanos Deming y Juran.  Sin embargo, mucho después de haber probado su efectividad en la industria privada japonesa bajo sus muy particulares características sociales y culturales, es que este enfoque vuelve a ser retomado por el sector privado norteamericano como la tabla de salvación necesaria para sobrevivir a las condiciones actuales del mercado globalizado. Alfredo Acle Tomasini, Planificación Estratégica y Control Total de la Calidad (Grijalbo: México, 1989).

40. Inmediatamemte después de la Segunda Guerra Mundial el mercado norteamericano era ocho veces más grande que su inmediato competidor y su tecnología era aceptada como la más avanzada, los trajadores norteamericanos en promedio estaban mucho mejor preparados que sus pares de otros países, y sus gerentes eran considerados los mejores del mundo. Esta situación, derivada de la posición de los Estados Unidos en la post-guerra duró hasta fines de los años sesenta, cuando la tasas de ganancia y de crecimiento empezaron a disminuir, la tasas de desempleo a aumentar, así como los precios. Desde de 1960 en adelante los Estados Unidos han venido perdiendo 40% de su mercado en favor de sus competidores: 9 de los bancos más grandes en el mundo son japoneses, así como también 50 de las 100 empresas más grandes del mundo son japonesas. ¿Qué había pasado? Simplemente las condiciónes habían cambiado debido a una relativa saturación del mercado interno, a un incremento en los costos de producción debido a las demandas de la fuerza laboral y la necesidad de mejorar la tecnología frente a la lenta pero segura recuperación de Japón y Europa. Ver al respecto: Michel Beaud, A History of Capitalism, 1500-1980 (New York: Monthly Review Press, 1983) 194-200.

41. El Instituto Federal de la Calidad funcionaba como promotor y diseminador de la filosofía de la calidad en el gobierno federal. Las principales instituciones participantes y merecedoras de premios estaban ligadas a las fuerzas armadas norteamericanas: Naval Air Systems, Naval Publications, Naval Aviation Depot at Cherry Port, Nasa Lewis Research Center, Defense Industrial Supply Center, Sacramento Air Logistics, Warner Robins Air Logistics Command, Kansas City Veterans Medical Center. Otras organizaciones no-militares: The Ogden Service Center of the Internal Revenue Service (recaudación de impuestos) y la Equal Employment Opportunity Comission (Comisión para la igualdad de oportunidades en el empleo). Merecería analizarse más de cerca los estándares utilizados para medir las mejoras obtenidas por esta última dentro de una administración Republicana, ya que en la actualidad el partido Republicano viene un cuestionamiento de las leyes que protegen este derecho civil.

42. “Our approach has much in common with other management  philosopies, such as quality management and business process reengineering. But these management disciplines were developed for the private sector, where conditions are quite different.” Al Gore, The Gore Report on Reinventing Goverment (Time Books, 1993) 7. A diferencia de la administraciones Republicanas de Reagan y Bush que se rodearon de expertos de las grandes corporaciones privadas para impulsar la “revolución de la calidad”, la administración Clinton ha preferido rodearse de expertos del sector público sin excluir la consulta con el sector privado, para que la reforma del gobierno tome en cuenta las peculiaridades del sector público. Otra diferencia es que la actual administración está promoviendo los llamados “equipos de reinvesión” y “laboratorios de reinvensión” en lugar de los “círculos o equipos de la calidad”.

43. El tránsito de una producción manufacturera (high volume) a una producción selectiva y sosfisticada (high value) en los Estados Unidos ha sido brillantemente expuesta por el actual ministro del trabajo y académico, Robert B. Reich, The Work of Nations (Vintage Books, 1992).

44. Para una comprensión del uso de la evaluación para detereminar el rendimiento de los recursos humanos ver el artículo de T. Zane Reeves sobre la evaluación de recursos humanos en esta edición.

45. Como es el caso de la Universidad de Chicago y la Universidad de Oregon. Schimidy y Finnigan, 84-86 (1993).

46. El modelo aplicado a la instrucción superior por por Prabhu y Ramarapu toma cinco de los 14 principios propuestos por el pionero de la ACT Edward Deming: 1) compromiso constante y a largo plazo con la calidad y productividad; 2) el proceso de educación superior debe ser un esfuerzo cooperativo entre la universidad y la escuela; 3) los empleadores deben ser considerados como socios; 4) programas de perfecionamiento y entrenamiento para los profesores; 5) la creación de canales horizontales y verticales de información. El producto “educación superior de calidad” es obtenido si se asegura el feedback de todos los implicados en este proceso: profesores, alumnos, ex-alumnos, administradores, políticos, colegios profesionales y empleadores. Toda esta información debe ser centralizada en un banco de datos organizado de acuerdo a la fuente y luego  analizada por el subsistema de evaluación que contiene modelos matemáticos necesarios para evaluar los productos obtenidos tomando en cuenta los rendimientos de los estudiantes, de los profesores y la información proporcionada por los ex-alumnos, y otros grupos etc. Ver al respecto: Suresh S. Prabhu y Narender K. Ramarapu, “A Prototype to Monitor Course Effectiveness: A TQM Approach,” Technological Horizons in Education 22.3 (1994): 99.

47. Aunque todavía no se cuenta con una evaluación económica de las ganancias de las empresas que aplicaron la ACT y obtuvieron el Premio Macolm Baldrige a la Calidad, por ejemplo, según lo expresado por el director asociado para la Calidad de Programas del Instituto Nacional de Estándares y Tecnología de los Estados Unidos, Dr. Curt Reiman. Audiencia ante el Comité de Ciencia, Espacio y Tecnología de la Cámara de Representantes de los Estados Unidos, Marzo de 1990.

48. Hispanic Bar Association Views on the Nomination of Clarence Thomas to the United States Supreme Court, 1991.

49. Ver al respecto: Mack Player, et al., Employment Discrimination Law. Cases and Materials (Minnesota: West Publising Co., 1990).

50. El concepto de cultura organizacional se refiere a los valores, creencias y formas de comportamiento que es característica de un grupo o individuos que se interrelacionan para hacer las tareas propias de una organización dentro de un contexto socio-político determinado. Se considera que ésta es dinámica, cambiante y un poderoso instrumento para explorar el mundo interno de las organizaciones (públicas y privadas) ya que daría cuenta de los paradigmas que guían el comportamiento organizacional. Ver al respecto: Luis Fernández y Zavala, The Crisis of State Interventionism and The Organizational Culture of Public Enterprise Managers in Peru, diss., The University of Texas Austin, 1992.

51. Arthur Gold, Capitalist Welfare Systems: A Comparison of Japan, Britain & Sweden (London: Longman, 1993) 66-67.

52. Por ejemplo, el ACT plantea que los datos cuantitativos son la mejor manera de presentar la información recogida durante el monitoreo; esto evita, según los proponentes de este enfoque, entrar en el debate sobre lo presentado. Los números nos dicen, presentan una verdad objetiva. Obviamente, esta es una decisión metodológica que acepta el paradigma positivista como el más apropiado para el manejo de las empresas. Desde nuestro punto de vista, se podría discutir la practicabilidad de la propuesta desde una perspectiva no-positivita y todavía preservar los estándares de conocimiemto racional objetivo, teniendo en cuenta que en ambos casos éste no está ajeno a valoraciones, estándares y acuerdos subjetivos. Ver al respecto: Kenneth Howe y Margaret Eisenhart, “Standards for Qualitative (and Qualitative) Research: A Prolegomenon,” Educational Research 19.4: 2-9.

53. House 1993.

54. John H. Schaar, Legitimacy in the Modern State (New Brunswick: Transaction Publisher, 1989) 20.

55. La necesidad de disminuir los niveles de pobreza se transforma en un ataque a los pobres; la necesidad de regular la economía se transforma en anti-estatismo; la necesidad de oportunidades y seguridad de económica de la clase trabajadora se transforma en la búsqueda de “chivos expiatorios” (los migrantes, las minorías, los archi-enemigos del mundo libre); la insegura situación de la clase media se transforma en la necesidad de auto-protección (portar armas).

56. Un reciente informe del Brooking’s Institutions Center for Public Management alerta del peligro de caer en el vértigo de reducir el tamaño del gobierno federal sin tomar en cuenta lo que el gobierno debe hacer por todos los ciudadanos: Donald F. Kettl y John J. Dilulio, “Downsizing or doing away with government agencies does not automatic do away with they people they serve, the public demands they embody, the programs they administer, or the task they perform.” Cutting Government (Washington D.C.: The Brookings Institution, 1995) 3.

57. Según el directorio de la American Evaluation Association, 40% de sus miembros reportan pertenecer al mundo académico. House (1993).

58. “...Value judgments of the researchers are less perceptible and lied buried in his technology. The more esoteric the technology, the less likely are these values to be detected. Test and survey instruments are wrongly assumed to be value-free because of the depersonalised procedures of administration and analysis that govern their application”. Barry MacDonald, “A Political Classification of Evaluation Studies,” David Hamilton, et al. Beyond the Numbers Game (London: MacMillan Education, 1977) 224.

59. Ernest House, “Context and Justification,” Beyond the Numbers Game, Ed. David Hamilton (London: Macmillan Education, 1987) 20.

60. La asimilación acrítica de formas, modelos y metodologías evaluativas de los países desarrollados, asumiéndolas como técnicas neutras y encasilladas en la dicotomía metodológica cuantitivo-cualitativo, suele resolverse las más de las veces a a priori, sin tomar en cuenta el objeto de evaluación mismo, o sin tomar en cuenta que los resultados de la evaluación para ser válidos no tienen necesariamente que cirncunscribirse a una u otra metodología. La falta de comprensión de los alcances y limitaciones de la evaluación por otro lado, se expresa en la identificación de la evaluación con medidas punitivas en vez de asumir la evaluación como un proceso ligado a manejo y mejoramiento de proyectos y programas públicos.

61. El 40% de la población latinoanericana está incapacitada de satisfacer sus necesidades básicas; de 170 millones de pobres, 62 millones viven en situación de probreza extrema o indigencia. Si se mantienen la tendencia de crecimiento de la pobreza y el el actual performance de la economía, para el año 2000, habrá entre 200 y 300 millones de pobres en América Latina. Ezequiel Ander Egg, América Latina y los Desafíos de la Política Social (Buenos Aires: Humanitas, 1990).

62. Algunos estudiosos y practicantes de la evaluación inclusive establecen la existencia de “dimensiones del escrutinio” (dimensions of accountability) ligadas a la evaluación. Estas dimensiones están conformadas por lo público, los profesionales, y los consumidores representando los tres modos de regulación social: el estado, la sociedad civil y el mercado. Cada modo requiere su propio tipo de información evaluativa y la mezcla de un tipo de evaluación con otro puede llevar a un uso inapropiado de la evaluación. House 1996, 36.

63. Para un análisis de los programas sociales implementados en Chile, Bolivia y Perú ver: Carol Graham, Safety Nets, Politics and the Poor: Transitions To Market Economies (Washington, D.C.: The Brookings Institute, 1994).

64. Por jemplo, Colombia liga las actividades de la Contraloría a las funciones de Congreso y las evaluaciones de gestión de los diferentes niveles de la administración pública, al Ejecutivo.

65. Salvo el caso bastante particular de Costa Rica.

66. “Aunque en varios países industrializados (entre ellos Canadá, los Estados Unidos, los países bajos y Suecia) la transparencia y la rendición de cuentas en el gobierno son temas que datan de años recientes y han pasado a ser fuerzas importantes en sustento de la evaluación indpendiente en el sector público, esos conceptos no están todavía enteramenete asimilados y desarrollados en América Latina.” Banco Interamericano de Desarrollo-Organización de Cooperación y Desarrollo Económico, Seguimiento y Evaluación en America Latina y el Caribe (Ecuador, 1993).

67. Ver los trabajos presentados por Warren Crowther y Beatriz Calvo en esta edición que ponen en perspectiva la necesidad de integrar la valoraciones de las audiencias y los administradores mediante el uso de la investigación-acción en la evaluación.

68. Si la liberalización económica conlleva a una democratización política no es sino una hipótesis el actual contexto Latinoamericano. Este tema es ampliamente debatido en Leslie Elliott Armijo, ed. Conversations on Democratization and Economic Reform: Working Papers of the Southern California Semina (University of Southern California, 1993).

69. Ver en esta edición el trabajo de Jose A. Moreno y Rosa María Avendaño sobre el papel mediador de las ONGs en México.

70. Quijano 1990.

71. Que no sólo es técnica sino que también es actitudinal, en términos de cómo y para qué se evalúa.

72. Si se trata de crear las condiciones para el desarrollo sostenido, rompiendo la tradicional dependencia estatal, las estrategias de los programas y de la evaluación deberán estar orientadas a potenciar la producción de conocimiento para la emancipación de los sectores sociales implicados. Ver Madine Vanderplaat, “Beyond Technique. Issues in Evaluating for Empowerment,” Evaluation 1.1 (1995).

73. Para una revisión sobre técnicas computarizadas de seguimiento ver el trabajo de Bolivar Senior en esta edición.