Evaluaties: van Bullet Points tot Business Models

“Evaluatie is het verzamelen, interpreteren en presenteren van informatie teneinde de waarde van een resultaat of proces te bepalen.” Aldus Wikipedia. Het gaat hier dus om waardebepaling, het vellen van een oordeel na het boven water halen van de feiten. De criteria voor dat oordeel zijn bekend: we kijken naar effectiviteit of impact, naar efficiency, naar duurzaamheid etc. De rationale voor het doen van evaluaties is het afleggen van verantwoording (‘accountability’) en het leren van lessen voor de toekomst. Laten we het afleggen van verantwoording voor dit moment even terzijde laten, ook al wordt dat aspect in veel evaluaties een dominante kracht, vaak gedreven door relaties met donoren. Laten we kijken naar het leer-element van evaluaties.

Geen evaluatie zonder aanbevelingen. Die aanbevelingen geven als het goed is duidelijke en concrete stappen aan om het werk van de organisatie te verbeteren. In die zin, werkend van feiten en analyse naar aanbevelingen, kan een evaluatie gezien worden als een ‘gesloten’ stuk werk: dit is wat we zien, en dus is dit wat we moeten doen. In de praktijk loopt dit nogal eens uit op een tamelijk operationele of hoogstens een tactische onderneming, met een lijst praktische vervolgstappen, een ‘to do’ lijst voor de organisatie. Eén niveau hoger zijn die aanbevelingen onderdeel (in ieder geval in theorie) van een cyclische benadering waarbij strategieën worden ontwikkeld, getest en beoordeeld en vervolgens steeds worden aangepast op basis van de ervaringen in de praktijk.

Die benadering kan zijn waarde hebben in een relatief stabiele strategische omgeving. Wat we dan in feite doen is het optimaliseren van het werk van de organisatie. We repareren de tekortkomingen binnen een bepaalde aanpak, binnen een paradigma, bijvoorbeeld door de verbindingen in een theory of change te controleren, aan te passen en te verbeteren. De vraag is of dit vandaag de dag nog genoeg is. Misschien moeten we niet alleen werken binnen een cyclus van continue verbetering, maar moeten we kijken naar de uitgangspunten en funderingen van die cyclus zelf. Misschien moeten we een nieuwe cyclus ontwikkelen, herinterpreteren wat we zien in de buitenwereld en opnieuw besluiten wat voor rol we als organisatie in die wereld hebben.

Vandaag de dag werken we in veel gevallen in een dynamische strategische omgeving. De schaal van de issues waar we mee te maken hebben is groter dan ooit (klimaatverandering, massale inbreuken op privacy van burgers). Maar ook de mate van bewustwording, kennis en verzet lijkt in de huidige tijd waarin alles en iedereen digitaal verbonden is snel toe te nemen. Soms lijkt het of we inderdaad leven in het scenario van de Angry Young Women (zie op deze site onder ‘Werken aan de Toekomst: scenario planning; de Global Engagement Scenarios). In die wereld leidt een multidimensionale wereldwijde crisis tot verzet tegen allerlei systemische arrangementen, van de manier waarop universiteiten worden gerund tot de manier waarop het financieel systeem functioneert. Dit verzet, en de politisering van allerlei domeinen, kan leiden tot nieuwe kansen maar wellicht ook tot volledig andere rollen van Ngo’s. Op andere terreinen, bijvoorbeeld op die van religie, of die van migratie en discriminatie, zien we niveaus van polarisatie die decennialang ongekend waren. Daar hebben activisten te maken met verharde en zeer problematische contexten.

In deze omgeving moet ‘iedere’ evaluatie leiden tot een proces van strategisch nadenken, niet alleen op het niveau van individuele veranderingstheorieën van campagnes of programma’s, maar op het niveau van de gehele organisatie. Hierdoor verandert wat een evaluatie moet ‘doen’ en hoe een evaluatie uitwerkt en eruit ziet. Wat meer en meer in beeld komt is het bevragen van het business model van een organisatie: haar diepste strategische overtuigingen, haar belangrijkste benaderingswijzen en technieken en haar unieke rol in een sector. Werk met cliënten in evaluaties en in strategieontwikkeling laat zien dat als we het hebben over de effectiviteit van een organisatie in een omgeving waarin radicale verandering plaatsvindt, het niet genoeg is om de impact van individuele strategieën onder de loep te nemen. Het is in die situaties onvermijdelijk om ook te kijken naar diepe strategische overtuigingen, positioneringen en de functionaliteit van grenspalen die al lange tijd in de grond staan. Hier gaat het om wat een organisatie is, en wat een organisatie wel en niet doet: ‘Wij doen objectief, juridisch georiënteerd mensenrechtenwerk, van de politiek blijven we weg.’; ‘Wij doen aan educatie, niet aan advocacy of campaigning’; ‘Ons werk bestaat uit het organiseren van weerstand en het terugdringen van schadelijke ontwikkelingen, niet uit het faciliteren van alternatieven.’

Het zijn deze a priori strategische keuzes, deze ‘voorgekookte’ strategische ingrediënten, die in de huidige tijd niet altijd meer leiden tot het optimale resultaat. Of erger: die leiden tot het missen van kansen die de organisatie door die keuzes simpelweg niet ziet. Maar het formuleren van alternatieven op dit niveau van de strategie van een organisatie is niet een kwestie van het obligate rijtje bullet points, en vaak is het nadenken over dergelijke alternatieven ook niet iets dat past binnen het tijdspad van de gemiddelde evaluatie. Vanuit dit gezichtspunt is een goede evaluatie er één die niet alleen kijkt naar de feiten, op grond daarvan aanbevelingen doet en in die zin op zoek is naar ‘afsluiting’. Een goede evaluatie leidt dan ook tot het openen van een discussie en de inherente, oncomfortabele onzekerheid, het zoeken en het stellen van vragen: attributen van het strategisch gesprek. Het diagram hieronder geeft een spectrum aan benaderingen weer van het zoeken naar accountability via het leren van lessen naar het openen van het strategische gesprek.Evaluatiespectrum NL versie

Zonder twijfel zal die benadering van het ‘openen’ leiden tot een ander soort evaluatie, waarbij niet simpelweg concrete ‘verbeteringsproducten’ van de plank worden gehaald maar waar nog onbekende strategische dimensies worden opengelegd. De evaluator neemt de rol op zich van degene die open vragen stelt over de diepste strategische keuzen van een organisatie – zonder dat op die vragen direct een antwoord voorhanden is. Dat is een lastigere rol dan die waarbij concrete verbeteringsvoorstellen worden afgeleverd. De evaluator mag er daarom op rekenen betrokken te raken bij diepgaande en interessante discussies over die strategie, waarbij er geen quick fixes zijn. Maar ze mag er ook op rekenen dat aanbevelingen en vragen meer dan anders op weerstand zullen stuiten omdat de status quo ter discussie wordt gesteld, niet op het niveau van een campagne of programma maar, fundamenteler, op het niveau van de organisatie als geheel. Idealiter wordt bij het opstellen van de Terms of Reference en de scope van de evaluatie ruimte ingebouwd voor strategische discussie op dit niveau. Maar in de praktijk zullen er onvermijdelijk ook gevallen zijn waarin de evaluator en de opdrachtgevende organisatie tijdens het evaluatieproces aan de slag moeten met vragen die niet op onderdelen maar op het hoogste niveau de strategie van de organisatie ter discussie stellen.

Evaluatiechecklist NL versie

Het adresseren van organisatorische, operationele, tactische en strategische kwesties (binnen programma’s of organisatiebreed) is binnen evaluaties uiteraard niet nieuw. Wat wel nieuw is, is de verschuivende balans tussen die verschillende perspectieven in een wereld die steeds vaker vraagt om fundamentele heroriëntatie – zie de tekst box voor een aantal vragen die kunnen helpen bij het beoordelen van een bestaande evaluatiepraktijk. Deze veranderende balans maakt de evaluaties van vandaag en morgen lastiger, maar ook relevanter dan ooit.