KGW łatwo policzy wydarzenia, porcje i opublikowane posty. Trudniej odpowiedzieć, czy dzięki tym działaniom mieszkańcy zdobyli umiejętności, powstały nowe relacje, utrwalono lokalną wiedzę albo więcej osób zaczęło angażować się społecznie. Właśnie ta różnica oddziela aktywność od efektu.
Pomiar nie służy tworzeniu imponujących liczb do sprawozdania. Ma pomagać podejmować decyzje: co kontynuować, co zmienić i na co nie warto już przeznaczać energii.
Cztery poziomy, których nie należy mieszać
- Zasoby: pieniądze, czas członków, sala, sprzęt i partnerzy.
- Działania i produkty: liczba warsztatów, wydarzeń, materiałów lub uczestników.
- Rezultaty: bezpośrednia zmiana u odbiorców, np. nowa umiejętność, regularny udział albo rozpoczęcie współpracy.
- Szerszy wpływ: trwalsza zmiana w społeczności, do której zwykle przyczynia się wiele podmiotów.
Oficjalne materiały Funduszy Europejskich opisują wskaźnik rezultatu jako miarę bezpośrednich efektów zadania. Ta zasada dobrze porządkuje również działania KGW. Zorganizowaliśmy cztery warsztaty to produkt. Uczestnicy potrafią samodzielnie wykonać poznaną czynność to rezultat.
Zacznijcie od pytania: co ma się zmienić i dla kogo?
Dla warsztatów międzypokoleniowych odpowiedź może brzmieć: młodzi mieszkańcy poznają lokalne receptury, a seniorzy włączą się w rolę prowadzących. Dla cyklu cyfrowego: uczestnicy samodzielnie załatwią konkretną sprawę online. Dla wydarzenia sąsiedzkiego: osoby, które wcześniej nie uczestniczyły w życiu miejscowości, wrócą na kolejne spotkanie.
Jeżeli nie da się dokończyć zdania po naszym działaniu uczestnicy..., cel jest prawdopodobnie zbyt ogólny.
Wybierzcie od trzech do pięciu wskaźników
Nie mierzcie wszystkiego. Dla jednego projektu wystarczy zestaw obejmujący zasięg, jakość udziału, bezpośrednią zmianę i trwałość. Przykładowe wskaźniki:
- liczba unikalnych uczestników, a nie suma wejść na wszystkie spotkania;
- odsetek osób, które ukończyły cały cykl;
- liczba uczestników deklarujących i pokazujących nową umiejętność;
- liczba osób, które po wydarzeniu podjęły kolejną aktywność;
- liczba nowych, rzeczywiście działających partnerstw;
- liczba udokumentowanych historii, receptur lub praktyk przekazanych kolejnemu pokoleniu;
- odsetek uczestników, którzy po trzech miesiącach nadal korzystają z efektu.
Wskaźnik powinien mieć definicję. Aktywny uczestnik może oznaczać osobę obecną na co najmniej trzech z czterech spotkań, a partnerstwo – wspólne działanie z podziałem odpowiedzialności, nie samo logo na plakacie.
Ustalcie punkt wyjścia
Bez stanu początkowego trudno wykazać zmianę. Przed cyklem można zadać dwa krótkie pytania, np. czy uczestnik potrafi wykonać daną czynność i czy zna osobę, do której zwróci się o pomoc. Po zakończeniu pytania się powtarza. Nie zawsze potrzebna jest długa ankieta.
Jeżeli celem jest zwiększenie udziału nowych mieszkańców, sprawdźcie ilu z nich pojawiało się wcześniej. Jeśli celem jest rozwój partnerstw, zapiszcie liczbę wspólnych działań z poprzedniego roku.
Łączcie liczby z krótkimi dowodami jakościowymi
Liczby pokazują skalę, ale krótka rozmowa wyjaśnia mechanizm zmiany. Można zebrać odpowiedzi na trzy pytania: co uczestnik zrobił dzięki projektowi, co było najważniejsze i co wydarzyło się później. Opis pojedynczej historii nie zastępuje danych całej grupy, lecz pozwala zrozumieć rezultat.
Raport ewaluacyjny NIW dotyczący programu NOWEFIO rozróżniał efekty bezpośrednie i nieoczekiwane oraz wskazywał m.in. rozwój kompetencji, dojrzalsze zarządzanie, sieciowanie, nowe partnerstwa i kontynuację działań. To dobry katalog obszarów, ale KGW powinno wybrać tylko te, które wynikają z jego własnego celu.
Przykład: cztery warsztaty kulinarne
| Poziom | Przykładowa miara | Sposób sprawdzenia |
|---|---|---|
| Produkt | 4 warsztaty, 40 unikalnych osób | lista lub anonimowe liczenie |
| Rezultat wiedzy | uczestnicy potrafią odtworzyć recepturę | krótkie zadanie i pytanie po zajęciach |
| Rezultat społeczny | nowe kontakty między pokoleniami | pytanie po cyklu i obserwacja kolejnej aktywności |
| Trwałość | receptura trafia do wspólnego archiwum i jest używana ponownie | sprawdzenie po 3 miesiącach |
Wartości w tabeli są przykładem planu pomiaru, a nie gotowym wynikiem do wpisania do sprawozdania.
Nie przypisujcie sobie całej zmiany
Jeżeli po wydarzeniu wzrosła aktywność mieszkańców, mogły wpłynąć na to również szkoła, gmina, OSP, sytuacja lokalna i inne projekty. Uczciwsze jest sformułowanie działanie KGW przyczyniło się do... niż twierdzenie, że koło samodzielnie spowodowało szeroką zmianę. Im dalszy efekt, tym ostrożniej należy mówić o związku przyczynowym.
Dbajcie o dane uczestników
Do pomiaru często wystarczą dane anonimowe lub zagregowane. Nie zbierajcie PESEL, dokładnego adresu, informacji o zdrowiu czy sytuacji rodzinnej tylko dlatego, że ankieta ma wolne pola. Jeżeli zapisujecie wypowiedź, zdjęcie lub historię konkretnej osoby, określcie cel wykorzystania i właściwie poinformujcie uczestnika.
Prosta karta wyniku raz na kwartał
- cel społeczny;
- dla kogo działamy;
- wartość początkowa;
- 3–5 wskaźników i ich definicje;
- wynik w kwartale;
- jedna obserwacja jakościowa;
- co zmieniamy w kolejnym okresie;
- efekt nieplanowany, pozytywny lub negatywny.
Czego nie traktować jako dowodu wpływu?
- samych polubień i wyświetleń;
- łącznej liczby wizyt liczonej tak, jakby każda wizyta była inną osobą;
- jednej entuzjastycznej opinii przedstawianej jako głos wszystkich;
- godzin pracy bez informacji, co dzięki nim powstało;
- wartości sprzedaży bez kosztów, jeżeli mierzymy efekt ekonomiczny;
- rezultatu zadeklarowanego we wniosku, którego po projekcie nie sprawdzono.
Dobre mierzenie jest małe, regularne i użyteczne. Powinno łączyć się z poradnikiem o mierzalnych celach KGW. Raz w roku warto zebrać najważniejsze wyniki na jednej stronie: co zrobiono, co zmieniło się dla ludzi, czego się nie udało i co koło zrobi inaczej. Taki dokument jest cenniejszy dla członków, partnerów i grantodawców niż długa lista wydarzeń bez wniosków.