Arviointi

Puntaroivan paneelin tehtävänä on tukea demokraattista päätöksentekoa. Se tuottaa aineistoa päätösten tueksi ja vahvistaa yhteistä kykyämme tehdä harkittuja ratkaisuja sekä käydä rakentavaa yhteiskunnallista keskustelua.

Puntaroivilla paneeleilla on kaksi tavoitetta: ne tukevat yksittäisiä päätöksentekotilanteita ja vahvistavat pidemmällä aikavälillä demokratiaa. Yksittäinen paneeli ei vielä yksin muuta toimintakulttuuria, mutta menetelmän juurruttaminen osaksi arkea on jo merkittävä askel kohti vaikuttavampaa ja osallistavampaa päätöksentekoa. Arviointi tukee juurruttamista.

Miksi arvioida puntaroivia paneeleita? 

Jotta voidaan arvioida, onko paneelista ollut hyötyä ja onko toteutustapa oikea, keskusteluja tulee tarkastella useasta näkökulmasta. Arvioinnissa on tärkeää huomioida sekä tulokset ja vaikutukset että itse prosessi ja organisaation kehittyminen.

Tältä sivulta löydät yhdeksän kysymyksen mallin tulosten ja vaikutusten arviointiin. Sitra on laatinut arviointia varten laajan mallin, joka on koottu Puntaroivan kansalaispaneelin työkalupakkiin. Tällä sivulla esitetty Opintokeskus Siviksen malli pohjautuu siihen, mutta on kevyempi. Lisäksi tarjolla on työkalu arvioinnin toteuttamiseen.

Arviointi kannattaa mitoittaa paneelin koon, keston ja käyttötarkoituksen mukaan. Joissain tapauksissa riittää kevyt palautekierros, toisinaan tarvitaan monipuolisempi arviointi. Eri toimijoilla voi olla erilaisia näkemyksiä siitä, miten hyvin paneeli on palvellut tarkoitustaan. Näiden näkökulmien yhdistäminen auttaa muodostamaan realistisen kuvan paneelin onnistumisesta.

Paneelin arviointi

Puntaroivasta paneelista seuraa usein välittömästi muutoksia mukana olleiden henkilöiden tai organisaationne ajatteluun ja toimintaan. Nämä ovat toiminnan tuloksia ja niitä tarkastellaan usein vertailemalla niitä suoraan sen tavoitteisiin. Tuloksia todennetaan seuraamalla esim. osallistujamääriä ja mittaamalla esim. osallistujatyytyväisyyskyselyillä ja itsearvioinnilla. Mittaamista seuraa varsinainen arviointi eli tulosten vertaaminen tavoitteisiin ja onnistumisten ja kehittämisjohteiden nimeäminen.

Puntaroivien paneelien vaikutukset ovat tuloksia pysyvämpiä ja ne näkyvät joskus vasta ajan kuluessa, vaikka usein ne tulevat esiin nopeastikin: esimerkiksi päätöslauselmasta otetaan suoraan asioita kunnan tai järjestön strategiaan tai säästöjä kohdennetaan paneelia seuraavassa budjettikokouksessa. Päätösten siirtymistä käytännön toimenpiteisiin kannattaa myös seurata, vaikka se vaatisi pidemmän ajan.

Voi olla, että tekemisestä seuraa muitakin vaikutuksia kuin ne, joita tavoiteltiin. Joskus vaikutukset voivat olla negatiivisiakin. Arvioinnin avulla voidaan saada tietoa myös vaikutuksista, etenkin jälkiarvioinnin avulla. On tärkeää olla rehellinen vaikutuksia arvioitaessa. Esimerkiksi päätöslauselman jättämistä seuraavana aikana voi ilmetä toimenpiteitä mahdollistavia tai estäviä esimerkiksi resursseihin liittyviä asioita, joihin keskustelulla ei voida vaikuttaa riippumatta sen laadusta.

Toteuta arviointi

Paneelin onnistumista kannattaa arvioida kokonaisvaltaisesti tarkastelemalla sen tuloksia ja vaikutuksia sekä itse prosessia ja organisaation oppimista. Alla on esitelty yhdeksän kysymyksen arviointimalli, joka auttaa arvioimaan, mitä paneelissa saatiin aikaan.

Kerätkää arviointitietoa vähä vähältä koko prosessin ajan. Tämän sivun alalaidasta löytyy työkaluja, jotka auttavat keräämään palautetietoa ja kirjaamaan arvioinnista saatuja havaintoja.

Jotta pystyt mittaamaan ja arvioimaan tuloksia, keskustelun tavoitteen tulee olla selvä, sillä arviointi on jonkin asian arvottamista ennalta asetettuja tavoitteita vasten. 

Arvioinnin perusteita voit opiskella lisää Vaikuttavasti-sivustolla.

Arviointimalli

Arviointimallin kysymykset 2–6 koskevat erityisesti tuloksellisuutta. Tulokset mahdollistavat suotuisat pysyvämmät vaikutukset ja tuloksia tulisi arvioida jo pian keskustelun jälkeen. Kysymykset 7–9 koskevat pidempikestoisia vaikutuksia.

2. Mikä oli puntaroivan paneelin aihe ja tarkka tehtävänanto?
   – Kertaa keskustelun lähtökohdat ja tavoitteet: Miksi keskustelu toteutettiin? Mikä sen tavoite oli? Kuka teki aloitteen? Miksi se toteutettiin?
   
3. Miten prosessin johtaminen ja sisäinen yhteistyö onnistuivat?
   – Miten paneelin toteuttaminen ja siihen liittyvä yhteistyö käynnistettiin organisaatiossanne sekä miten hyvin paneelin suositukset tai muut tulokset otettiin vastaan?
   
4.  Miten kutsuprosessi toteutettiin? Miten se onnistui? 
   – Tässä hyödynnetään seurantatietoja (kutsut, ilmoittautumiset ja satunnaistaminen) ja pohditaan, mitä niistä opittiin.
   
5. Missä määrin pystyimme osallistamaan heitä, joiden ääni ei muuten kuulu yhteiskunnassa tai oman organisaatiomme päätöksenteossa? 
   – Miten hyvin saitte erilaisia ihmisiä tulemaan paneeliin sekä millaisena keskustelun moninaisuus koettiin.
   
6. Miten paneelin organisointi onnistui (järjestelyt, osallistujien perehdytys sekä fasilitointi)?
   –Kannattaa pohtia etukäteen, mikä on erinomainen ja mikä on kyllin hyvä tulos. 
   
7. Missä määrin me, keskustelun tilaaja ja osallistujat olemme tyytyväisiä paneelin suosituksiin? Missä määrin niitä on hyödynnetty?
   -Moninäkökulmaisuus on tärkeä osa hyötyjen arviointia. Hyödynnä sitä.
   
8. Mitä paneelista on seurannut?
   – Hyödyntäkää dokumentaatiota ja jälkipalautetta sen arvioimiseksi. Miten paneelin tuloksia on käytetty ja mitä vaikutuksia toteutumisella tai osallistumisella on ollut?
   
9. Kannattiko paneeli toteuttaa? Miksi/miksi ei?
   Tämä on strategisen tason arviointikysymys. Hyödyntäkää tässä kaikkea keräämäänne tietoa ja pohtikaa, mitä prosessista opittiin. Mikä oli hyvää ja missä on kehityttävää? Arvioikaa myös työpanoksen ja kustannusten suhdetta saatuihin hyötyihin.
   
10. Miten jatkamme tästä eteenpäin? 
    Pitkäjänteinen työ tuottaa tuloksia ajan myötä. Pohtikaa, jatketaanko, vai toistetaanko työ ja mitä opittiin.
    

Työkaluja arvioinnin tueksi

Alla on tarjolla palautelomakkeet osallistujien välittömän ja jälkipalautteen keruuseen. Voit joko tulostaa ne suoraan käyttöön, tai kopioida kysymykset esimerkiksi omaan sähköiseen kyselyysi. Voit poistaa tai lisätä omia kysymyksiäsi niihin, mutta älä tee lomakkeesta niin pitkää, että vastaaminen jää kesken. Suosittelemme mukana olevien kysymysten sisällyttämistä.

Kysy vastaajien taustatietoja harkiten ja vain, jos se on välttämätöntä. Koska osallistujat on jo kiintiöity kutsuvaiheessa, vastauksen ja vastaajan yhdistäminen voi olla hyvin helppoa, jolloin nimettömyys voi vaarantua. Toisaalta on hyvä tietää esimerkiksi, millaiset osallistujat kokivat saaneensa äänensä kuuluviin ja ketkä eivät.

Varmin keino saada välitöntä palautetta on aivan tilaisuuden lopussa. Silloin voi olla hyvä ajatus heijastaa esimerkiksi QR-koodi seinälle ja pyytää osallistujia vastaamaan mobiililaitteellaan.
Olemme lisänneet työkaluihin Word-muotoisen arvioinnin koontilomakkeen, joka noudattaa yhdeksän arviointikysymyksen mallia. Voit ladata sen koneellesi ja täyttää vähitellen prosessin edetessä. Se tukee raportointia ja toiminnan juurruttamista.