Arviointi
Puntaroiva paneeli ei ole irrallinen kokeilu, vaan osa suunnitelmallista organisaation johtamista ja kehittämistyötä. Prosessin arviointi auttaa johtoa ja organisaatiota tunnistamaan, mikä paneelissa toimi, missä onnistuttiin ja mitä kannattaa kehittää edelleen. Tulosten käsittely ja perusteltu vastine osallistujille vahvistavat luottamusta ja päätöksenteon avoimuutta. Juurruttaminen puolestaan varmistaa, että puntarointi tukee päätöksentekoa pitkäjänteisesti ja muodostuu osaksi organisaation arkea ja toimintakulttuuria.
Puntaroivan paneelin tehtävänä on tukea demokraattista päätöksentekoa. Se tuottaa aineistoa päätösten tueksi ja vahvistaa yhteistä kykyämme tehdä harkittuja ratkaisuja sekä käydä rakentavaa yhteiskunnallista keskustelua.
Puntaroinnin tulee johtaa konkreettisiin toimenpiteisiin, joista on tärkeää viestiä avoimesti. Jos kaikkia suosituksia ei hyödynnetä päätöksenteossa, tästäkin tulee kertoa ja perustella valinnat. Avoin jatkotyö vahvistaa luottamusta ja lisää organisaation toiminnan läpinäkyvyyttä.
Puntaroivilla paneeleilla on näin ollen kaksi tavoitetta, ne tukevat yksittäisiä päätöksentekotilanteita ja vahvistavat pidemmällä aikavälillä demokratiaa. Yksittäinen paneeli ei vielä yksin muuta toimintakulttuuria, mutta menetelmän juurruttaminen osaksi arkea on jo merkittävä askel kohti vaikuttavampaa ja osallistavampaa päätöksentekoa.
Miksi arvioida puntaroivia paneeleita?
Jotta voidaan arvioida, onko paneelista ollut hyötyä ja onko toteutustapa oikea, keskusteluja tulee tarkastella useasta näkökulmasta. Arvioinnissa on tärkeää huomioida sekä tulokset ja vaikutukset että itse prosessi ja organisaation kehittyminen.
Tältä sivulta löydät yhdeksän kysymyksen mallin tulosten ja vaikutusten arviointiin. Sitra on laatinut arviointia varten laajan mallin, joka on koottu Puntaroivan kansalaispaneelin työkalupakkiin. Tällä sivulla esitetty Opintokeskus Siviksen malli pohjautuu siihen, mutta on kevyempi. Lisäksi tarjolla on kysely- ja haastattelurunkoja, joita voi käyttää myös perusteellisemmassa arvioinnissa.
Arviointi kannattaa mitoittaa paneelin koon, keston ja käyttötarkoituksen mukaan. Joissain tapauksissa riittää kevyt palautekierros, toisinaan tarvitaan monipuolisempi arviointi. Eri toimijoilla voi olla erilaisia näkemyksiä siitä, miten hyvin paneeli on palvellut tarkoitustaan. Näiden näkökulmien yhdistäminen auttaa muodostamaan realistisen kuvan paneelin onnistumisesta.
Paneelin arviointi
Puntaroivasta paneelista seuraa usein välittömästi muutoksia mukana olleiden henkilöiden tai organisaationne ajatteluun ja toimintaan. Nämä ovat toiminnan tuloksia ja niitä tarkastellaan usein vertailemalla niitä suoraan sen tavoitteisiin. Tuloksia todennetaan seurannalla esim. osallistujamääriä ja mittaamalla esim. osallistujatyytyväisyyskyselyillä ja itsearvioinnilla. Mittaamista seuraa varsinainen arviointi eli tulosten vertaaminen tavoitteisiin ja onnistumisten ja kehittämisjohteiden nimeäminen.
Paneelin onnistumista kannattaa arvioida kokonaisvaltaisesti tarkastelemalla sen tuloksia ja vaikutuksia sekä itse prosessia ja organisaation oppimista. Alla on esitelty kevyt yhdeksän kysymyksen mallin, joka auttaa mitoittamaan arvioinnin paneelin koon ja käyttötarkoituksen mukaan. Se myös auttaa hahmottamaan, mitä paneelista saatiin aikaan.
Sitra on laatinut puntaroinnin arviointiin laajan mallin, joka on koottu Puntaroivan kansalaispaneelin työkalupakkiin. Voit myös hyödyntää Vaikuttavasti-sivustoa puntarointien arvioinnissa.
- Mikä oli puntaroivan paneelin aihe ja tarkka tehtävänanto?
– Kertaa keskustelun lähtökohdat ja tavoitteet: Miksi keskustelu toteutettiin? Mikä sen tavoite oli? Kuka teki aloitteen? Miksi se toteutettiin?
Kirjatkaa tavoitteet toteuttajan arviointilomakkeelle LINKKI - Miten prosessin johtaminen ja sisäinen yhteistyö onnistuivat?
– Miten paneelin toteuttaminen ja siihen liittyvä yhteistyö käynnistettiin organisaatiossanne sekä miten hyvin paneelin suositukset tai muut tulokset otettiin vastaan?
Pohtikaa yhdessä ja kirjatkaa pohdinnat Toteuttajien itsearviointilomakkeelle (LINKKI). - Miten kutsuprosessi toteutettiin? Miten se onnistui?
– Tässä hyödynnetään seurantatietoja (kutsut, ilmoittautumiset ja satunnaistaminen) ja pohditaan, mitä niistä opittiin.
Kirjatkaa havainnot itsearviointilomakkeelle (LINKKI). - Missä määrin pystyimme osallistamaan heitä, joiden ääni ei muuten kuulu yhteiskunnassa tai oman organisaatiomme päätöksenteossa?
– Miten hyvin saitte erilaisia ihmisiä tulemaan paneeliin sekä millaisena keskustelun moninaisuus koettiin.
Osallistujien profiilin seuranta ja heille annettu palautelomake (LINKKI) sekä toteuttajien itsearviointi (LINKKI). - Miten paneelin organisointi onnistui (järjestelyt, osallistujien perehdytys sekä fasilitointi)?
–Kannattaa pohtia etukäteen, mikä on erinomainen ja mikä on kyllin hyvä tulos.
Palautteen kerääminen osallistujilta ja itsearviointi fasilitaattoreilta. (LINKIT). - Missä määrin me, keskustelun tilaaja ja osallistujat olemme tyytyväisiä paneelin suosituksiin? Missä määrin niitä on hyödynnetty?
Tietoa kerätään palautekyselyillä: paneelin suosituksista osallistujilta ja julkilausumaa hyödyntäviltä päättäjiltä. Kirjatkaa myös omat huomionne. - Mitä paneelista on seurannut?
Hyödyntäkää dokumentaatiota ja jälkipalautetta sen arvioimiseksi, miten paneelin tuloksia on käytetty ja mitä vaikutuksia toteutumisella tai osallistumisella on ollut. (LINKIT OSALLISTUJIEN JÄLKIPALAUTTEESEEN JA TOTEUTTAJIEN LOMAKKEESEEN) - Kannattiko paneeli toteuttaa? Miksi/miksi ei?
Tämä on strategisen tason arviointikysymys. Hyödyntäkää tässä kaikkea keräämäänne tietoa ja pohtikaa, mitä prosessista opittiin. Mikä oli hyvää ja missä on kehityttävää? Arvioikaa myös työpanoksen ja kustannusten suhdetta saatuihin hyötyihin. Kirjatkaa pohdintanne tulokset toteuttajien arviointilomakkeelle. - Miten jatkamme tästä eteenpäin?
Pitkäjänteinen työ tuottaa tuloksia ajan myötä. Pohtikaa, jatketaanko, vai toistetaanko työ ja mitä opittiin. Kirjatkaa havainnot arviointilomakkeelle. LIITE
Toiminnan vaikutukset ovat tuloksia pysyvämpiä ja ne näkyvät usein vasta ajan kuluessa. Puntaroivien paneelien vaikutukset tulevat usein esiin jo nopeasti: esimerkiksi päätöslauselmasta otetaan suoraan asioita kunnan tai järjestön strategiaan tai säästöjä kohdennetaan paneelia seuraavan valtuuston budjettikokouksessa. Päätösten siirtymistä käytännön toimenpiteisiin kannattaa myös seurata, vaikka se vaatisi pidemmän ajan.
Voi olla, että tekemisestä seuraa muitakin vaikutuksia kuin ne, joita tavoiteltiin. Joskus vaikutukset voivat olla negatiivisiakin. Arvioinnin avulla voidaan saada tietoa myös vaikutuksista etenkin jälkiarvioinnin avulla. On tärkeää olla rehellinen vaikutuksia arvioitaessa. Esimerkiksi päätöslauselman jättämistä seuraavana aikana voi ilmetä toimenpiteitä mahdollistavia tai estäviä esimerkiksi resursseihin liittyviä asioita, joihin keskustelulla ei voida vaikuttaa riippumatta sen laadusta.
Toteuta arviointi
Tältä sivulta saatte käytännön vinkkejä ja työkaluja puntarointiprosessin ja sen tuloksellisuuden arviointiin.
Kertaa keskustelun lähtökohdat ja tavoitteet
Ennen varsinaista arviointia palauttakaa mieleen, miksi keskustelu toteutettiin: mikä sen tavoite oli, kuka teki aloitteen, miksi se toteutettiin.
Arviointimallissamme tähän vastaa sen ensimmäinen kysymys:
1. Mikä oli puntaroivan paneelin aihe ja tarkka tehtävänanto?
Tähän vastaus löytyy suunnitteludokumenteista. Voitte kirjata tiedon esimerkiksi toteuttajan arviointilomakkeelle (LINKKI).
Todenna ja arvioi tulokset välittömästi
Puntaroivasta paneelista seuraa usein välittömästi muutoksia mukana olleiden henkilöiden tai organisaationne ajatteluun ja toimintaan. Nämä ovat toiminnan tuloksia ja niitä tarkastellaan usein vertailemalla niitä suoraan sen tavoitteisiin. Tuloksia todennetaan seurannalla (esim. osallistujamäärä) ja mittaamalla (esim. osallistujatyytyväisyyskyselyt ja itsearviointi). Mittaamista seuraa varsinainen arviointi eli tulosten vertaaminen tavoitteisiin ja onnistumisten ja kehittämisjohteiden nimeäminen.
Jotta pystyt mittaamaan ja arvioimaan tuloksia, keskustelun tavoitteen tulee olla selvä, sillä arviointi on jonkin asian arvottamista ennalta asetettuja tavoitteita vasten.
Arviointimallin kysymykset 2–6 koskevat erityisesti tuloksellisuutta. Tulokset mahdollistavat suotuisat pysyvämmät vaikutukset ja tuloksia tulisi arvioida jo pian keskustelun jälkeen. Seuraavaksi käymme läpi, miten näitä voi mitata ja seurata.
2. Missä määrin onnistuimme prosessin johtamisessa ja sisäisessä yhteistyössä?
Tämä kysymys koskee aloitteen tekemistä organisaationne sisällä paneelin toteuttamisesta ja siihen liittyvästä yhteistyöstä. Tavoitteena on arvioida, missä määrin onnistuttiin myös suositusten tai muiden tulosten vastaanottamisessa. Tätä voitte pohtia yhdessä ja kirjata pohdinnat Toteuttajien itsearviointilomakkeelle (LINKKI).
- Miten kutsuprosessi toteutettiin? Missä määrin onnistuimme siinä?
Tässä hyödynnetään seurantaa: lähetettyjen kutsujen määrä, ilmoittautumiset, satunnaistamisprosessin toimivuus. Arvioinnissa kannattaa pohtia, mitä aiheesta opittiin. Kirjatkaa havainnot itsearviointilomakkeelle (LINKKI).
- Missä määrin pystyimme osallistamaan heitä, joiden ääni ei muuten kuulu yhteiskunnassa tai oman organisaatiomme päätöksenteossa?
Menetelmiä tiedonkeruuseen: osallistujien profiilin seuranta ja heille annettu palautelomake (LINKKI) sekä toteuttajien itsearviointi (LINKKI). Pohtikaa, miten hyvin saitte erilaisia ihmisiä tulemaan paneeliin sekä millaisena keskustelun moninaisuus koettiin. Kirjatkaa havaintonne.
- Missä määrin onnistuimme paneelin organisoinnissa (järjestelyt, osallistujien perehdytys sekä fasilitointi)?
Tätä mitataan ja arvioidaan keräämällä palaute osallistujilta ja itsearviointi fasilitaattoreilta. (LINKIT). Etukäteen kannattaa pohtia sitä, mikä on erinomainen ja mikä on kyllin hyvä tulos.
- Missä määrin me, keskustelun tilaaja ja osallistujat olemme tyytyväisiä paneelin suosituksiin? Missä määrin niitä on hyödynnetty?
Tätä varten saatte tietoa palautekyselyllä sekä välitöntä ja myöhempää palautetta, jonka saatte suosituksista osallistujilta sekä julkilausumaan hyödyntäviltä päättäjiltä. Kirjatkaa myös omat huomionne.
Tuo esiin vaikutukset: Mitä keskustelusta seurasi?
Toiminnan vaikutukset ovat tuloksia pysyvämpiä ja ne näkyvät usein vasta ajan kuluessa. Puntaroivien paneelien vaikutukset tulevat usein esiin jo nopeasti: esimerkiksi päätöslauselmasta otetaan suoraan asioita kunnan strategiaan tai säästöjä kohdennetaan paneelia seuraavan valtuuston budjettikokouksessa. Päätösten siirtymistä käytännön toimenpiteisiin kannattaa myös seurata, vaikka se vaatisi pidemmän ajan.
Voi olla, että tekemisestä seuraa muitakin vaikutuksia kuin ne, joita tavoiteltiin. Joskus vaikutukset voivat olla negatiivisiakin. Arvioinnin avulla voidaan saada tietoa myös vaikutuksista etenkin jälkiarvioinnin avulla. On tärkeää olla rehellinen vaikutuksia arvioitaessa. Esimerkiksi päätöslauselman jättämistä seuraavana aikana voi ilmetä toimenpiteitä mahdollistavia tai estäviä esimerkiksi resursseihin liittyviä asioita, joihin keskustelulla ei voida vaikuttaa riippumatta sen laadusta.
Arviointimallimme kysymykset 7–9 liittyvät erityisesti prosessin vaikutuksiin. Miten niistä saa tietoa ja miten niitä arvioidaan?
- Mitä paneelista on seurannut?
Tässä kannattaa hyödyntää dokumentaatiota: kuka on käyttänyt aineistoa, mitä päätöksiä on tehty jne.? Toinen menetelmä on jälkipalaute, jota voi kerätä osallistujilta ja myös toteuttajilta: Mitä paneelin toteuttamisesta tai siihen osallistumisesta on seurannut? Seuraamusten kannalta voi olla kiinnostavaa arvioida myös osallistujien toimintaa sen jälkeen ja esimerkiksi kiinnostusta yhteiskunnallisiin asioihin, jos tietoa pystytään hyödyntämään. (LINKIT OSALLISTUJIEN JÄLKIPALAUTTEESEEN JA TOTEUTTAJIEN LOMAKKEESEEN)
Pohdi hyötyjä
- Kannattiko paneeli toteuttaa? miksi/miksi ei
Tämä on strategisen tason arviointikysymys. Hyödyntäkää tässä kaikkea keräämäänne tietoa ja pohtikaa, mitä prosessista opittiin. Mikä oli hyvää ja missä on kehityttävää? Arvioikaa myös työpanoksen ja kustannusten suhdetta saatuihin hyötyihin. Kirjatkaa pohdintanne tulokset toteuttajien arviointilomakkeelle.
- Miten jatkamme tästä eteenpäin?
Pitkäkestoinen työ luo vähitellen tuloksista ja vaikutuksista vaikuttavuutta. Keskustelua voi jäädä tähän, tai saatatte haluta toteuttaa sen uudelleen. Millä opeilla? Keskustelkaa tästä yhdessä organisaatiossanne. Kirjatkaa pohdintanne tulokset toteuttajien arviointilomakkeelle.
Lähteet:
Department of Digital, Culture, Media and Sport: How to Run a Citizens’ Assembly. A handbook for local authorities based on the Innovation in Democracy Programme.