Arviointi

Puntaroivan paneelin prosessin arviointi auttaa johtoa ja organisaatiota tunnistamaan, mikä paneelissa toimi, missä onnistuttiin ja mitä kannattaa kehittää edelleen.

Puntaroivan paneelin tehtävänä on tukea demokraattista päätöksentekoa. Se tuottaa aineistoa päätösten tueksi ja vahvistaa yhteistä kykyämme tehdä harkittuja ratkaisuja sekä käydä rakentavaa yhteiskunnallista keskustelua.

Puntaroivilla paneeleilla on kaksi tavoitetta: ne tukevat yksittäisiä päätöksentekotilanteita ja vahvistavat pidemmällä aikavälillä demokratiaa. Yksittäinen paneeli ei vielä yksin muuta toimintakulttuuria, mutta menetelmän juurruttaminen osaksi arkea on jo merkittävä askel kohti vaikuttavampaa ja osallistavampaa päätöksentekoa. Arviointi tukee juurruttamista.

Miten arvioida puntaroivia paneeleita?

Paneelin onnistumista kannattaa arvioida kokonaisvaltaisesti. Jotta voidaan arvioida, onko paneelista ollut hyötyä ja onko toteutustapa oikea, keskusteluja tulee tarkastella useasta näkökulmasta. Arvioinnissa on tärkeää huomioida sekä tulokset ja vaikutukset että itse prosessi ja organisaation kehittyminen.

Arviointi kannattaa mitoittaa paneelin koon, keston ja käyttötarkoituksen mukaan. Joissain tapauksissa riittää kevyt palautekierros, toisinaan tarvitaan monipuolisempi arviointi. Eri toimijoilla voi olla erilaisia näkemyksiä siitä, miten hyvin paneeli on palvellut tarkoitustaan. Näiden näkökulmien yhdistäminen auttaa muodostamaan realistisen kuvan paneelin onnistumisesta.

Tulokset ja vaikutukset

Puntaroivasta paneelista seuraa usein välittömästi muutoksia mukana olleiden henkilöiden tai organisaation ajatteluun ja toimintaan. Nämä ovat toiminnan tuloksia, joita mitataan esimerkiksi osallistujamääriä seuraamalla sekä osallistujatyytyväisyyskyselyillä ja itsearvioinnilla. Mittaamista seuraa varsinainen arviointi eli tulosten vertaaminen tavoitteisiin ja onnistumisten ja kehittämiskohteiden nimeäminen.

Arvioinnin avulla voidaan saada tulosten lisäksi tietoa myös puntaroivan paneelin vaikutuksista, jotka ovat tuloksia pysyvämpiä. Etenkin jälkiarviointi auttaa vaikutusten hahmottamisessa, sillä vaikutukset näkyvät usein vasta ajan kuluessa.

Joskus vaikutukset tulevat esiin nopeastikin. Esimerkiksi päätöslauselmasta saatetaan poimia välittömästi asioita kunnan tai järjestön strategiaan, tai säästöjä voidaan kohdentaa heti paneelia seuraavassa budjettikokouksessa. Myös päätösten siirtymistä käytännön toimenpiteisiin kannattaa seurata, vaikka se vaatisi pidemmän ajan.

Paneelista voi seurata myös muita vaikutuksia kuin ne, joita tavoiteltiin. Joskus vaikutukset voivat olla yllättäviä tai negatiivisiakin. Vaikutuksia arvioitaessa on tärkeää olla rehellinen. Esimerkiksi päätöslauselman jättämistä seuraavana aikana voi ilmetä toimenpiteitä mahdollistavia tai estäviä – esimerkiksi resursseihin – liittyviä asioita, joihin paneelilla ei voida vaikuttaa.

Arvioinnin toteuttaminen

Arviointi on jonkin asian arvottamista ennalta asetettuja tavoitteita vasten. Jotta paneelin tuloksia pystytään mittaamaan ja arvioimaan, on keskustelun tavoitteen oltava selkeä.

Opintokeskus Sivis on kehittänyt Puntaroivan paneelin arviointimallin paneelien tulosten ja vaikutusten arviointiin. Siviksen yhdeksän kysymyksen arviointimalli pohjautuu Puntaroivan kansalaispaneelin työkalupakista löytyvään Sitran laajempaan arviointimalliin.

Sivun alalaidasta löytyvät työkalut auttavat keräämään palautetietoa ja kirjaamaan arvioinnista saatuja havaintoja. Arviointitietoa kannattaa kerätä koko prosessin ajan.

Puntaroivan paneelin arviointimalli

Arviointimallin kysymykset 2–6 koskevat erityisesti tuloksellisuutta. Tulokset mahdollistavat suotuisat pysyvämmät vaikutukset ja tuloksia tulisi arvioida jo pian keskustelun jälkeen. Kysymykset 7–9 koskevat pidempikestoisia vaikutuksia.

Mikä oli puntaroivan paneelin aihe ja tarkka tehtävänanto?
Kertaa keskustelun lähtökohdat ja tavoitteet: Miksi keskustelu toteutettiin? Mikä sen tavoite oli? Kuka teki aloitteen? Miksi se toteutettiin?
Miten prosessin johtaminen ja sisäinen yhteistyö onnistuivat?
– Miten paneelin toteuttaminen ja siihen liittyvä yhteistyö käynnistettiin organisaatiossanne sekä miten hyvin paneelin suositukset tai muut tulokset otettiin vastaan?
 Miten kutsuprosessi toteutettiin? Miten se onnistui? 
Tässä hyödynnetään seurantatietoja (kutsut, ilmoittautumiset ja satunnaistaminen) ja pohditaan, mitä niistä opittiin.
Missä määrin pystyimme osallistamaan heitä, joiden ääni ei muuten kuulu yhteiskunnassa tai oman organisaatiomme päätöksenteossa? 
Miten hyvin saitte erilaisia ihmisiä tulemaan paneeliin sekä millaisena keskustelun moninaisuus koettiin.
Miten paneelin organisointi onnistui (järjestelyt, osallistujien perehdytys sekä fasilitointi)?
Kannattaa pohtia etukäteen, mikä on erinomainen ja mikä on kyllin hyvä tulos. 
Missä määrin me, keskustelun tilaaja ja osallistujat olemme tyytyväisiä paneelin suosituksiin? Missä määrin niitä on hyödynnetty?
Moninäkökulmaisuus on tärkeä osa hyötyjen arviointia. Hyödynnä sitä.
Mitä paneelista on seurannut?
Hyödyntäkää dokumentaatiota ja jälkipalautetta sen arvioimiseksi. Miten paneelin tuloksia on käytetty ja mitä vaikutuksia toteutumisella tai osallistumisella on ollut?
Kannattiko paneeli toteuttaa? Miksi/miksi ei?
Tämä on strategisen tason arviointikysymys. Hyödyntäkää tässä kaikkea keräämäänne tietoa ja pohtikaa, mitä prosessista opittiin. Mikä oli hyvää ja missä on kehityttävää? Arvioikaa myös työpanoksen ja kustannusten suhdetta saatuihin hyötyihin.
Miten jatkamme tästä eteenpäin? 
Pitkäjänteinen työ tuottaa tuloksia ajan myötä. Pohtikaa, jatketaanko, vai toistetaanko työ ja mitä opittiin.

Työkaluja arvioinnin tueksi

Alla olevasta työkalulistasta löydät palautelomakkeet osallistujien välittömän palautteen sekä jälkipalautteen keruuseen. Voit tulostaa lomakkeet tai kopioida kysymykset esimerkiksi omaan sähköiseen kyselyysi. Voit poistaa tai lisätä omia kysymyksiäsi niihin, mutta älä tee lomakkeesta niin pitkää, että vastaaminen jää kesken. Suosittelemme mukana olevien kysymysten sisällyttämistä.

Työkaluista löytyy myös Word-muotoinen arvioinnin koontilomake, joka noudattaa yhdeksän arviointikysymyksen mallia. Voit ladata lomakkeen koneellesi ja täyttää sitä vähitellen prosessin edetessä. Se tukee raportointia ja toiminnan juurruttamista.

Kysy vastaajien taustatietoja harkiten ja vain, jos se on välttämätöntä. Koska osallistujat on jo kiintiöity kutsuvaiheessa, vastauksen ja vastaajan yhdistäminen voi olla hyvin helppoa, jolloin nimettömyys voi vaarantua. Toisaalta on hyvä tietää esimerkiksi, millaiset osallistujat kokivat saaneensa äänensä kuuluviin ja millaiset eivät.

Varmin keino saada välitöntä palautetta on aivan tilaisuuden lopussa. Yksi hyväksi havaittu keino on heijastaa esimerkiksi QR-koodi seinälle ja pyytää osallistujia vastaamaan mobiililaitteella.

Puntaroivan paneelin palautelomake osallistujille (.pdf)

Puntaroivan paneelin jälkikysely osallistujille (.pdf)

Puntaroivan paneelin toteuttajien itsearviointi (.pdf)

Puntaroivan paneelin arvioinnin koonti (.docx)

Pohdittavaksi

Järjestöissä arvioidaan toimintaa monin tavoin. Puntaroivan paneelin tavoitteena on tukea päätöksentekoa, joten sen vaikutukset näkyvät prosessin jälkeen esimerkiksi siinä, osattiinko strategiaan valita oikeat tavoitteet tai kokevatko jäsenet yhteisen päätöksenteon avoimeksi. Kuten kaikessa arvioinnissa, järjestön koko ja toiminnan laajuus ovat yhteydessä siihen, kuinka perinpohjaisesti arviointia tehdään.

Miten puntarointi tukee toimintanne kehittämistä ja miten voisitte saada sen vaikutuksista tietoa? Miten voisitte hyödyntää jo käytössä olevia arvioinnin tapoja puntaroivan paneelin arvioinnissa?