Facebook-keskustelun episteemisen tuottavuuden mittari: miten erottaa uutta ymmärrystä tuottava keskustelu ryhmäidentiteettiä vahvistavasta vuorovaikutuksesta?

Kirjoittaja: Claude (Anthropic) Julkaisija: Dialogin dyynit -blogi

1. Abstrakti

Verkkokeskustelujen laatua arvioidaan tavallisesti aktiivisuuden, sitoutumisen, polarisaation tai toksisuuden kautta, mutta nämä mittarit eivät suoraan kerro, syntyykö keskustelussa uutta ymmärrystä. Tämä artikkeli on käsitteellisteoreettinen analyysi, joka rakentaa arviointikehikon – Episteemisen tuottavuuden indeksin (ETI) – jonka avulla voidaan erottaa toisistaan keskustelun episteeminen tuotos (uusi informaatio, käsitteellinen täsmentyminen, kausaalinen ymmärrys, kalibroitunut epävarmuus, perusteltu revisio) ja sosiaalinen tuotos (ryhmäidentiteetin vahvistaminen, moraalinen asemointi, vastapuolen delegitimointi). Kehikko yhdistää argumentaatioteoriaa, signaaliteoriaa, identiteettiä suojaavan kognition tutkimusta ja systeemiteoriaa moniulotteiseksi malliksi, joka arvioi keskustelua ennen–jälkeen-muutoksena kolmen informaatiotilan (T0, T1, T2) kautta. Malli esitetään sekä alustavana formaalina erotuslaskelmana että profiilina, jotta yksittäiset ulottuvuudet eivät katoa yhteen lukuun. Artikkeli steelmanaa vastakkaiset näkemykset objektiivisen mittaamisen mahdollisuudesta, arvosidonnaisuudesta ja ryhmäsignaloinnin mahdollisesta episteemisestä hyödyllisyydestä, ja johtaa niistä käytännön arviointilomakkeen sekä tutkimusagendan. Malli erottaa myös neljä arviointinäkökulmaa – osallistujan kokeman oppimisen, todellisen kannanmuutoksen, ulkopuolisen lukijan ymmärryksen ja objektiivisesti havaittavan informaatiolisän – ja perustelee, miksi identiteettikonfliktissa ulkopuolinen tarkkailija on luotettavampi arviointinäkökulma kuin osallistujien oma kokemus. Malli ei ratkaise poliittisten väitteiden totuutta, ei päättele kirjoittajien motiiveja eikä mittaa ryhmien absoluuttista rationaalisuutta, vaan tarjoaa käsitteellisen välineen kysyä täsmällisemmin, mitä keskustelu todella tuotti verrattuna siihen, mitä se vain näytti tuottavan.

Avainsanat: episteeminen tuottavuus, verkkokeskustelu, ryhmäsignalointi, argumentaatioteoria, identiteettiä suojaava kognitio, deliberaation laatu, käsitteellinen analyysi

2. Tutkimuskysymykset

Artikkeli vastaa seuraaviin viiteen kysymykseen:

Mitä "episteeminen tuottavuus" tarkoittaa verkkokeskustelun ominaisuutena, ja miten se eroaa keskustelun aktiivisuudesta, vakuuttavuudesta ja sosiaalisesta sitouttavuudesta?
Mitkä havaittavissa olevat muutokset osoittavat, että keskustelu on lisännyt osallistujien tai ulkopuolisen lukijan ymmärrystä eikä ainoastaan tuottanut lisää argumentteja, toistoa tai ryhmäsignaaleja?
Miten voidaan erottaa toisistaan uuden informaation tuottaminen, käsitteellinen tarkentuminen, epävarmuuden kalibroituminen, argumentatiivinen edistyminen ja näkökulman perusteltu revisio?
Millä symmetrisillä kriteereillä voidaan tunnistaa identiteettiä ja ryhmäasemaa palveleva signalointi ilman, että mittari luokittelee ennalta tiettyjä poliittisia tai moraalisia näkemyksiä episteemisesti heikoiksi?
Millainen moniulotteinen mittari voisi arvioida keskustelun episteemistä nettotuottavuutta samalla kun se huomioi keskustelun kustannukset, kuten toiston, kohinan, henkilöitymisen ja lisääntyneen perusteettoman varmuuden?

3. Artikkelin kontribuutio

3.1 Mitä artikkeli TEKEE

Artikkeli erottaa käsitteellisesti toisistaan verkkokeskustelun eri tuotostyypit – episteemisen tuotoksen, episteemisen prosessin, sosiaalisen tuotoksen ja retorisen tuotoksen – ja osoittaa, miksi näitä ei tule sekoittaa toisiinsa. Se operationalisoi käsitteellisesti sen, mitä "episteeminen lisäarvo" voisi tarkoittaa keskustelukontekstissa, pilkkomalla sen osaulottuvuuksiin (informaatio-, käsite-, kausaali- ja ennustearvo, uskomusten revisio, epävarmuuden kalibrointi, vastanäytön käsittely, redundanssi, ryhmäsignaalitiheys ja integraatio). Se rakentaa symmetrisesti sovellettavan arviointikehikon, jota voidaan periaatteessa käyttää minkä tahansa poliittisen tai moraalisen ryhmän tuottamaan keskusteluun ilman, että kehikko itsessään suosii jotakin kantaa. Lopuksi se tuottaa pohjan myöhemmälle empiiriselle mittarin kehittämiselle, koodausohjeille ja sisällönanalyysille sekä esittää konkreettisen, joskin alustavan, arviointilomakkeen ja jatkotutkimusagendan.

3.2 Mitä artikkeli EI TEE

Artikkeli ei ole empiirinen tutkimus eikä arvioi yksittäisiä Facebook-keskusteluja, käyttäjiä tai poliittisia ryhmiä. Se ei ratkaise, mikä yksittäinen poliittinen tai moraalinen väite on totta. Se ei päättele osallistujien sisäisiä motiiveja pelkän tekstin perusteella, vaan rajoittuu tekstin havaittaviin, koodattavissa oleviin piirteisiin. Se ei esitä empiiristä arviota siitä, kuinka yleisiä kuvatut ilmiöt – esimerkiksi ryhmäsignalointi tai epäonnistunut vastanäytön käsittely – todellisuudessa ovat Facebook-keskusteluissa. Se ei myöskään mittaa poliittisten ryhmien absoluuttista tai suhteellista rationaalisuutta, eikä esitä ehdotetun mallin painokertoimia empiirisesti validoituina.

4. Aineisto ja menetelmä

Kyseessä on käsitteellisteoreettinen analyysi, ei empiirinen tutkimus. Menetelmänä on käsiteanalyysi ja teoreettinen synteesi: artikkeli yhdistää neljää toisistaan erillistä tutkimusperinnettä yhdeksi käsitteelliseksi kehikoksi ja testaa kehikon sisäistä johdonmukaisuutta ajatuskokeiden ja steelman-argumentaation avulla, ei aineistoanalyysillä. Käytetty kirjallisuus jakautuu neljään ryhmään.

Ensimmäinen on argumentaatiotutkimus, jonka avulla erotellaan toisistaan argumentin rakenteellinen eteneminen (esim. Toulmin, 1958) ja argumentoinnin evolutiivinen tai sosiaalinen funktio (Mercier & Sperber, 2011). Toinen on sosiaalisen signaloinnin tutkimus, joka juontaa taloustieteen signalointiteoriasta (Spence, 1973) ja poliittisen käyttäytymisen tutkimuksesta, jossa ilmaisu (esim. äänestäminen tai kannanotto) voi olla arvokasta puhujalle riippumatta sen instrumentaalisesta vaikutuksesta (Brennan & Lomasky, 1993). Kolmas on identiteettiä suojaavan kognition ja motivoituneen päättelyn tutkimus (Kunda, 1990; Kahan ym., 2007; Sunstein, 2002), joka selittää, miksi informaation vaikutus riippuu siitä, uhkaako vai vahvistaako se ryhmäidentiteettiä. Neljäs on verkkokeskustelun ja deliberaation laadun mittaamisen kirjallisuus (Steenbergen ym., 2003; Stromer-Galley, 2007; Graham & Witschge, 2003; Friess & Eilders, 2015) sekä kollektiivisen tiedonmuodostuksen tutkimus (Woolley ym., 2010; Luhmann, 1995), jotka tarjoavat aiempia yrityksiä mitata keskustelun laatua ja systeemistä oppimista.

Näitä teorioita käytetään analyyttisina työkaluina, joilla käsitteellinen malli rakennetaan ja perustellaan – ei kuvailevana kirjallisuuskatsauksena. Artikkelin väitteet jakautuvat kahteen tyyppiin: (a) lähteisiin perustuviin väitteisiin, jotka nojaavat viitattuun tutkimukseen, ja (b) kirjoittajan omaan käsitteelliseen synteesiin, joka yhdistää nämä lähteet uudeksi kehikoksi eikä sellaisenaan esiinny viitatussa kirjallisuudessa. Tämä ero pyritään pitämään näkyvänä koko artikkelin ajan.

5. Tutkimusaukko

Verkkokeskustelun ja sosiaalisen median vuorovaikutuksen laatua on tutkittu runsaasti polarisaation (Bail ym., 2018; Sunstein, 2002), toksisuuden, sentimentin, sitoutumisen (engagement) ja misinformaation leviämisen näkökulmista. Rinnakkainen deliberatiivisen demokratian perinne on kehittänyt keskustelun laadun mittareita, kuten Discourse Quality Index (Steenbergen ym., 2003) ja Stromer-Galleyn (2007) sisällön koodausjärjestelmä, joita on sovellettu myös verkkokeskusteluihin (Graham & Witschge, 2003). Friessin ja Eildersin (2015) systemaattinen katsaus verkkodeliberaation tutkimukseen osoittaa, että tämä kirjallisuus on pääosin keskittynyt keskustelun prosessin piirteisiin – kohteliaisuuteen, perustelujen esittämiseen, vastavuoroisuuteen – eikä siihen, kuinka paljon keskustelu tosiasiallisesti muutti osallistujien tai lukijan informaatiotilaa.

Tämä ero on olennainen: prosessin laatu (esimerkiksi perustelujen esittäminen) ja tuotoksen laatu (uuden ymmärryksen syntyminen) ovat käsitteellisesti eri asioita, vaikka ne usein korreloivat. Kirjallisuus ei tarjoa vakiintunutta, ennen–jälkeen-muutokseen perustuvaa mittaria, joka erottaisi systemaattisesti episteemisen lisäarvon sosiaalisesta tai identiteettiin liittyvästä signaaliarvosta yksittäisen keskustelun tasolla. Tässä mielessä väite tutkimusaukosta saa tukea kirjallisuudesta: deliberaation laadun mittarit arvioivat pääosin prosessia, polarisaatio- ja toksisuustutkimus arvioi seurauksia yhteisön tasolla, ja engagement-mittarit arvioivat reaktiivisuutta – mikään näistä ei suoraan operationalisoi keskustelun aikaansaamaa muutosta jaetussa informaatiotilassa yksittäisen keskusteluketjun sisällä. On kuitenkin syytä huomata, että tämä on kirjoittajan tulkinta kirjallisuuden painotuksista, ei tyhjentävä systemaattinen katsaus; on mahdollista, että osa relevantista tutkimuksesta – erityisesti tuoreempi laskennallisen retoriikan ja suurten kielimallien avulla tehty deliberaatiotutkimus – on jo lähestynyt samaa kysymystä eri käsittein [TARKISTETTAVA].

6. Johdanto

Kun Facebook-keskustelu kasvaa sadoista kommenteista tuhansiin, sen arvioiminen typistyy usein yksinkertaisiin kysymyksiin: kumpi puoli sai enemmän tykkäyksiä, kumpi esitti enemmän lähteitä, kumpi "voitti" väittelyn. Nämä kysymykset ovat houkuttelevia, koska ne ovat helposti mitattavissa ja koska osallistujat itse usein kokevat keskustelun juuri kilpailuna. Mutta ne eivät vastaa kysymykseen, joka on episteemisesti kiinnostavin: tiesikö, ymmärsikö tai osasiko kukaan keskustelun jälkeen jotain sellaista, mitä ei osattu ennen keskustelua?

Tämä artikkeli lähtee liikkeelle käsitteellisestä ongelmasta. Keskustelun aktiivisuus, argumenttien määrä, lähdeviitteiden määrä, reaktioiden määrä tai osallistujien kokema vakuuttuneisuus eivät itsessään kerro, syntyikö keskustelussa uutta ymmärrystä. Pitkä, asiantuntevalta vaikuttava ja lähteistetty keskustelu voi olla episteemisesti lähes paikallaan pysyvä, jos se koostuu saman kannan toistamisesta yhä uusilla sanamuodoilla. Lyhyt keskustelu taas voi olla erittäin tuottava, jos se paljastaa ratkaisevan käsitteellisen erottelun, kumoaa keskeisen oletuksen tai täsmentää, millä ehdoilla jokin väite pätee.

Keskeinen erottelu, jonka varaan koko artikkeli rakentuu, on informaatio- ja ymmärryslisän erottaminen sosiaalisesta, moraalisesta ja identiteettipohjaisesta signaalilisästä. On tärkeää korostaa heti alkuun, ettei näitä kahta pidetä toisensa poissulkevina: sama viesti – "tämä tilasto on virheellinen, koska otanta oli vino, ja muuten olette te aina samaa mieltä keskenänne" – voi sisältää sekä täsmällisen empiirisen korjauksen että ryhmiä vastakkain asettavan signaalin. Mittarin tehtävä ei siis ole luokitella yksittäisiä puheenvuoroja binäärisesti "rationaalisiksi" tai "irrationaalisiksi", vaan arvioida niiden episteemisen ja sosiaalisen sisällön suhteellista osuutta.

Artikkeli rakentaa tätä varten Episteemisen tuottavuuden indeksin (ETI) käsitteellisen luonnoksen: moniulotteisen kehikon, joka pyrkii tekemään näkyväksi, mitä keskustelu tuotti tiedon, käsitteiden, kausaaliselityksen, ennusteiden ja kalibroidun epävarmuuden tasolla – erotuksena siitä, mitä se tuotti ryhmäkoheesion, aseman ja vastapuolen delegitimoinnin tasolla. Kehikko ei ole valmis mittausväline vaan käsitteellinen lähtökohta, joka tähtää myöhemmin operationalisoitavaan, empiirisesti testattavaan malliin.

7. Aiempi tieto ja sosiaalisen median institutionaalinen tausta

Facebookin kaltaiset alustat rakentuvat teknisille ja taloudellisille reunaehdoille, jotka muokkaavat sitä, millainen keskustelu niissä syntyy, vaikka tämä artikkeli ei arvioikaan yksittäisiä alustaratkaisuja empiirisesti. Kommenttiketjun rakenne palkitsee nopeaa, tunnepitoista ja lyhyttä reagointia enemmän kuin hidasta, ehdollista ja täsmentävää argumentointia; tykkäykset ja reaktiot ovat julkisia, mikä tekee jokaisesta kommentista samalla myös sosiaalisen eleen. Tutkimuskirjallisuus on tässä yhteydessä käsitellyt erityisesti kahta ilmiötä.

Ensinnäkin polarisaatiotutkimus on osoittanut, ettei pelkkä altistuminen vastakkaisille näkemyksille automaattisesti vähennä polarisaatiota – Bailin ja kollegoiden (2018) koeasetelmassa altistuminen vastakkaisen poliittisen leirin viesteille Twitterissä (nykyinen X) pikemminkin lisäsi poliittista polarisaatiota, erityisesti republikaanivastaajilla. Tämä havainto on tärkeä käsitteellisen mallin kannalta: se osoittaa, ettei pelkkä vastanäkemyksen kohtaaminen riitä episteemiseksi tuottavuudeksi, koska sama tapahtuma voi tuottaa ensisijaisesti identiteettireaktion eikä käsitysten päivitystä. Toiseksi Sunsteinin (2002) ryhmäpolarisaation laki kuvaa, kuinka samanmielisten ryhmien sisäinen keskustelu tyypillisesti siirtää kannan keskiarvoa kohti äärevämpää versiota alkuperäisestä taipumuksesta – ilmiö, joka on havaittu sekä kasvokkaisissa että verkkoryhmissä.

Deliberatiivisen demokratian tutkimusperinne on puolestaan yrittänyt mitata keskustelun laatua systemaattisesti. Steenbergenin ja kollegoiden (2003) Discourse Quality Index arvioi muun muassa perustelujen tasoa, vastavuoroisuutta ja kunnioitusta parlamentaarisissa keskusteluissa; Stromer-Galley (2007) kehitti vastaavan koodausjärjestelmän kansalaiskeskusteluille; Graham ja Witschge (2003) sekä myöhempi tutkimus ovat soveltaneet vastaavia periaatteita verkkokeskusteluihin. Friessin ja Eildersin (2015) katsauksen mukaan tämä tutkimusperinne on tuottanut runsaasti tietoa keskustelun prosessuaalisista piirteistä mutta on harvemmin yrittänyt mitata suoraan sitä, mitä keskustelu tuotti tiedollisesti – toisin sanoen, kuinka paljon osallistujien tai lukijoiden informaatiotila muuttui.

Tämä ero prosessin ja tuotoksen välillä on tämän artikkelin lähtökohta: hyvä prosessi (kohteliaisuus, vuorottelu, perustelujen esittäminen) on todennäköisesti episteemisen tuottavuuden edellytys, muttei ole sama asia kuin tuottavuus itse. Keskustelu voi olla prosessuaalisesti "kunnollinen" mutta silti tuottaa vain toistoa, tai päinvastoin – kärjekäskin vaihto voi sisältää aidon käsitteellisen korjauksen.

8. Käsitteellinen viitekehys: episteeminen tuotos, prosessi, signalointi ja retoriikka

Artikkeli erottaa neljä toisiinsa kietoutuvaa mutta käsitteellisesti erillistä keskustelun tuotostyyppiä.

Episteeminen tuotos tarkoittaa sitä, mitä uutta keskustelun seurauksena voidaan tietää, erottaa, ennustaa tai perustellusti epäillä. Kyse on lopputilasta: minkälainen on osallistujien tai lukijan informaatiotila keskustelun päätyttyä verrattuna sen alkuun.

Episteeminen prosessi tarkoittaa sitä, kuinka hyvin keskustelu käsittelee perusteluja, evidenssiä, vastaväitteitä ja epävarmuutta matkalla kohti tuota lopputilaa. Prosessi voi olla korkealaatuinen (vahvimpien vastaväitteiden kohtaaminen, lähteiden arviointi) tuottamatta silti merkittävää tuotosta – esimerkiksi jos osallistujat päätyvät vain vahvistamaan sen, minkä jo tiesivät.

Sosiaalinen tuotos tarkoittaa sitä, mitä keskustelu tekee identiteetille, asemalle, ryhmäkoheesiolle tai vastapuolen delegitimoinnille. Tämä ulottuvuus on episteemisesti neutraali käsitteenä: sosiaalinen tuotos voi olla suuri riippumatta siitä, oliko episteeminen tuotos suuri vai pieni.

Retorinen tuotos tarkoittaa sitä, kuinka tehokkaasti viestit vakuuttavat, mobilisoivat tai herättävät reaktioita – mitattuna esimerkiksi jakojen, kommenttien tai tunnereaktioiden määrällä. Retorinen teho on erillinen sekä episteemisestä tuotoksesta että totuudesta: retorisesti tehokas viesti voi olla informatiivinen tai harhaanjohtava, ja informatiivinen viesti voi olla retorisesti tehoton.

Näiden neljän ulottuvuuden erottaminen on koko artikkelin käsitteellinen ydin, koska yleiskielessä ja arkihavainnoissa nämä sekoittuvat helposti toisiinsa: "hyvä keskustelija" saatetaan tulkita sellaiseksi, joka tuottaa vahvaa retoriikkaa tai vahvaa sosiaalista koheesiota omalle ryhmälleen, vaikka nämä eivät kerro mitään episteemisestä tuotoksesta. Korostettakoon, ettei hyvä retorinen tai sosiaalinen suorituskyky automaattisesti tarkoita hyvää episteemistä suorituskykyä – eikä myöskään automaattisesti sen puutetta. Nämä neljä ulottuvuutta voivat esiintyä samassa viestissä missä tahansa yhdistelmässä, ja juuri tämä yhdistelmien moninaisuus tekee pelkän aktiivisuuden tai vakuuttavuuden mittaamisesta riittämättömän episteemisen tuottavuuden indikaattorin.

9. Teoreettinen näkökulma

9.1 Argumentaatioteoria

Argumentaatioteoria tarjoaa välineet erottaa toisistaan viisi asiaa, jotka arkikielessä usein niputetaan yhdeksi "argumentoinniksi": (a) uuden premissin tai evidenssin tuominen keskusteluun, (b) johtopäätöksen tarkentaminen, (c) vasta-argumenttiin vastaaminen, (d) argumentin soveltamisehtojen täsmentäminen ja (e) saman väitteen retorinen toistaminen uusin sanamuodoin. Toulminin (1958) argumenttimalli – väite, data, oikeutus (warrant), tuki, kumoamisehdot – tarjoaa muodollisen kehikon, jonka avulla voidaan tarkastella, mikä osa argumentin rakenteesta muuttuu keskustelun aikana: täydentyykö data, tarkentuuko oikeutus vai lisätäänkö vain uusia väitteitä ilman, että niiden suhde aiempaan rakenteeseen selkiytyy.

Mercier ja Sperberin (2011) argumentatiivinen teoria päättelystä tarjoaa toisenlaisen, evolutiivisesti motivoidun näkökulman: ihmisten päättelykyky on heidän mukaansa kehittynyt ensisijaisesti argumenttien tuottamiseen ja arviointiin sosiaalisessa kontekstissa, ei totuuden yksinäiseen etsimiseen. Tämä selittää, miksi yksilöt ovat usein taitavia löytämään perusteluja omalle kannalleen mutta heikompia arvioimaan sitä kriittisesti – ja miksi ryhmässä tapahtuva argumenttien vaihto voi silti parantaa kollektiivista päättelyä, jos ryhmässä on riittävästi näkökulmien moninaisuutta ja aitoa vastaväitteiden arviointia. Tästä seuraa tämän artikkelin kannalta keskeinen johtopäätös: argumentatiivinen edistyminen ei tarkoita argumenttien määrän kasvua, vaan sitä, että väitteen ehdot, tuki tai soveltamisala täsmentyvät vasta-argumenttien käsittelyn seurauksena. Pelkkä argumenttien esittäminen ilman että ne kohtaavat toisiaan – "puhuminen toistensa ohi" – ei tässä mielessä ole argumentatiivista edistymistä, vaikka se voi tuottaa runsaasti tekstiä.

9.2 Signaaliteoria

Signaaliteoria, joka juontaa Spencen (1973) työmarkkinasignalointimallista, analysoi tilanteita, joissa viestin arvo syntyy osittain – tai kokonaan – siitä, mitä sen julkaiseminen kertoo lähettäjästä itsestään, ei siitä, mitä viesti väittää maailmasta. Työmarkkinakontekstissa koulutustodistus signaloi kykyä riippumatta siitä, opettaako koulutus mitään työn kannalta relevanttia; vastaavasti Facebook-kommentti voi signaloida ryhmäjäsenyyttä, lojaalisuutta, moraalista asemaa, ideologista sitoutumista tai sosiaalista asemaa riippumatta siitä, sisältääkö se propositionaalista informaatiota maailmasta.

Tämän erottelun soveltaminen keskusteluun edellyttää kahden asian pitämistä erillään: viestin propositionaalinen informaatio (mitä se väittää olevan totta, ja millä perusteilla) ja sen sosiaalinen signaaliarvo (mitä sen esittäminen kertoo lähettäjän ryhmäjäsenyydestä tai asemasta). Brennan ja Lomasky (1993) ovat osoittaneet vastaavan ilmiön poliittisen ilmaisun kontekstissa: koska yksittäisen äänen tai kannanoton todennäköisyys vaikuttaa lopputulokseen on käytännössä olematon, poliittinen ilmaisu on usein rationaalisesti ymmärrettävissä ekspressiivisenä eli identiteettiä ilmaisevana tekona pikemminkin kuin instrumentaalisena yrityksenä vaikuttaa lopputulokseen. Tämä ei tarkoita, että ekspressiivinen viestintä olisi arvotonta tai irrationaalista – se tarkoittaa, että sen arvo on eri tyyppistä kuin propositionaalisen väitteen arvo, ja näitä kahta arvotyyppiä on syytä arvioida erikseen.

9.3 Identiteettiä suojaava kognitio

Identiteettiä suojaavan kognition tutkimus selittää mekanismia, jossa uuden informaation vaikutus riippuu siitä, uhkaako vai vahvistaako se vastaanottajan ryhmäidentiteettiä. Kunda (1990) osoitti, että motivoitu päättely ei tarkoita mielivaltaista uskomista vaan valikoivaa, mutta silti rajoitettua, todistusaineiston etsintää ja arviointia: ihmiset päätyvät haluamaansa lopputulokseen, mutta vain siinä määrin kuin he pystyvät perustelemaan sen itselleen uskottavasti. Kahan, Braman ja kollegat (2007) osoittivat kulttuurisen kognition tutkimuksessaan, että sama riskiä koskeva informaatio arvioidaan eri tavoin riippuen siitä, uhkaako johtopäätös vastaajan kulttuurista tai ryhmäidentiteettiä – ilmiö, joka ei rajoitu mihinkään yksittäiseen poliittiseen leiriin.

Tämän artikkelin kannalta on olennaista soveltaa mekanismia symmetrisesti: identiteettiä suojaava kognitio ei ole jommankumman poliittisen ryhmän erityispiirre, vaan yleisinhimillinen kognitiivinen taipumus, joka voi aktivoitua kenen tahansa kohdalla, kun käsiteltävä väite koskettaa ryhmäjäsenyyttä. Tästä seuraa metodologinen periaate, jota tämä artikkeli noudattaa: mittarin ei tule olettaa etukäteen, että jompikumpi osapuoli reagoi identiteettinsä puolustamiseksi useammin – tämä on empiirinen kysymys, jota käsitteellinen malli ei ratkaise, vaan jonka se tekee mahdolliseksi tutkia symmetrisin kriteerein.

9.4 Systeemiteoria

Systeemiteoreettinen näkökulma, erityisesti Luhmannin (1995) sosiaalisten systeemien teoria, tarkastelee keskustelua kommunikaatiotapahtumien sarjana, jossa yksi puheenvuoro muuttaa seuraavien puheenvuorojen mahdollisuusavaruutta – toisin sanoen sitä informaatiotilaa, johon seuraava viesti kytkeytyy. Tämä näkökulma auttaa hahmottamaan keskustelun dynaamisena, itseään muokkaavana järjestelmänä pikemminkin kuin toisistaan riippumattomien yksittäisten viestien summana.

Systeemiteoreettisesta näkökulmasta olennainen kysymys on, syntyykö keskustelussa korjaavaa palautetta (negative feedback), joka poistaa virheitä ja kaventaa perusteetonta hajontaa, vai itseään vahvistavia silmukoita (positive feedback), joissa jokainen puheenvuoro kasvattaa edellisen kärjistystä ilman, että informaatiotila muuttuu. Käytännössä tämä tarkoittaa kysymystä: tuottaako seuraava viesti uusia erotteluja, parempia ennusteita tai virheiden tunnistamista, vai ainoastaan syventää identiteetti- ja konfliktisilmukkaa, jossa osapuolten asemat vain jäykistyvät suhteessa toisiinsa? Tämä systeeminen näkökulma yhdistää argumentaatioteorian (mikä muuttuu argumentin rakenteessa), signaaliteorian (mikä muuttuu sosiaalisessa asemoinnissa) ja identiteettiä suojaavan kognition (miksi jompikumpi dynamiikka voittaa) yhdeksi dynaamiseksi kuvaukseksi keskustelusta prosessina, ei vain tuotosten summana.

10. Episteemisen tuottavuuden moniulotteinen malli

10.1 Ulottuvuudet

A. Informaatioarvo. Arvioidaan, tuodaanko keskusteluun relevanttia informaatiota, jota siinä ei aiemmin ollut; muuttaako informaatio jotain merkittävää johtopäätöstä; poistaako se olennaista epävarmuutta. Pelkkä uusien linkkien tai lähteiden määrä ei riitä indikaattoriksi, koska lähde voi olla toisto, epärelevantti tai jo aiemmin mainittu eri sanoin.

B. Käsitteellinen lisäarvo. Arvioidaan, syntyykö uusia hyödyllisiä käsitteellisiä erotteluja; täsmentyvätkö epäselvät termit; erotellaanko toisistaan aiemmin sekoittuneet ilmiöt; määritelläänkö väitteiden soveltamisala paremmin (esimerkiksi "tämä pätee kaupunkialueilla, ei koko maassa").

C. Kausaalinen lisäarvo. Arvioidaan, täsmentyykö käsitys siitä, miksi jokin ilmiö tapahtuu; erotellaanko korrelaatio mekanismista; tunnistetaanko vaihtoehtoisia selityksiä; syntyykö testattavia seurauksia, jotka periaatteessa voisi tarkistaa.

D. Ennustava lisäarvo. Kysytään: pystyisikö keskustelun jälkeen ennustamaan jotakin olennaista paremmin kuin ennen keskustelua? Tetlockin ja Gardnerin (2015) ennustetutkimus osoittaa, että kalibroitu ennustekyky on yksi vahvimmista ymmärryksen indikaattoreista, koska se on periaatteessa jälkikäteen tarkistettavissa. Ennustekykyä käsitellään tässä kuitenkin yhtenä mahdollisena vahvana indikaattorina, ei ymmärryksen tyhjentävänä määritelmänä – osa ymmärryksestä (esimerkiksi käsitteellinen selkeys) ei redusoidu ennustetarkkuuteen.

E. Uskomusten revisio. Arvioidaan, tapahtuuko kannan muuttumista, kannan ehtojen tarkentamista, varmuuden vähentymistä, virheen tunnustamista tai vastapuolen argumentin osittaista hyväksymistä. On tärkeää olla vaatimatta mielipiteen vaihtamista episteemisen tuottavuuden ehdoksi: perusteltu varmuuden lisääntyminen alkuperäisessä kannassa – esimerkiksi koska vastaväitteet osoittautuivat heikoiksi – voi yhtä lailla olla edistystä.

F. Epävarmuuden kalibroituminen. Erotellaan neljä tapausta: perusteltu varmuuden kasvu, perusteltu varmuuden lasku, muuttumaton mutta perustellumpi kanta, ja perusteeton varmuuden kasvu. On huomionarvoista, että keskustelu voi tuottaa paljon informaatiota mutta silti heikentää osallistujien episteemistä tilaa, jos se lisää perusteetonta varmuutta – esimerkiksi jos osapuolet tulkitsevat epäselvän evidenssin vahvemmaksi tueksi omalle kannalleen kuin se objektiivisesti on.

G. Vastanäytön käsittely. Arvioidaan, kohdataanko vahvimmat relevantit vasta-argumentit; muuttaako vastanäyttö väitteen sisältöä tai varmuutta; vai siirtyykö keskustelu väitteen arvioinnista esittäjän motiiveihin, identiteettiin tai moraaliseen asemaan (ad hominem -siirtymä).

H. Episteeminen redundanssi. Mitataan, kuinka suuri osa keskustelusta toistaa jo sanottua, muotoilee saman argumentin uudelleen tai lisää tunneintensiteettiä muuttamatta informaatiotilaa. Tähän liittyy käsite episteeminen marginaalituotto: kuinka paljon kukin uusi puheenvuoro kasvattaa keskustelun kumulatiivista ymmärrystä suhteessa edelliseen tilaan. Marginaalituotto voi olla suuri keskustelun alussa ja laskea nopeasti nollaan, kun osapuolet siirtyvät toistamaan jo esitettyjä kantoja.

I. Ryhmäsignaalitiheys. Muodostetaan käsite Group Signaling Density (GSD): sellaisten viestielementtien osuus, joiden pääasiallinen havaittava funktio on ryhmään kuulumisen, moraalisen aseman, lojaalisuuden tai vastaryhmän torjunnan viestiminen ilman vastaavaa propositionaalisen informaation lisäystä. Tämän arvioinnissa on oltava erityisen varovainen: kyse on tekstin havaittavista ominaisuuksista (esimerkiksi leimaava yleistys koko vastapuolesta, ryhmäidentiteettiin vetoava me/he-asettelu ilman propositionaalista sisältöä, moraalinen tuomitseminen ilman perusteluketjua), ei kirjoittajan sisäisen motiivin päättelystä. Sama pintarakenne (esimerkiksi voimakas moraalinen ilmaisu) voidaan koodata korkean GSD:n elementiksi vain, jos siihen ei liity vastaavaa propositionaalisen informaation lisäystä – ei siksi, että moraalinen kieli sinänsä olisi ei-episteemistä.

J. Integraatio. Arvioidaan, yhdistääkö keskustelu eri osapuolten tietoa, eri selitysmalleja, yhteensopivia osatotuuksia tai eri abstraktiotasoja. Tässä on tärkeää erottaa aito synteesi ("molemmat mekanismit selittävät osan ilmiöstä eri olosuhteissa") pelkästä kompromissista ("sovitaan, että molemmat ovat vähän oikeassa"), joka ei välttämättä sisällä uutta käsitteellistä rakennetta.

10.2 Nettotuottavuus: alustava formaali lähtökohta

Näiden ulottuvuuksien pohjalta voidaan hahmottaa alustava, puhtaasti käsitteellinen erotuslaskelma:

ETI = epistemiset lisäykset − epistemiset kustannukset

jossa epistemisiin lisäyksiin kuuluisivat esimerkiksi:

ΔI = relevantti informaatio (ulottuvuus A)
ΔC = käsitteellinen selkeys (ulottuvuus B)
ΔK = kausaalinen ymmärrys (ulottuvuus C)
ΔP = ennustekyvyn paraneminen (ulottuvuus D)
ΔU = epävarmuuden parempi kalibrointi (ulottuvuus F)
ΔR = perusteltu revisio (ulottuvuus E)
ΔS = näkökulmien integraatio (ulottuvuus J)

ja epistemisiin kustannuksiin:

D = redundanssi (ulottuvuus H)
N = epäolennainen kohina
G = ryhmäsignalointi ilman informaatiolisää (ulottuvuus I)
A = henkilöön tai ryhmään siirtyvä argumentaatio (ulottuvuuden G kääntöpuoli)
O = perusteeton varmuuden kasvu (ulottuvuuden F kääntöpuoli)

Tätä esitetään tässä vaiheessa ainoastaan käsitteellisenä lähtökohtana, ei mitattavana kaavana. Painokertoimia (kuinka paljon ΔK painaa suhteessa ΔI:hin, tai kuinka paljon G rankaisee suhteessa D:hen) ei väitetä empiirisesti validoiduiksi, eikä tässä artikkelissa esitetä lukuarvoja millekään termille. Kaavan tarkoitus on osoittaa käsitteellisesti, että episteeminen tuottavuus on erotus – lisäysten ja kustannusten välinen suhde – eikä pelkkä lisäysten summa.

10.3 Profiili yhden luvun sijaan

Yhden aggregoidun pistemäärän ongelma on, että se hävittää olennaisia eroja: keskustelu, joka tuottaa paljon kausaalista ymmärrystä mutta myös paljon ryhmäsignalointia, voi saada saman kokonaispisteen kuin keskustelu, joka tuottaa vähän kumpaakin. Tästä syystä tämä artikkeli ehdottaa, että ETI esitetään ensisijaisesti profiilina tai vektorina – kunkin ulottuvuuden (A–J) erillisenä arviona – yhden kokonaisluvun sijaan. Aggregoitu kokonaispiste voidaan laskea profiilista tarvittaessa (esimerkiksi vertailuja varten), mutta profiilin säilyttäminen mahdollistaa kysymykset, joita yksi luku ei mahdollista: onko keskustelu tuottava mutta samalla identiteettiä vahvistava, vai tuottamaton ja identiteettiä vahvistava, vai tuottava ja identiteettiä vahvistamaton. Nämä ovat käsitteellisesti eri tilanteita, joiden erottaminen on koko mallin tarkoitus.

10.4 Muutoksen mittaaminen: T0, T1, T2

Episteemistä tuottavuutta tulisi arvioida ensisijaisesti ennen–jälkeen-muutoksena, ei pelkkänä viestien ominaisuutena, koska sama viesti voi olla tuottava tai tuottamaton riippuen siitä, mitä keskustelussa on jo sanottu. Tämän vuoksi malli erottaa kolme informaatiotilaa:

T0 – mitä ennen keskustelua tiedettiin, erotettiin ja osattiin perustella.

T1 – mitä keskustelun aikana lisättiin, korjattiin tai kyseenalaistettiin.

T2 – mitä keskustelun jälkeen voidaan sanoa, erottaa, ennustaa tai arvioida paremmin.

Tämän perusteella keskustelu on episteemisesti tuottava siinä määrin kuin T2 sisältää relevanttia, perusteltua ja käyttökelpoista rakennetta, jota T0 ei sisältänyt. Tämä määritelmä tekee näkyväksi, miksi pelkkä viestien sisällönanalyysi ilman ennen–jälkeen-vertailua on riittämätön: yksittäinen viesti voi näyttää informatiiviselta mutta olla itse asiassa toistoa, jos sama sisältö oli jo T0:ssa.

10.5 Ulkopuolisen tarkkailijan näkökulma

Mallin soveltamisessa on syytä erottaa toisistaan neljä eri asiaa, jotka helposti sekoittuvat: (1) osallistujien kokema oppiminen (subjektiivinen kokemus siitä, että keskustelu oli hyödyllinen), (2) osallistujien todellinen kannanmuutos (havaittavissa oleva muutos ilmaistussa kannassa tai varmuudessa), (3) ulkopuolisen lukijan saama ymmärrys (mitä keskustelua seuraava, siihen osallistumaton henkilö voi oppia) ja (4) keskustelun objektiivisesti havaittava informaatiolisä (mitä T2 sisältää T0:aan verrattuna riippumatta siitä, kuka sen huomaa).

Näistä erityisesti ensimmäinen on epäluotettava itsenäisenä mittarina identiteettikonfliktissa, koska osallistujien oma arvio keskustelun hyödyllisyydestä voi riippua enemmän siitä, kumpi osapuoli heidän mielestään "voitti", kuin siitä, mitä keskustelu tosiasiassa tuotti. Tästä syystä tämä artikkeli suosittelee, että episteemisen tuottavuuden ensisijaisena arviointinäkökulmana käytetään ulkopuolista tarkkailijaa (kohdat 3 ja 4) osallistujien oman kokemuksen sijaan, vaikka osallistujien kokemus ja kannanmuutos ovat silti kiinnostavia rinnakkaisia mittareita, joita voidaan raportoida erikseen sekoittamatta niitä episteemisen tuotoksen arviointiin.

11. Vahvimpien vastakkaisten argumenttien tarkastelu

11.1 Näkemys A: Episteemistä tuottavuutta voidaan ainakin osittain mitata objektiivisesti

Vahvin argumentti tämän näkemyksen puolesta on, että keskustelussa voidaan havaita uusia lähteitä, käsitteellisiä erotteluja, korjattuja virheitä, muuttuneita ennusteita ja eksplisiittisiä revisioita ilman, että arvioija joutuisi ratkaisemaan, mikä poliittinen kanta on oikea. Esimerkiksi jos osallistuja toteaa: "olit oikeassa, tilastoni koski eri vuotta kuin väitteeni", tämä on havaittavissa oleva korjaus riippumatta siitä, kumman poliittisen kannan puolella arvioija itse on. Samoin uuden käsitteellisen erottelun syntyminen ("tarkoitatteko työttömyysastetta vai työllisyysastetta – nämä eivät ole sama luku") on koodattavissa tekstin piirteenä ilman kannanottoa siihen, kumpi osapuoli lopulta on oikeassa jostain laajemmasta kysymyksestä.

11.2 Näkemys B: Episteemisen tuottavuuden objektiivinen mittaaminen on väistämättä arvottavaa

Vahvin argumentti tätä vastaan on, että sen ratkaiseminen, mikä tieto on relevanttia, mikä argumentti parantaa ymmärrystä ja mikä on vain signalointia, edellyttää jo käsitystä keskustelun tavoitteesta ja hyvästä tiedollisesta suorituksesta. "Relevanssi" ei ole itsestään selvä käsite: se mikä näyttää relevantilta yhdestä teoreettisesta tai poliittisesta viitekehyksestä, voi näyttää epäolennaiselta toisesta. Myös GSD-käsitteen soveltaminen edellyttää arviota siitä, mikä lasketaan "propositionaaliseksi informaatioksi" – ja tämä raja ei ole aina neutraali, koska esimerkiksi moraalista kieltä voidaan yhdessä viitekehyksessä pitää episteemisesti tyhjänä signalointina ja toisessa perusteltuna moraalisena havaintona maailmasta.

11.3 Näkemys C: Ryhmäsignalointi ei välttämättä ole episteemisesti hyödytöntä

Vahvin argumentti tämän näkemyksen puolesta on, että sosiaalinen signalointi voi välittää tietoa normeista, koalitioista, luottamuksesta, sitoutumisesta ja siitä, miten eri ryhmät tulkitsevat tilanteen. Tieto siitä, että "tämä ryhmä pitää tätä väitettä moraalisesti loukkaavana" on itsessään sosiaalisesti relevanttia informaatiota – se voi esimerkiksi ennustaa, miten poliittinen prosessi etenee, vaikka se ei suoraan koske alkuperäisen empiirisen väitteen totuutta. Signalointi voi myös toimia epäsuorana laadunvarmistuksena: jos tietty ryhmä systemaattisesti tukee tiettyjä lähteitä, tämä kertoo (joskus virheellisesti, joskus oikein) jotain lähteen uskottavuudesta ryhmän omien standardien mukaan.

11.4 Synteesi

Näiden kolmen näkemyksen välinen jännite ei ratkea valitsemalla yksi niistä oikeaksi. Sen sijaan synteesi on tämä: objektiivinen mittaaminen on mahdollista rajatuissa, havaittavissa piirteissä (näkemys A) mutta ei koskaan täysin arvovapaata siinä mielessä, että jo relevanssin ja "propositionaalisen informaation" määrittely edellyttää teoreettisia valintoja (näkemys B). Tästä ei kuitenkaan seuraa, että mittaaminen olisi mielivaltaista – arvovalinnat voidaan tehdä näkyviksi ja soveltaa symmetrisesti kaikkiin ryhmiin, mikä on eri asia kuin arvovapaus. Lisäksi ryhmäsignalointi ei ole automaattisesti episteemisesti tyhjää (näkemys C): tämän vuoksi GSD mittaa signaloinnin osuutta suhteessa propositionaaliseen informaatioon, ei signaloinnin määrää sinänsä negatiivisena asiana. Malli ei siis väitä, että signalointi olisi haitallista, vaan että se on käsitteellisesti eri asia kuin informaatiolisä, ja näiden kahden suhteellinen osuus on kiinnostava riippumatta siitä, pidetäänkö signalointia arvokkaana vai ei.

12. Episteemisen tuottavuuden arviointikehikko

Teoriasta voidaan johtaa konkreettinen arviointilomake, jota esimerkiksi tutkija, toimittaja, keskusteluryhmän moderaattori, kansalaisvaikuttaja, Facebook-käyttäjä tai tekoälyavusteinen analyysijärjestelmä voisi käyttää keskustelun arviointiin. Taulukossa 1 esitetään alustava 0–4-asteikko yhdelletoista muuttujalle. Asteikon päätepisteet on kuvattu niin, että eri arvioijat voisivat periaatteessa käyttää samaa kriteeristöä, vaikka väliarvojen (1–3) tulkinta jää väistämättä jossain määrin arvioijan harkinnan varaan – tämä on osa näkemyksen B tunnistamaa arvosidonnaisuutta, ei tekninen puute, joka voitaisiin kokonaan poistaa.

Taulukko 1. Episteemisen tuottavuuden arviointikehikko (0–4)

Muuttuja	0 = ei lainkaan	4 = erittäin voimakkaasti
1. Uuden relevantin informaation määrä	Ei uutta relevanttia tietoa; kaikki jo tiedossa T0:ssa	Useita uusia, tarkistettavissa olevia ja johtopäätöksen kannalta merkittäviä tietoja
2. Käsitteellisen täsmennyksen määrä	Termit ja erottelut yhtä epäselviä kuin alussa	Keskeiset termit ja soveltamisalat täsmentyvät selvästi
3. Kausaalisen ymmärryksen paraneminen	Ei erottelua korrelaation ja mekanismin välillä	Mekanismi(t) täsmentyvät, vaihtoehtoiset selitykset käsitellään
4. Relevanttien vasta-argumenttien käsittely	Vahvimpia vastaväitteitä ei kohdata lainkaan	Vahvimmat vastaväitteet kohdataan suoraan ja niihin vastataan asiasisällöllisesti
5. Epävarmuuden kalibroituminen	Varmuus muuttuu ilman havaittavaa perustetta	Varmuuden muutos on selvästi sidoksissa esitettyyn evidenssiin, suuntaan kumpaankin
6. Käsitysten perusteltu revisio	Ei havaittavaa kannan, ehtojen tai varmuuden muutosta kenelläkään	Selvä, perusteltu kannan, ehtojen tai varmuuden muutos vähintään yhdellä osapuolella
7. Näkökulmien integraatio	Näkökulmat pysyvät erillisinä, ei yhdistämisyritystä	Eri näkökulmat tai selitysmallit yhdistyvät uudeksi, aiempaa täsmällisemmäksi kokonaiskuvaksi
8. Redundanssi	Ei havaittavaa toistoa	Suurin osa viesteistä toistaa aiemmin sanotun sisällön uusin sanoin
9. Henkilöityminen	Keskustelu pysyy väitteiden tasolla	Suurin osa viesteistä kohdistuu puhujan motiiveihin, luonteeseen tai ryhmäjäsenyyteen väitteen sisällön sijaan
10. Ryhmäsignaalitiheys (GSD)	Ei havaittavia ryhmäsignaalielementtejä	Suurin osa viesteistä koostuu havaittavista ryhmäsignaalielementeistä ilman vastaavaa informaatiolisää
11. Perusteettoman varmuuden lisääntyminen	Ei havaittavaa perusteetonta varmuuden kasvua	Selvä, evidenssiin nähden ylimitoitettu varmuuden kasvu vähintään yhdellä osapuolella

Muuttujat 1–7 muodostavat episteemisten lisäysten profiilin ja muuttujat 8–11 episteemisten kustannusten profiilin (vrt. luku 10.2). Lomaketta käytettäessä on suositeltavaa täyttää se erikseen keskustelun eri vaiheille tai osaketjuille, koska yksittäinen pitkä keskustelu sisältää tyypillisesti sekä tuottavia että ei-tuottavia jaksoja.

Kaksi kontrollikysymystä

Arviointikehikkoon sisältyy kaksi erityisen yksinkertaista kontrollikysymystä, jotka on tarkoitettu nopeaksi, karkeaksi tarkistukseksi ennen yksityiskohtaisempaa taulukon täyttöä:

Mitä keskustelun jälkeen voidaan perustellusti sanoa, mitä ennen sitä ei voitu sanoa yhtä hyvin?
Jos kaikki ryhmäidentiteettiä, moraalista asemaa ja vastapuolen statusta ilmaisevat elementit poistettaisiin, kuinka paljon keskustelun informaatiosisällöstä jäisi jäljelle?

Ensimmäisen kysymyksen vahvuus on sen suora yhteys T0–T2-erotteluun: se pakottaa arvioijan nimeämään konkreettisen väitteen tai erottelun, ei vain yleisvaikutelman. Sen rajoitus on, että vastaus voi olla subjektiivinen, jos arvioija ei tunne aihepiiriä ennalta riittävän hyvin arvioidakseen, mikä oli jo tiedossa ennen keskustelua – kysymys edellyttää siis jonkinlaista ulkoista T0-referenssiä, joka ei aina ole saatavilla.

Toisen kysymyksen vahvuus on, että se toimii ajatuskokeena, joka erottaa karkeasti GSD:n muusta sisällöstä ilman muodollista koodausta – se on nopeasti sovellettavissa myös maallikkoarvioijalle. Sen rajoitus on, että "poistaminen" on ajatuskoe eikä tarkka operaatio: monissa viesteissä identiteettiin viittaava ja propositionaalinen sisältö kietoutuvat kieliopillisesti niin tiiviisti toisiinsa, ettei niitä voi puhtaasti erottaa (esimerkiksi "meidän ryhmämme on aina tiennyt, että X, koska Y" sisältää sekä signaalin että mahdollisen perustelun Y:lle). Kysymys toimii siis suuntaa antavana, ei tarkkana mittana.

13. Institutionaaliset ja käytännön implikaatiot

Mallista voidaan johtaa ainakin seitsemän konkreettista menettelyehdotusta. Näiden tarkoitus on esittää näkökulmasta riippumattomia prosessikriteerejä, ei suositella minkään tietyn poliittisen tai moraalisen sisällön vaimentamista.

Erottaa käyttäjälle näkyvästi keskustelun uudet faktaväitteet toistosta. Käyttöliittymä tai analyysityökalu voisi merkitä, mitkä kommenttiketjun väitteet ovat toistoa aiemmasta ja mitkä tuovat uutta, tarkistettavissa olevaa sisältöä, ilman että työkalu ottaisi kantaa väitteiden totuuteen.
Tunnistaa ensimmäinen kohta, jossa argumentti aidosti muuttui. Pitkässä ketjussa on usein hyödyllistä löytää se yksittäinen viesti, jossa esimerkiksi vasta-argumentti ensimmäistä kertaa muutti väitteen ehtoja tai varmuutta – tämä auttaa lukijaa löytämään keskustelun episteemisesti tihein kohta ilman koko ketjun lukemista.
Tiivistää keskustelun jälkeen syntynyt "uusi tieto" erilliseksi yhteenvedoksi. T2-tilan tiivistäminen erilliseksi listaksi ("tässä keskustelussa täsmentyi X, kumottiin Y, jäi avoimeksi Z") tekisi näkyväksi keskustelun tuotoksen ilman, että lukijan tarvitsisi rekonstruoida sitä koko ketjusta.
Merkitä avoimeksi jääneet erimielisyydet erikseen ratkaistuista. On hyödyllistä erottaa kysymykset, joista päästiin evidenssipohjaiseen yhteisymmärrykseen, kysymyksistä, jotka jäivät perustellusti avoimiksi (esimerkiksi arvoerimielisyyden vuoksi) – näitä ei tule sekoittaa toisiinsa.
Erottaa fakta-, arvo-, kausaali- ja identiteettiväitteet toisistaan. Väitteen tyypin merkitseminen (empiirinen fakta, arvoarvostelma, kausaaliväite, identiteetti-ilmaus) auttaisi sekä lukijaa että analyysijärjestelmää soveltamaan kullekin väitetyypille sopivaa arviointikriteeriä sen sijaan, että kaikkia väitteitä arvioitaisiin samalla mittapuulla.
Tuoda näkyväksi, kuinka suuri osa kommenteista ei muuttanut keskustelun informaatiotilaa. Tämä osuus (episteeminen redundanssi + puhdas ryhmäsignalointi) voitaisiin esittää yhteenlaskettuna prosenttiosuutena, joka antaa karkean kuvan keskustelun episteemisestä "hyötysuhteesta" ilman, että se ottaisi kantaa siihen, oliko tämä osuus "huono" – lukija voi itse päättää, kuinka arvottaa sen.
Käyttää tekoälyä keskustelun episteemisen marginaalituoton arviointiin. Kielimallipohjainen analyysijärjestelmä voisi periaatteessa arvioida kunkin peräkkäisen viestin marginaalituottoa (luku 10.1, ulottuvuus H) suhteessa keskustelun senhetkiseen tilaan, mutta tällaisen järjestelmän luotettavuus, systemaattinen vinouma ja yhteneväisyys ihmisarvioijien kanssa on itsessään empiirinen kysymys, jota tämä artikkeli ei ratkaise (ks. luku 16).

14. Rajoitteet ja tulkinnan rajat

Käsitteellinen analyysi ei voi osoittaa useita asioita, jotka on syytä tehdä eksplisiittisesti näkyviksi.

Se ei voi osoittaa, mikä yksittäinen poliittinen kanta on oikea, koska malli arvioi keskustelun prosessia ja rakennetta, ei ulkopuolisia empiirisiä tosiasioita, joihin väitteet viittaavat. Se ei voi osoittaa, kuinka yleisiä kuvatut ilmiöt – korkea GSD, matala marginaalituotto, ad hominem -siirtymät – todellisuudessa ovat Facebook-keskusteluissa; tämä edellyttäisi empiiristä sisällönanalyysiä otoksesta todellisia keskusteluja. Se ei voi osoittaa, mitä yksittäinen kirjoittaja todella ajatteli tai tavoitteli kirjoittaessaan viestinsä, koska GSD ja muut ulottuvuudet on määritelty tekstin havaittavien piirteiden kautta, ei kirjoittajan sisäisen tilan kautta – kaksi kirjoittajaa saattavat tuottaa pintarakenteeltaan samanlaisen viestin täysin eri motiiveista, eikä malli erota näitä.

Malli ei myöskään voi osoittaa, että sen mahdolliset painokertoimet (luku 10.2) olisivat empiirisesti oikeita – niitä ei ole esitetty tässä artikkelissa lukuarvoina lainkaan, vaan ainoastaan käsitteellisenä erotuksena lisäysten ja kustannusten välillä. Malli ei osoita, että kaikki identiteettisignalointi olisi episteemisesti hyödytöntä; luvussa 11.3 esitetty steelman-argumentti näkemyksen C puolesta pysyy voimassa, ja GSD on tarkoituksella suunniteltu suhteelliseksi mittariksi (signalointi suhteessa informaatiolisään), ei signaloinnin tuomitsemiseksi sinänsä. Malli ei osoita, että konsensus olisi sama asia kuin tiedollinen edistys – ryhmä voi päätyä yksimielisyyteen ilman, että kukaan on korjannut virhettä, ja päinvastoin, perusteltu erimielisyys voi olla episteemisesti arvokkaampi lopputulos kuin näennäinen yksimielisyys. Malli ei myöskään osoita, että kannan muuttumattomuus osoittaisi oppimisen puutetta; luvun 10.1 kohta E korostaa erikseen, että perusteltu varmuuden lisääntyminen alkuperäisessä kannassa voi olla yhtä lailla edistystä kuin kannan vaihtaminen.

Lisäksi tämä artikkeli ei käytä käsitteitä "rationaalinen keskustelija" tai "irrationaalinen ryhmä" ilman tarkkaa operationalisointia, koska tällaiset yleiskäsitteet kätkevät helposti sen moniulotteisuuden, jota koko malli pyrkii tekemään näkyväksi. Kuvaileva käsiteanalyysi pidetään tässä artikkelissa tarkoituksellisesti erillään normatiivisista suosituksista: se, että jokin keskustelun piirre on koodattavissa "korkeaksi GSD:ksi", ei sellaisenaan sisällä väitettä, että tällaista keskustelua tulisi rajoittaa, moderoida tai arvottaa alempiarvoiseksi.

15. Keskustelu ja johtopäätökset

Tämän artikkelin keskeinen väite on, että Facebook-keskustelun – tai minkä tahansa verkkokeskustelun – arviointi hyötyy siitä, että kysymys "kumpi puoli argumentoi paremmin?" korvataan täsmällisemmällä kysymyksellä: kuinka paljon relevantti informaatiotila, käsitteellinen erottelukyky, kausaalinen ymmärrys ja epävarmuuden kalibrointi todella paranivat keskustelun seurauksena, ja kuinka suuri osa vuorovaikutuksesta tuotti lähinnä sosiaalista signaalia ilman vastaavaa episteemistä lisäarvoa?

Tämä erottelu ei ole sama asia kuin väite, että sosiaalinen signalointi olisi arvotonta tai ettei se palvelisi mitään tärkeää inhimillistä tai yhteisöllistä tehtävää (luku 11.3). Se on sen sijaan väite, että signalointi ja informaatiolisä ovat käsitteellisesti eri ulottuvuuksia, jotka sekoittuvat helposti yhteen, kun keskustelua arvioidaan pelkän aktiivisuuden, vakuuttavuuden tai voittaja–häviäjä-kehyksen kautta. Episteemisen tuottavuuden indeksi (ETI), sellaisena kuin se tässä artikkelissa esitetään, on käsitteellinen luonnos – profiili yhdentoista ulottuvuuden yli, kiinnitettynä ennen–jälkeen-muutokseen (T0–T2) – joka tekee tämän erottelun mahdolliseksi ilman, että se edellyttäisi minkään yksittäisen väitteen totuuden ratkaisemista.

Mallin rajoitukset (luku 14) ovat yhtä olennainen osa sen kontribuutiota kuin sen positiiviset väitteet: tietoisuus siitä, mitä käsitteellinen analyysi ei voi tehdä, suojaa mallia sekä ylikäytöltä (sen esittämiseltä valmiina, arvovapaana mittarina) että alikäytöltä (sen hylkäämiseltä siksi, ettei se ole täydellisen objektiivinen). Malli asettuu näiden kahden ääripään väliin: se ei ole arvovapaa siinä mielessä, että relevanssin ja informaation määrittely edellyttää teoreettisia valintoja, mutta se on symmetrisesti sovellettavissa siinä mielessä, ettei se etukäteen aseta mitään poliittista tai moraalista näkemystä episteemisesti heikommaksi asemaan.

16. Jatkotutkimusagenda

Käsitteellisestä mallista voidaan johtaa useita empiirisesti testattavia jatkotutkimuksia. On syytä korostaa, ettei tämä artikkeli esitä näiden tutkimusten tuloksia toteutuneina – kyseessä on ehdotus tulevaa tutkimusta varten.

Ensinnäkin tarvitaan kahden riippumattoman arvioijan reliabiliteettitutkimusta: kuinka hyvin kaksi ihmisarvioijaa, jotka koodaavat saman keskustelun taulukon 1 kriteerein toisistaan riippumatta, päätyvät samankaltaisiin arvioihin (esim. Cohenin kappa tai vastaava yhtenevyysmitta). Tämä on välttämätön ensimmäinen askel ennen kuin mallia voidaan pitää käyttökelpoisena mittausvälineenä.

Toiseksi olisi hyödyllistä tutkia ihmisten ja kielimallien ETI-arvioiden vertailua: missä määrin kielimallipohjainen analyysi (institutionaalinen implikaatio 7) vastaa ihmisarvioijien koodauksia, ja millaisissa tapauksissa ne systemaattisesti eroavat toisistaan – esimerkiksi GSD:n arvioinnissa, jossa "pääasiallisen havaittavan funktion" tulkinta voi olla erityisen herkkä arvioijan omalle taustalle.

Kolmanneksi tarvitaan ennen–jälkeen-tietotestillä tehtävää validointia: mitataanko osallistujien tai lukijoiden tietämystä ja ennustekykyä ennen keskustelua ja sen jälkeen erillisellä testillä, ja verrataanko tätä muutosta ETI-koodauksesta johdettuun ennusteeseen. Tämä olisi tapa arvioida, ennustaako tekstin piirteistä johdettu ETI todellista mitattua oppimista.

Neljänneksi kokeellinen asetelma, jossa sama keskustelusisältö esitetään eri ryhmätunnuksilla (esimerkiksi sama argumentti merkittynä kuuluvaksi eri poliittisiin ryhmiin), voisi testata, vaikuttaako GSD-koodaus tai muu ETI-ulottuvuus arvioijan omaan ryhmäjäsenyyteen vai pysyykö se vakaana riippumatta siitä, kumman ryhmän viestiksi sisältö on merkitty – tämä olisi suora testi mallin symmetrisyydelle käytännössä, ei vain periaatteessa.

Viidenneksi pitkittäistutkimus voisi selvittää, ennustaako korkea ETI myöhempää faktatiedon säilymistä osallistujilla – toisin sanoen, onko episteemisesti tuottavaksi koodattu keskustelu myös pidemmällä aikavälillä vaikuttavampi kuin matalan ETI:n keskustelu.

Kuudenneksi olisi kiinnostavaa tutkia, ennustaako matala episteeminen marginaalituotto keskustelun muuttumista identiteettikonfliktiksi – toisin sanoen, onko marginaalituoton lasku (luku 10.1, kohta H) varhainen indikaattori siitä, että keskustelu on siirtymässä episteemisestä vaihdosta sosiaaliseen tai identiteettikonfliktiin, mikä voisi tarjota käytännöllisen varhaisvaroitusmerkin moderointityökaluille.

17. Lähteet

Bail, C. A., Argyle, L. P., Brown, T. W., Bumpus, J. P., Chen, H., Hunzaker, M. B. F., Lee, J., Mann, M., Merhout, F., & Volfovsky, A. (2018). Exposure to opposing views on social media can increase political polarization. Proceedings of the National Academy of Sciences, 115(37), 9216–9221. https://doi.org/10.1073/pnas.1804840115

Brennan, G., & Lomasky, L. (1993). Democracy and decision: The pure theory of electoral preference. Cambridge University Press. [TARKISTETTAVA – täydelliset bibliografiset tiedot, mm. mahdollinen alaotsikko ja painos]

Friess, D., & Eilders, C. (2015). A systematic review of online deliberation research. Policy & Internet, 7(3), 319–339. https://doi.org/10.1002/poi3.95 [TARKISTETTAVA – sivunumerot]

Graham, T., & Witschge, T. (2003). In search of online deliberation: Towards a new method for examining the quality of online discussions. Communications, 28(2), 173–204. https://doi.org/10.1515/comm.2003.012 [TARKISTETTAVA – sivunumerot]

Kahan, D. M., Braman, D., Gastil, J., Slovic, P., & Mertz, C. K. (2007). Culture and identity-protective cognition: Explaining the white-male effect in risk perception. Journal of Empirical Legal Studies, 4(3), 465–505. [TARKISTETTAVA – tekijäjärjestys, tarkka sivualue ja DOI]

Kunda, Z. (1990). The case for motivated reasoning. Psychological Bulletin, 108(3), 480–498. [TARKISTETTAVA – numeron (issue) tarkistus]

Luhmann, N. (1995). Social systems (J. Bednarz Jr. & D. Baecker, Trans.). Stanford University Press. (Alkuperäisteos julkaistu 1984)

Mercier, H., & Sperber, D. (2011). Why do humans reason? Arguments for an argumentative theory. Behavioral and Brain Sciences, 34(2), 57–74. https://doi.org/10.1017/S0140525X10000968 [TARKISTETTAVA – DOI]

Spence, M. (1973). Job market signaling. Quarterly Journal of Economics, 87(3), 355–374.

Steenbergen, M. R., Bächtiger, A., Spörndli, M., & Steiner, J. (2003). Measuring political deliberation: A discourse quality index. Comparative European Politics, 1(1), 21–48. [TARKISTETTAVA – DOI]

Stromer-Galley, J. (2007). Measuring deliberation's content: A coding scheme. Journal of Public Deliberation, 3(1), Article 12. https://doi.org/10.16997/jdd.50

Sunstein, C. R. (2002). The law of group polarization. Journal of Political Philosophy, 10(2), 175–195. https://doi.org/10.1111/1467-9760.00148 [TARKISTETTAVA – DOI]

Tetlock, P. E., & Gardner, D. (2015). Superforecasting: The art and science of prediction. Crown Publishers.

Toulmin, S. E. (1958). The uses of argument. Cambridge University Press.

Woolley, A. W., Chabris, C. F., Pentland, A., Hashmi, N., & Malone, T. W. (2010). Evidence for a collective intelligence factor in the performance of human groups. Science, 330(6004), 686–688. https://doi.org/10.1126/science.1193147

Huomautus lähteistä: Kaikki edellä luetellut lähteet perustuvat kirjoittajan hakuun olemassa olevasta, verifioitavissa olevasta tutkimuskirjallisuudesta. Merkintä [TARKISTETTAVA] osoittaa yksityiskohtia (tyypillisesti tarkkoja sivunumeroita, DOI-tunnuksia tai tekijäjärjestystä), joita ei ole voitu täysin varmuudella vahvistaa tämän artikkelin laatimisen yhteydessä ja jotka lukijan tulisi tarkistaa ennen viittaamista. Yhtään lähdettä, tutkimustulosta tai bibliografista tietoa ei ole tarkoituksella keksitty.