Jos pyydän tekoälyä perustelemaan raportoinnin automatisoinnin, voin saada vakuuttavan vastauksen. Kun pyydän sitä etsimään saman suunnitelman heikkoudet, myös vastaväitteet voivat kuulostaa asiantuntevilta. Minun pitäisi silti osata sanoa, kumman perusteella tekisin päätöksen. Ratkaiseva tieto saattaa puuttua molemmista.

Erottelen tässä kolme arvioitavaa asiaa: oman kyvyn käsitellä tietoa, päätösmallin sopivuuden tilanteeseen ja vastauksen tueksi esitetyn näytön. Niiden erottaminen auttaa paikantamaan ongelman. Väärää tavoitetta ei korjata tarkemmalla laskulla, eikä keskittymistä parantava työjärjestely varmista lähteen luotettavuutta.

Käytän artikkelissa yhtä esimerkkipäätöstä: kannattaako kuukausittaisia asiakasraportteja automatisoida ja millä ehdoilla? Etenen ajattelun olosuhteista virheiden tunnistamiseen, kuuden kuukauden hyötylaskelmaan ja kokeen perusteella tehtävään ratkaisuun. Raportointitapaus, laskujen oletukset ja esimerkkitulokset ovat toimituksen kuvitteellisia havainnollistuksia. Lopussa on täytetty päätöskortti ja kehote omaan käyttöön.

Pitkä keskustelu voi sisältää kaikki päätökseen tarvittavat tiedot ja silti olla huono ajattelun työväline. Tavoite on alussa, poikkeukset keskellä ja viimeisin kustannusarvio lopussa. Käyttäjän on muistettava, mikä niistä on edelleen voimassa.

Tiedon käsittelyä voi jäsentää tarkkaavaisuuden, työmuistin ja toiminnanohjauksen avulla. Tarkkaavaisuus valikoi käsiteltävää tietoa. Työmuistissa pidetään aktiivisena tehtävän kannalta tarpeellisia asioita. Toiminnanohjaus auttaa ylläpitämään tavoitetta ja vaihtamaan toimintaa. Jaottelu on hyödyllinen jäsennys, vaikka se ei ole koko kognition kattava teoria.

Merkityksellisten kokonaisuuksien muodostaminen eli chunking auttaa jäsentämään moniosaista tehtävää. Asiantuntija voi tunnistaa kokonaisuuden, jonka aloittelija näkee erillisinä yksityiskohtina. Raportoinnin tunteva ihminen ymmärtää esimerkiksi, mitä ”vertailukelpoinen kuukausiluku” edellyttää: samaa ajanjaksoa, laskentatapaa ja aineiston rajausta.

Tämä selittää, miksi tekoälyn tuottama tiivistelmä ei yksin riitä. Otsikko ”datan laatu” kokoaa monta asiaa yhteen, mutta lukijan pitää vielä tietää, mitä sen sisällä voi mennä pieleen. Muuten jäsentäminen vain piilottaa yksityiskohdat mukavan käsitteen alle.

Tekoälyn kanssa työskennellessä kannattaa siksi arvioida, mitä on pidettävä mielessä juuri nyt ja mitä voi siirtää näkyvään muistioon. Raportin aineiston rajaus, laskentasääntö ja avoin poikkeus ovat konkreettisia asioita, joiden voimassaoloa voidaan tarkistaa. Yleinen arvio käyttäjän muistista ei vielä kerro, mikä niistä jäi huomaamatta.

Päätöksen tavoite, hyväksymisehdot ja avoimet kysymykset kannattaa pitää näkyvissä keskustelun ulkopuolella. Tekoäly saa auttaa muistion jäsentämisessä. Käyttäjän tehtävä on varmistaa, että muistio kuvaa juuri ratkaistavaa ongelmaa. Näin kaikkea ei tarvitse kantaa työmuistissa, mutta olennaisen valinta pysyy näkyvänä.

Jos työ alkaa aina viestikanavasta, muiden kysymykset ehtivät määrittää päivän ensimmäisen tehtävän. Jos tekoälyn vastaus on ensimmäinen näkyvä tulkinta ongelmasta, siitä voi tulla myös myöhemmän arvioinnin lähtökohta.

Valinta-arkkitehtuuri kuvaa sitä, miten vaihtoehtojen järjestys, oletusvalinnat ja vaadittujen askelten määrä vaikuttavat siihen, mitä tulee tehdyksi. Käytännöllinen kysymys on, mitä tapahtuu silloin, kun käyttäjä ei tee erillistä päätöstä.

Oletusvalintoja koskeva tutkimus näyttää samalla, miksi mittarin nimi ratkaisee. Johnsonin ja Goldsteinin vuoden 2003 tutkimuksen tunnetut maavertailuluvut kuvaavat suostumusta, eivät toteutuneiden elinluovutusten osuutta. Oletusvalinnan vaikutusta tuki myös heidän verkkokokeensa. Historiallinen maavertailu ei silti osoita, että yhden asetuksen vaihtaminen tuottaisi saman lopputuloksen missä tahansa järjestelmässä. Alkuperäinen tutkimus.

Työympäristön suunnittelua voi perustella sillä, että se helpottaa tarkoituksenmukaista toimintaa. Siihen ei tarvita oletusta tahdonvoimasta päivän mittaan tyhjenevänä säiliönä. Tahdonvoimatutkimuksen monilaboratoriotoistossa havaittiin pieni, tehtäväkohtainen vaikutus. Se ei määritä ihmisen koko työpäivän voimavaroja eikä osoita yhtä kaiken selittävää mekanismia. Dang ym., 2021.

Arvioisin jokaista poistettavaa työvaihetta sen tarkoituksen kautta. Lähteen löytäminen ja työn aloittaminen voivat olla tarpeettoman vaikeita. Raportin lähettämistä edeltävä hyväksyntä taas voi olla tarkoituksellinen suoja. En poistaisi sitä vain siksi, että tekoäly saa raportin muuten nopeasti valmiiksi.

Pienen kokeilun hyöty voi ylittää sen rajallisen haitan: pieni, peruttavissa oleva muutos voi olla järkevä epävarmuudessakin. Ilmoitusten rajaamista voi kokeilla ilman varmuutta niiden tarkasta haitasta. Hyödyllinen toimintatapa ei kuitenkaan todista oikeaksi jokaista tarinaa, jolla sitä perustellaan.

Väsyneenä on vaikeampi pitää tavoitetta ja poikkeuksia mielessä. Van Dongenin ja kollegoiden laboratoriokokeessa lyhennetyn vuoteessaoloajan haitat kasautuivat testisuoriutumisessa, vaikka osallistujien oma uneliaisuusarvio ei seurannut heikkenemistä samassa suhteessa. Oma tunne ei siis aina ollut hyvä suoriutumisen mittari. Koe ei anna yksittäiselle lukijalle työtehon parannusprosenttia. Alkuperäinen tutkimus, 2003.

Sama mittaamisen periaate koskee työympäristöä. Ilmoitusten rajaamista tai taustapuheen vähentämistä voi arvioida sillä, jääkö vähemmän lähdetarkistuksia kesken. Uni-, liikunta- ja työtilatutkimusten eri mittareita ei voi kertoa keskenään lupaukseksi moninkertaisesta ajattelutehosta.

Huomiojäämä tarkoittaa, että osa huomiosta pysyy aiemmassa tehtävässä työn kohteen vaihduttua. Sophie Leroyn tutkimus sekä myöhempi Leroyn ja Theresa Glombin työ tukevat ilmiötä ja rajatuissa tilanteissa lyhyen paluusuunnitelman hyötyä. Niistä ei seuraa kaikille samaa palautumisaikaa. Leroy, 2009, Leroy ja Glomb, 2018.

Raportointityössä paluumerkintä voi olla yksinkertainen: ”Marraskuun laskentatapa on tarkistamatta; vertaa lähdejärjestelmän määritelmään.” Tekoäly voi jatkaa taustalla, eikä jokaiseen valmistumisilmoitukseen tarvitse reagoida heti. Lähteiden vertailu voi silti vaatia useita näkymiä. Olennaista on tehtävän tavoitteen säilyminen.

Raportointikokeilu voi epäonnistua, vaikka sen aloittaminen olisi ollut perusteltua. Toisaalta huonosti valmisteltu käyttöönotto voi onnistua ensimmäisellä kerralla. Siksi päätöksen perusteet ja toteutunut tulos pitää pystyä arvioimaan erikseen.

Odotusarvo auttaa vertaamaan vaihtoehtoja painottamalla mahdollisia seurauksia niiden todennäköisyyksillä. Laskelman vaikea osa on yleensä lähtöarvojen perustelu: mitä seurauksia mukaan otettiin, millä aikavälillä ja mistä todennäköisyydet saatiin?

Automaation hyötyarvio vääristyy, jos onnistumisen haarassa lasketaan koko vuoden säästö mutta epäonnistumisen haarassa vain ensimmäisen viikon vaiva. Myös käyttöönotto, ylläpito ja epäonnistuneen työn korjaaminen kuuluvat samaan tarkasteluun. Tekoälyn tuottama täsmällinen lasku voi peittää tämän eron, jos yksiköitä ja aikajännettä ei tarkisteta.

Suuri odotusarvo ei yksin määrää hyvää valintaa. Tappionsietokyky, päätöksen peruuttamattomuus ja päätöksentekijän tavoitteet vaikuttavat siihen, mitä kannattaa tehdä. Pieni kokeilu voi siksi olla arvokas myös tiedonhankintana: sen avulla voidaan oppia, toimiiko menetelmä ennen laajaa käyttöönottoa.

Tulosharhaa koskevissa Baronin ja Hersheyn kokeissa myönteinen lopputulos paransi päätöksestä annettua arviota, vaikka päätöshetken tieto pysyi samana. Tämä ei tarkoita, että toteumat pitäisi sivuuttaa. Niiden avulla arvioidaan myöhemmin, olivatko oletukset, arviot ja mittarit hyviä. Alkuperäinen tutkimus, 1988.

Kaikki automaatioideat eivät ole yhtä arvokkaita. Muutama toistuva tehtävä voi sisältää suurimman osan säästettävästä työstä. Tästä on hyötyä priorisoinnissa, mutta tarkkaa 80/20-suhdetta ei tarvitse olettaa.

Priorisoinnin kannalta hyötyjen keskittyminen on eri väite kuin tietyn matemaattisen jakauman toteutuminen. Clausetin ja kollegoiden tutkimus näyttää, miksi potenssilakioletusta pitää testata ja verrata muihin selityksiin. Pelkkä jyrkästi laskeva kuvaaja ei riitä. Clauset ym., 2009.

Lisäksi tähänastiset voittajat eivät välttämättä ole parhaat lisäpanostuksen kohteet. Yksi raportti saattoi säästää paljon aikaa, koska sen aineisto oli poikkeuksellisen siisti. Sama toimintatapa ei välttämättä siirry muihin raportteihin. Osa vähäiseltä näyttävästä työstä taas ylläpitää laatua, oppimista tai tulevia mahdollisuuksia.

Yhden työnkulun sisällä kysymys muuttuu. Raportti tarvitsee oikean aineiston, oikean laskennan ja oikean tulkinnan. Jos jokainen näistä onnistuisi 90 prosentin todennäköisyydellä toisistaan riippumatta ja kaikkien pitäisi onnistua, kokonaisuuden onnistuminen olisi 72,9 prosenttia.

Tosielämässä virheet voivat riippua toisistaan. Väärä lähde voi tuottaa johdonmukaisen mutta väärän laskelman ja tulkinnan. Jos kunkin vaiheen onnistumisaste mitataan vain niistä tapauksista, joissa aiemmat vaiheet onnistuivat, onnistumisasteiden tulo on edelleen käyttökelpoinen. Eri tehtävistä poimittujen onnistumisprosenttien kertominen sellaisenaan ei ole.

Tästä ei seuraa, että vaiheita pitää aina poistaa. Tarkistusvaihe voi havaita ja korjata virheitä, jolloin se parantaa lopputulosta. Raporttien määrä ja hyväksyttyjen raporttien määrä kertovat eri asioista. Valitse ensin hyödyllinen tehtävä ja arvioi sen jälkeen koko toteutuksen onnistuminen.

Malli helpottaa ajattelua jättämällä jotakin pois. Ongelma alkaa, jos unohdamme, mitä jätettiin pois.

Kartta ja maasto -vertaus muistuttaa mallin ja sen kuvaaman todellisuuden erosta. Asiakasraportti tiivistää aineistoa, johdon yhteenveto tiivistää raporttia ja kielimalli tiivistää yhteenvetoa. Jokaisessa vaiheessa voi kadota olennainen poikkeus tai määritelmä. Alkuperäisaineistokaan ei ole koko todellisuus, mutta siihen palaaminen auttaa selvittämään, missä tulkinta syntyi.

Nimetty ajattelumalli ei myöskään ole automaattisesti valmis algoritmi. Odotusarvo vaatii määritellyt seuraukset ja todennäköisyydet. ”Keskity tärkeimpään” jättää avoimeksi, mistä tärkeys päätellään. Mallin nimi voi antaa väärän tunteen siitä, että vaikein työ on jo tehty.

Goodhartin periaate tuo mukaan kannustimet. Kun korvikemittarista tehdään tavoite, sitä voidaan parantaa ilman, että varsinainen tavoite paranee. Raportointiagentti voi tuottaa nopeasti paljon valmiiksi merkittyjä tiedostoja. Asiakas tarvitsee kuitenkin oikean, ymmärrettävän ja ajoissa valmistuvan raportin. Mittarin hyödyllisyys riippuu siitä, säilyykö yhteys tähän tavoitteeseen. Periaatteen tunnettu muotoilu löytyy Marilyn Strathernin vuoden 1997 artikkelista.

Samaa tavoitteen ja mitatun suorituksen eroa käsittelemme artikkelissa Miksi AI-agentit huijaavat. Mittareita pitää tulkita yhdessä niiden synnyttämien kannustimien ja agentin toimivaltuuksien kanssa.

Chestertonin aita täydentää kokonaisuutta: ennen säännön poistamista pitää ymmärtää, miksi se on olemassa. Tämä on erityisen tärkeää, kun tekoäly ehdottaa prosessin yksinkertaistamista. Raportin hyväksyntäkierros saattaa näyttää hitaalta välivaiheelta, mutta sen tehtävä voi olla havaita asiakkaan muuttunut laskentatapa. Alkuperäinen vertaus.

”Kerro, miksi suunnitelmani on huono” on usein hyödyllisempi pyyntö kuin hyväksynnän hakeminen. Sekin kuitenkin kertoo mallille, millaista vastausta käyttäjä odottaa.

Sharman ja kollegoiden myötäilytutkimuksessa viisi tekoälyavustajaa eri valmistajilta mukautti palautetta käyttäjän ilmaisemaan näkemykseen. Vaikutus näkyi myös kielteiseen suuntaan: huonoksi kehystettyä argumenttia arvioitiin kielteisemmin. Vuoden 2023 tutkimus ei kerro nykyisten mallien myötäilyn määrää, mutta se osoittaa, miksi pelkkä kehotteen sävyn vaihtaminen ei ole riippumaton tarkistus. Sharma ym., ICLR 2024.

Erotan tässä vastaväitteen vastanäytöstä. Vastaväite on mahdollinen syy muuttaa mieltä. Vastanäyttö on havainto tai aineisto, joka todella heikentää väitteen tukea. Tekoäly voi auttaa etsimään molempia, mutta sujuvuus ei osoita, kumpaa se juuri tuotti.

Ajattelun ulkoistamista ei myöskään kannata kuvata yhtenä haitallisena asiana. Muistiinpanot ja välitulosten tallentaminen voivat vapauttaa huomiota muuhun tehtävään. Stormin ja Stonen rajatuissa muistikokeissa tallentaminen auttoi uuden tiedon muistamista tietyillä ehdoilla. Se ei ollut koe tekoälyn pitkäaikaisesta vaikutuksesta asiantuntijuuteen. Tutkimus, 2015.

Lee ja kollegat puolestaan havaitsivat vuoden 2025 kyselyssä, että vahvempi luottamus tekoälyyn liittyi vähäisempään raportoituun kriittisen ajattelun vaivannäköön. Tutkimus ei mitannut pitkäaikaista taitojen heikkenemistä eikä osoittanut syy-yhteyttä. Työn helpottuminen, työkalun kanssa onnistuminen ja itsenäinen osaaminen ovat eri asioita. CHI 2025 -tutkimus.

Käytännön erottelu on tuttu myös oppaastamme Opi tekoälyn kanssa: harjoittele ja tarkista oma osaamisesi. Valmis tehtävä ei yksin kerro, osaako käyttäjä soveltaa asiaa myöhemmin ilman apua.

Oman perustelun kirjoittaminen voi paljastaa aukon ymmärryksessä, mutta sekään ei takaa perustelun oikeellisuutta. Seuraavaksi tarvitaan tapa tarkistaa, mihin päätös perustuu.

En pitäisi itse kahden mallin yksimielisyyttä vielä vahvistuksena. Jos molemmat käyttävät väärää ajanjaksoa tai samaa virheellistä kaavaa, niiden yksimielisyys kertoo vain virheen toistumisesta. Kysyisin ensin, millä tavalla toinen tarkistus voisi löytää ensimmäisen tekemän virheen.

Huangin ja kollegoiden tutkimuksessa sisäinen korjauskierros ei parantanut tutkittujen mallien päättelytuloksia ilman ulkoista oikeellisuuspalautetta, ja tulos saattoi heiketä. Tutkimus koski nimettyjä GPT-3.5-, GPT-4- ja Llama-2-versioita. Se ei osoita vuoden 2026 mallien yleistä kyvyttömyyttä korjata vastauksiaan. Hyödyllinen kysymys on silti sama: mitä uutta tietoa tarkistaja saa? Huang ym., ICLR 2024.

Raportin varmistuksen voi jakaa kolmeen tarkistettavaan asiaan. Seuraava taulukko on toimituksen sovellus, ei tutkimuksessa validoitu menetelmä.

Pelkkä mallin vaihtaminen ei tee näistä tarkistuksista riippumattomia. Taulukkolaskentakin voi toistaa saman väärän kaavan. Siksi on nimettävä sekä tarkistuksen lähde että se virhe, jonka tarkistus voisi havaita.

Tarkistinta kannattaa koetella tunnetulla poikkeuksella: puuttuvalla kentällä, vaihtuneella yksiköllä tai väärällä ajanjaksolla. Mukana tarvitaan myös kunnossa olevia raportteja, jotta turhat hälytykset näkyvät. Tällainen pieni koe osoittaa, reagoiko tarkistin valittuun virheeseen. Se ei vielä mittaa todellisen käytön virheiden yleisyyttä.

Valitse asia, josta joudut oikeasti päättämään. Raportointiesimerkissä se voisi olla, otetaanko automaatio seuraavaksi käyttöön yhden asiakkaan kuukausiraportissa. Kirjoita ensin, mitä pidät onnistumisena ja mikä on alustava arviosi kokeilun onnistumisesta. Merkitse myös, mihin arvio perustuu ja mitä et vielä tiedä.

Tarkastellaan kuvitteellista raporttien laadunvalvontaa. Tuhannesta raportista 200 sisältää olennaisen virheen ja 800 on kunnossa. Tarkistin hälyttää 80 prosentista virheellisistä raporteista. Se antaa kuitenkin väärän hälytyksen myös 20 prosentista kunnossa olevista raporteista. Kaikki luvut ovat esimerkin oletuksia.

Tarkistin löytää 160 virheellistä raporttia ja hälyttää lisäksi 160 kunnossa olevasta raportista. Hälytyksiä tulee siis 320, joista puolet osuu todelliseen virheeseen. Raportin virheellisyyden todennäköisyys nousee hälytyksen jälkeen 20 prosentista 50 prosenttiin. Tarkistimen 80 prosentin herkkyys kertoo eri asian: kuinka suuren osan kaikista virheellisistä raporteista se löytää.

Hälyttämättä jää 680 raporttia. Niistä 40 on virheellisiä ja 640 kunnossa. Virheen todennäköisyys ilman hälytystä on siten 40/680 eli noin 5,9 prosenttia. Jos hälytyksen puuttuminen tulkitaan lähetysluvaksi, nämä virheet ohittavat tarkistuksen.

Hälytys on peruste tarkistaa raportti, ja sen puuttuminen jättää jäljelle oman riskinsä. Hyväksymissäännössä tarvitaan sekä turhan tarkistustyön kustannus että huomaamatta jääneen virheen haitta. Tuhannen raportin joukko on laskennan havainnollistus. Se ei ole toteutunut koe eikä myöhemmän kuukausilaskelman raporttimäärä.

Päivityksen voi laskea myös suhteiden avulla: 20 prosentin lähtötodennäköisyys vastaa virheellisten ja kunnossa olevien raporttien suhdetta 1:4. Hälytyksen uskottavuusosamäärä on 80/20 eli 4. Päivitetty suhde on 4:4, josta saadaan 4/(4+4) eli 50 prosenttia. Sama hälytys merkitsisi vähemmän aineistossa, jossa virheet olisivat harvinaisempia.

Useita havaintoja yhdistäessä pitää huomioida niiden riippuvuus. Tekoälyn toinen samansuuntainen vastaus ei välttämättä tuo juuri mitään uutta. Samoin onnistunut demo ja siitä tehty vakuuttava yhteenveto voivat perustua täsmälleen samaan aineistoon. Niitä ei pidä laskea kahdeksi riippumattomaksi vahvistukseksi.

Jos lähtötodennäköisyydelle ei ole luotettavaa arviota, kirjaisin vaihteluvälin tai puuttuvan tiedon. En haluaisi tehdä arviosta näennäisen tarkkaa vain saadakseni laskun valmiiksi. Bayesin kaava ei velvoita keksimään numeroa.