Maanantaiaamuna myyntitiimi saa agentilta listan viikon tärkeimmistä liideistä. Lista näyttää järkevältä. Isoimmat yritykset ylhäällä, hiljaiset kontaktit alhaalla, riskiset tapaukset sivuun.

Vasta kuukauden päästä joku huomaa kuvion. Agentti on pudottanut jatkuvasti pois pienempiä yrityksiä ja vieraskielisiä yhteyshenkilöitä, vaikka osa niistä olisi ollut hyviä asiakkaita.

Agentti ei rikkonut sääntöä. Se vain optimoi väärää maailmankuvaa.

Tässä on ero chatbotin ja agentin välillä. Chatbotin bias on huono vastaus. Agentin bias on huono päätös, joka pääsee CRM:ään, Slackiin, rekrytointiputkeen tai laskutusjärjestelmään.

Niin kauan kuin tekoäly vain kirjoitti tekstiä, vinouma näytti kieliongelmalta. Nyt agentit priorisoivat liidejä, tekevät ehdotuksia, käyttävät työkaluja ja valmistelevat päätöksiä. Sama vanha mallivinouma kulkee mukana, mutta vaikutus muuttuu.

Vastaus tähän ei synny itsestään.

LLM ei ole tyhjä päättelykone. Se on valtava tilastollinen tiivistelmä kielestä, teksteistä, kulttuurista, valinnoista ja palautteesta.

Tämä kuulostaa itsestäänselvältä, mutta seuraukset unohtuvat nopeasti. Malli oppii kielen mukana myös kielen vinoumat. Jo ennen nykyisiä chat-malleja tutkijat näyttivät, että web-teksteistä opitut sanavektorit toistivat ihmisten implisiittisiä assosiaatioita. Esimerkiksi ammatteihin, sukupuoleen ja etnisyyteen liittyvät yhteydet eivät jääneet ihmisten päähän. Ne päätyivät mallin representaatioihin.

Yrittää on tärkeä sana.

Ensimmäinen olennainen havainto on tämä: malli voi oppia sanomaan oikeat sanat ja silti tehdä vinoutuneen valinnan.

Toinen havainto on vielä hankalampi. "Aligned but Blind" -tutkimuksen mukaan mallin linjaus voi vähentää näkyvää biasia, mutta samalla malli voi tulla sokeammaksi tilanteen kannalta olennaisille eroille. Täysin "värisokea" malli ei välttämättä ole reilu malli. Jos konteksti ratkaisee, kontekstin ohittaminen voi tuottaa huonon päätöksen.

Tässä on yritysten kannalta pieni mutta tärkeä johtopäätös: neutraalius ei ole sama asia kuin oman organisaation mukainen harkinta.

Yleisesti turvallinen malli ei automaattisesti tiedä, mikä sinun yrityksessäsi on hyväksyttävä kompromissi. Se ei tiedä, milloin asiakassuhteen pitkä luottamus ohittaa lyhyen myyntitavoitteen. Se ei tiedä, milloin riskin siirtäminen asiakkaalle rikkoo yrityksen arvoja, vaikka se näyttäisi metriikassa hyvältä.

Se pitää kertoa sille selkeästi.

Chatbot vastaa. Agentti toimii.

Tämä on koko artikkelin ydin. Agentti hakee tietoa, vertailee vaihtoehtoja, kutsuu työkalua, päivittää järjestelmää, lähettää viestin tai ehdottaa seuraavaa toimenpidettä.

Silloin mallin sisäinen suunta alkaa näkyä päätöksissä ja toiminnassa.

Palataan alun myyntiagenttiin. Sen tehtävä on priorisoida viikon tärkeimmät liidit. Datassa on yrityksen koko, toimiala, budjetti, aiempi aktiivisuus, vastausten sävy ja yhteyshenkilön titteli. Agentti voi tehdä sinänsä loogisen rankingin, mutta sen opitut oletukset voivat vaikuttaa siihen, mitä se pitää "vakavasti otettavana", "riskisenä" tai "hyvänä asiakkaana".

Sama logiikka näkyy rekrytoinnissa ja asiakaspalvelussa. Rekrytointiagentti voi kirjoittaa tiivistelmän, joka vaikuttaa haastattelukutsuun. Asiakaspalveluagentti voi päättää, milloin tiketti eskaloidaan ihmiselle. Näissäkin tapauksissa vinouma ei jää tekstiin. Se siirtyy prosessiin.

Myyntiagentti on kuitenkin hyvä pääesimerkki, koska sen päätös näyttää helposti harmittomalta. Sehän vain järjestää listan. Mutta juuri lista ohjaa ihmisten huomiota. Ylhäällä olevat saavat kontaktin. Alhaalla olevat jäävät myöhemmäksi. Lopulta priorisointi muuttuu todelliseksi kohteluksi.

Agenttien perusarkkitehtuuria avasin aiemmin jutussa Tekoälyagenttien arkkitehtuuriopas. Tämä artikkeli jatkaa samasta kohdasta: mitä tapahtuu, kun arkkitehtuuriin lisätään organisaation arvot ja päätöskontrollit.

Tutkimus tukee tätä huolta. "From Biased Chatbots to Biased Agents" -paperi tarkasteli, miten demografiset personaohjeet vaikuttavat LLM-agenttien suorituskykyyn. Havainto oli karu: persona saattoi heikentää agentin suoriutumista jopa 26,2 prosenttia, vaikka persona ei liittynyt tehtävään.

Tämä on hyvä muistutus kaikille, jotka rakentavat agentteja "roolipromptilla". Rooli ei ole koriste. Se muuttaa päätöksiä.

Samoin kieli ja maa voivat muuttaa agentin suosituksia. Multilingual national bias -tutkimuksessa agenttimaisesti neuvoja antavat mallit käyttäytyivät eri tavoin riippuen kielestä ja kansallisesta kontekstista. Suomalaiselle yritykselle tämä on olennainen huomio. Agentti, joka toimii englanniksi hyvin, ei välttämättä tee samaa päätöstä suomeksi, ruotsiksi tai saksaksi.

Nyt tullaan käytännön kohtaan. Jos agentti pääsee vaikuttamaan asiakkuuksiin, työntekijöihin, rahaan, pääsyyn, priorisointiin tai maineeseen, mallin sisäinen suunta on liiketoimintariski.

Moni ratkaisee tämän kirjoittamalla järjestelmäpromptiin jotain tällaista:

Parempi kuin ei mitään. Mutta aika ohut.

Hyvä periaate muuttaa päätöstä. Huono periaate kuulostaa hyvältä.

Tässä on ero:

Tässä kohtaa values.md ja objectives.md ovat hyödyllisiä. Ne eivät ole vain agentin persoonallisuutta. Ne ovat päätöksenteon käyttöjärjestelmä.

Mutta ne eivät riitä yksin.

Jos agentti voi vain kirjoittaa luonnoksen, arvotiedosto voi olla hyvä ohjauskerros. Jos agentti voi käyttää työkaluja tai vaikuttaa korkean vaikutuksen päätökseen, tarvitaan vahvempi rakenne.

Tämä on jatkoa aiemmalle Principles.md-artikkelille, jossa käsittelin agentin periaatteita identiteetin näkökulmasta. Tässä painopiste on riskissä: mitä tapahtuu, kun periaatteet alkavat ohjata päätöksiä.

Yritysagentin arvoja ei kannata jättää yhteen promptiin. Parempi malli on nelikerroksinen.

Agentin pitää tietää roolinsa. On eri asia olla myyntiassistentti, riskianalyytikko, asiakaspalvelun triage-agentti tai johdon sparraaja.

Hyvä identiteetti ei ole "olet avulias AI-assistentti". Se kertoo, mihin agentti on vastuussa.

Esimerkiksi:

Tämä muuttaa sävyä heti. Agentti ei enää optimoi vain "enemmän myyntiä". Se optimoi myyntiä rajojen sisällä.

values.md kannattaa kirjoittaa niin, että se ratkaisee jännitteitä. Ei juhlapuhetta.

Huono arvo:

Parempi:

Tällainen arvo ohjaa toimintaa. Se kertoo, milloin agentti saa jatkaa ja milloin sen pitää pysähtyä.

Arvot pysyvät, tavoitteet vaihtuvat.

objectives.md voi kertoa agentille viikon tai prosessin tavoitteen:

Tässä on iso ero. Ilman tavoitetta agentti voi tulkita "onnistumisen" liian kapeasti. Se voi optimoida vastausprosenttia, kokousmääriä tai nopeutta, vaikka yritys haluaa laatua, luottamusta ja hyvää asiakasfitttiä.

Korkean vaikutuksen päätöksissä erillinen validointivaihe on usein parempi kuin yksi pidempi prompti.

Tämä voi olla toinen agentti, evaluaatioskripti tai työnkulun erillinen vaihe:

Tätä kannattaa ajatella porttina. Agentti voi ehdottaa, mutta validaattori päättää, pääseekö ehdotus eteenpäin.

Osittain kyllä, jos puhutaan harmittomasta tekstibotista. Jokainen ideointiapuri, tiivistäjä tai sisäinen kirjoitusassistentti ei tarvitse erillistä auditointikerrosta.

Riskitaso muuttuu, kun agentti vaikuttaa asiakkaisiin, työntekijöihin, rahaan, pääsyyn, priorisointiin tai maineeseen. Silloin kontrolli ei ole byrokratiaa. Se on samaa perushygieniaa kuin käyttöoikeudet, lokitus ja tietoturva.

Myyntiagentin kohdalla tämä tarkoittaa käytännössä yhtä rajaa: agentti saa järjestää ja perustella liidit, mutta sen pitää pysähtyä, jos päätös perustuu epäselvään oletukseen asiakkaan koosta, kielestä, maasta, nimestä tai segmentistä. Ihmisen ei tarvitse hyväksyä jokaista pientä asiaa. Ihmisen pitää nähdä ne kohdat, joissa väärä optimointi voi muuttua vääräksi kohteluksi.

Tämä on hyvä mittari agenttien hallintaan. Mitä vähemmän päätös vaikuttaa ihmisiin tai rahaan, sitä kevyempi kontrolli riittää. Mitä enemmän vaikutusta, sitä selkeämmät arvot ja vahvempi portti tarvitaan.

Moni testaa agenttia kysymällä: "Vastaatko syrjimättömästi?"

Se on liian helppo testi. Malli tietää, mitä siltä odotetaan.

Parempi testi on päätössarja. Anna agentille sama tilanne useilla pienillä muutoksilla ja katso, muuttuuko suositus ilman asiallista syytä.

Esimerkiksi myyntiagentille:

Jos suositus muuttuu, agentin pitää perustella miksi. Jos perustelu ei liity päätöksen kannalta olennaiseen eroon, prosessissa on ongelma.

Tämä on myös hyvä tapa löytää "hiljaiset" vinoumat. Agentti ei sano mitään ongelmallista. Se vain valitsee hieman eri tavalla.

Juuri siksi lokitus on tärkeää. Tallenna agentin syöte, päätös, perustelu, käytetyt lähteet, työkalukutsut ja mahdollinen ihmisen hyväksyntä. Muuten et voi myöhemmin tietää, miksi päätös syntyi.

NISTin generatiivisen tekoälyn profiili painottaa samaa suuntaa: biasia ja fairnessia pitää arvioida käyttötilanteessa, dokumentoida ja testata myös vastakkaisilla sekä matalan kontekstin esimerkeillä. OWASP taas nostaa LLM-sovellusten riskeihin liiallisen autonomian ja yliluottamuksen. Molemmat osuvat agentteihin suoraan.

Jos rakennat yritykseen agenttia, aloita näin:

Tämä ei tee agentista täydellistä. Se tekee sen käyttäytymisestä näkyvämpää.

Ja se on jo paljon.

Useimmat agenttiriskit eivät synny siitä, että malli päättää olla paha. Ne syntyvät siitä, että malli optimoi väärää tavoitetta liian kuuliaisesti. Se yrittää auttaa. Se täyttää mittarin. Se tekee pyydetyn asian. Vasta myöhemmin huomataan, että päätös ei ollut linjassa yrityksen arvojen kanssa.

Siksi agentin arvoja ei kannata kirjoittaa vasta jälkikäteen kriisin jälkeen. Ne ovat osa tuotantoarkkitehtuuria.

Agentilla on aina arvot. Jos et kirjoita niitä itse, ne tulevat mallista, koulutusdatasta, RLHF:stä, järjestelmäohjeista, käyttöliittymästä ja hetkellisestä promptista.

Se voi riittää harmittomaan tekstityöhön. Päätöksentekoon se on liian vähän.

Yrityksen pitää kohdella agentin arvoja samalla vakavuudella kuin käyttöoikeuksia, tietoturvaa ja mittareita. Kirjoita arvot. Käännä ne päätöskysymyksiksi. Testaa päätöksiä, älä vain vastauksia. Lisää validointivaihe ennen kuin agentti pääsee vaikuttamaan asiakkaisiin, työntekijöihin, rahaan tai maineeseen.

Paras agentti tietää, mitä sen ei pidä tehdä.

Tekoäly voi olla voimakas työkalu, ja näiden aloittelijaystävällisten vaihtoehtojen avulla voit hyödyntää sitä omissa projekteissasi – olipa kyseessä sisällöntuotanto, ohjelmointi, markkinointi tai oppiminen.

Jos kaipaat koulutusta tekoäly-työkalujen käyttöön, nappaa tästä sitoumukseton etäkahvitteluaika ja jutellaan tarpeistasi 👇