Kaikki käyttävät tekoälyä. Harva kuitenkaan ymmärtää, mitä konepellin alla tapahtuu.

Se näkyy arjessa. ChatGPT:ltä kysytään faktoja kuin hakukoneelta. Claudeen liitetään 100-sivuinen PDF ja oletetaan, että malli muistaa kaiken täydellisesti. Cursorin annetaan muokata koodia ymmärtämättä, missä kohtaa agentti oikeasti tekee päätöksiä. Midjourneyltä odotetaan täsmällistä sommittelua, vaikka kuvamalli toimii aivan eri tavalla kuin ihminen.

Tässä oppaassa avataan 20 käsitettä, jotka tekevät nykyisestä tekoälystä ymmärrettävää: neuroverkot, tokenit, embeddingit, attention, transformerit, kielimallit, konteksti-ikkunat, temperature, hallusinaatiot, promptaus, transfer learning, fine-tuning, RLHF, LoRA, kvantisointi, RAG, vektorikannat, agentit, chain of thought ja diffuusiomallit.

Kun nämä ymmärtää, AI-uutiset eivät kuulosta enää taikuudelta. Eivätkä myyntipuheet mene yhtä helposti läpi.👇

Tekoälystä puhutaan usein kuin yhdestä asiasta. Todellisuudessa nykyinen AI on kerroksia kerrosten päällä.

Alimpana on matematiikka: neuroverkot, painot, vektorit ja todennäköisyydet. Sen päällä on arkkitehtuuri: transformer, attention ja muut tavat käsitellä dataa. Sen päällä on tuote: chat, hakubotti, koodausagentti tai kuvageneraattori.

Aloitetaan pohjalta.

Neuroverkko on laskentaputki.

Data menee sisään. Se kulkee kerrosten läpi. Lopulta ulos tulee ennuste, luokitus, sana, kuva, ääni tai jokin muu tulos.

Nimi johtaa vähän harhaan. Neuroverkko ei ole digitaaliset aivot pienoiskoossa. "Neuroni" on tässä analogia. Käytännössä neuroverkko on valtava määrä lukuja ja matriisilaskentaa.

Yksinkertainen putki näyttää tältä:

Jokaisen yhteyden välissä on paino. Paino on pieni luku, joka kertoo, kuinka paljon jokin piirre vaikuttaa seuraavaan vaiheeseen.

Koulutus tarkoittaa painojen säätämistä.

Jos malli ennustaa väärin, painoja korjataan vähän. Tätä toistetaan valtavalla määrällä esimerkkejä. Lopputuloksena syntyy malli, joka osaa tehdä hyödyllisiä ennusteita uusista syötteistä.

Tässä kohtaa moni kysyy: "Missä mallin tieto sitten on?"

Se on painoissa. Ei tietokantariveinä, ei muistiinpanoina, ei hakemistona, vaan opittuina lukuarvoina. Siksi kielimalli voi osata selittää Suomen historiaa ilman, että sen sisällä on erillistä tiedostoa nimeltä suomen-historia.txt.

Tämä selittää myös AI:n oudot virheet. Malli ei nouda vastausta varastosta. Se laskee todennäköisen vastauksen syötteen ja opittujen painojen perusteella.

Tärkeä varoitus: mallin koko ei yksin kerro laatua.

Parametrimääristä puhutaan paljon, mutta kaikkia lukuja ei ole julkaistu virallisesti. GPT-4:n tai Claude-mallien tarkkoja parametrimääriä ei kannata käsitellä varmoina faktoina, ellei mallin tekijä ole ne itse vahvistanut. Lisäksi data, arkkitehtuuri, koulutusmenetelmä ja jälkikoulutus vaikuttavat vähintään yhtä paljon.

Nyrkkisääntö: neuroverkko on opittu muunnos syötteestä ulostuloksi. Se ei ajattele kuten ihminen. Se laskee.

Kielimalli ei lue tekstiä sanoina.

Ensin teksti pilkotaan tokeneiksi. Tokeni voi olla sana, sanan osa, kirjainyhdistelmä tai joskus yksittäinen merkki.

Esimerkiksi englannissa:

Tarkka pilkkominen riippuu mallin tokenisaattorista. GPT, Claude, Gemini ja avoimet Llama-mallit voivat pilkkoa saman tekstin eri tavalla.

Miksi tällä on väliä?

Koska tokenit ovat AI:n käytännön mittayksikkö. Niillä mitataan:

Kun mallin konteksti on esimerkiksi 128 000 tokenia, se ei tarkoita 128 000 sanaa. Karkea englanninkielinen sääntö on, että yksi token on noin 0,75 sanaa tai 3–4 merkkiä. Suomen kielessä arvio voi heittää, koska meillä on taivutuksia, pitkiä yhdyssanoja ja erilainen sanarakenteen rytmi.

Sama koskee koodia, taulukoita ja dokumentteja. Lyhytkin tiedosto voi viedä paljon tokeneita, jos siinä on paljon erikoismerkkejä, JSON-rakennetta tai taulukkomuotoista dataa.

Nyrkkisääntö: tokeni on mallin tekstiyksikkö. Se ei ole sama asia kuin sana.

Kun teksti on pilkottu tokeneiksi, se pitää muuttaa numeroiksi.

Embedding on tällainen numeroesitys. Se on vektori eli pitkä numerosarja, joka kuvaa sanan, lauseen, dokumentin, kuvan tai muun sisällön merkitystä.

Hyvä vertaus on kartta.

Kartalla Helsinki ja Espoo ovat lähempänä toisiaan kuin Helsinki ja Tokio. Embedding-avaruudessa "lääkäri" ja "sairaanhoitaja" ovat lähempänä toisiaan kuin "lääkäri" ja "pizza". Kyse ei ole fyysisestä etäisyydestä, vaan merkityksen etäisyydestä.

Tämä on tärkeä idea: malli ei ymmärrä sanoja ihmisen tavoin. Se käsittelee etäisyyksiä ja suuntia moniulotteisessa avaruudessa.

Embeddingit mahdollistavat monta asiaa, joita käytät jo arjessa:

Semanttinen haku tarkoittaa, että haku löytää merkityksen, vaikka sanat eivät täsmää.

Kysyt sisäiseltä AI-botilta:

Dokumentissa ei välttämättä ole täsmälleen tuota lausetta. Siellä voi lukea "koeaikapurku", "palvelussuhteen päättäminen" tai "työsopimuksen purkaminen". Avainsanahaku voi epäonnistua. Embedding-haku löytää samankaltaisen merkityksen.

Tässä on myös riski. Merkityksen läheisyys ei ole sama asia kuin oikea vastaus. Jos dokumentit ovat huonosti nimetyt, vanhentuneet tai ristiriitaiset, embedding voi löytää lähimmän huonon vastauksen.

Embedding ei siis ratkaise tietotyötä yksin. Se tekee tiedosta haettavaa merkityksen perusteella.

Nyrkkisääntö: embedding on tekstin tai muun sisällön koordinaatti merkityskartalla.

Sana "Apple" tarkoittaa eri asioita eri lauseissa.

Suomeksi esimerkki on vähemmän hämäävä, koska omena ja Apple eroavat sanoina. Englanniksi sama sana voi tarkoittaa hedelmää tai yhtiötä. Sama ilmiö näkyy silti kaikkialla: "malli", "pankki", "verkko", "agentti" ja "solu" vaihtavat merkitystä kontekstin mukaan.

Embedding yksin ei riitä ratkaisemaan tätä. Sana tarvitsee ympäristön.

Attention on mekanismi, jolla malli katsoo muita tokeneita ja päättää, mitkä niistä ovat olennaisia juuri nyt.

Self-attentionissa jokainen token voi suhteuttaa itseään muihin tokeneihin. Jos lauseessa lukee "Apple julkaisi tuloksensa", malli painottaa sanoja "julkaisi" ja "tuloksensa". Jos lauseessa lukee "Apple maistui makealta", painotus muuttuu.

Attention ei ole ihmisen tietoista huomiota. Se on matemaattinen painotusjärjestelmä.

Silti se muutti kaiken.

Ennen transformer-aikaa monet mallit käsittelivät tekstiä vahvemmin järjestyksessä. Pitkät riippuvuudet olivat vaikeita. Attention auttoi mallia yhdistämään kaukana toisistaan olevia asioita ja kouluttamaan malleja tehokkaammin rinnakkain.

Käytännön merkitys näkyy promptauksessa. Jos annat mallille sekavan tehtävänannon, se voi painottaa vääriä kohtia. Jos annat selkeän tavoitteen, esimerkit ja rajoitteet, malli saa paremman kartan siitä, mihin sen pitää kiinnittää huomiota.

Huono prompti:

Parempi prompti:

Toisessa tapauksessa mallilla on paljon selkeämpi konteksti.

Nyrkkisääntö: attention auttaa mallia painottamaan oikeita osia kontekstista.

Transformer on arkkitehtuuri, jonka päälle moderni kieli-AI pitkälti rakentuu.

Se tuli tunnetuksi vuonna 2017 julkaistusta paperista "Attention Is All You Need". Paperin idea oli kova: sekvenssejä voidaan käsitellä attentionin avulla ilman perinteistä toistuvaa rakennetta, joka etenee askel kerrallaan.

Yksinkertaistettu transformer-putki:

GPT, Claude, Gemini, Llama ja Mistral ovat kaikki transformer-perheen malleja. Niiden yksityiskohdat eroavat, mutta perusajatus on sama: paljon kerroksia, paljon attentionia, paljon opittuja painoja.

Transformerin vahvuus on skaalautuvuus. Sitä voi kouluttaa valtavilla datamäärillä, ja se hyödyntää rinnakkaista laskentaa hyvin.

Tämä ei tarkoita, että kaikki AI olisi transformer-pohjaista. Kuvamalleissa, videossa, äänessä, robotiikassa ja uusissa hybridiarkkitehtuureissa käytetään muitakin menetelmiä. Silti kielimallien kannalta transformer on se iso perusidea.

Nyrkkisääntö: transformer on tehokas tapa käsitellä kontekstia attentionin avulla.

Nyt peruspalikat ovat kasassa. Seuraavaksi katsotaan, mitä tapahtuu, kun avaat ChatGPT:n, Clauden tai Geminin ja kirjoitat viestin.

Tässä kohtaa moni väärinkäsitys syntyy. Kielimalli näyttää keskustelukumppanilta, mutta taustalla se toimii todennäköisyyksien, kontekstin ja generoinnin varassa.

LLM tarkoittaa large language modelia eli suurta kielimallia.