Yritys haluaa käyttää tekoälyä kolmeen tehtävään. Ensimmäinen tiivistää julkisia tekstejä. Toinen luokittelee sisäisiä sopimusluonnoksia. Kolmas auttaa vaativan asiakasraportin tekemisessä.

Kannattaako kaikki antaa samalle suljetulle kärkimallille? Pitäisikö arkaluonteiset tehtävät siirtää paikalliselle avoimelle mallille? Entä riittäisikö halpa pieni malli lähes kaikkeen?

Kysymys kuulostaa yksinkertaiselta, mutta siinä sekoittuu monta eri valintaa. Pieni, avoin ja suljettu eivät ole saman asteikon vaihtoehtoja. Pieni malli voi olla suljettu pilvipalvelu. Avoimien painojen mallia voi ajaa ulkopuolisessa pilvessä. Paikalliselta näyttävä sovellus voi lähettää telemetriaa verkkoon.

Tämän oppaan nyrkkisääntö on:

Jos haluat tehdä päätöksen nopeasti, tarkista ensin neljä asiaa:

Jos vastaus johonkin kohtaan on ei, vaihtoehto hylätään. Mieltymyksiä ja lisäpisteitä kannattaa vertailla vasta tämän jälkeen.

Mallin nimen ympärille rakentuva keskustelu peittää helposti alleen sen, mitä ollaan oikeastaan hankkimassa. Selkeä vertailu alkaa neljästä eri ulottuvuudesta.

Kokoa kuvataan usein parametrien määrällä. Kaikissa arkkitehtuureissa pelkkä kokonaisparametrien määrä ei kuitenkaan kerro suoraan ajon kustannusta. Esimerkiksi asiantuntijaseosmallissa vain osa parametreista voi aktivoitua yhden vastauksen tuottamiseen.

Pienelle kielimallille ei ole yhtä virallista parametrirajaa. Käytännössä hyödyllisin määritelmä on toiminnallinen: malli on riittävän pieni, jos se mahtuu tavoitelaitteeseen ja täyttää tehtävän laatu-, nopeus- ja kapasiteettivaatimukset.

Pienempi malli voi olla hyvä valinta, kun tehtävä on rajattu, toistuva ja helposti testattava. Esimerkkejä ovat tekstin luokittelu, määrämuotoisen tiedon poiminta, luonnoksen muuttaminen sovittuun formaattiin ja yksinkertainen dokumenttihaku.

Ilmaukset open source ja open weights sekoitetaan usein. Open Source Initiativen Open Source AI Definition 1.0 edellyttää vapautta käyttää, tutkia, muokata ja jakaa järjestelmää. Muokkaamisen edellytyksiin kuuluvat painojen lisäksi riittävät tiedot harjoitusdatasta sekä koulutus- ja ajokoodi.

Pelkkä ladattava painotiedosto ei siis vielä tee mallista tämän määritelmän mukaista avointa tekoälyä. Siksi tässä oppaassa käytetään täsmällisempää termiä avoimien painojen malli, kun painot voi ladata mutta kaikkia aineistoja, koodeja tai oikeuksia ei ole avattu.

Lisenssi on aina tarkistettava mallin ja version tasolla. Saman yrityksen eri malleilla voi olla eri ehdot. Kaupallinen käyttö, muokkaaminen, edelleenjakelu ja palveluna tarjoaminen voivat saada eri kohtelun.

Mallia voidaan käyttää:

Ajopaikka ei seuraa automaattisesti lisenssistä. Avoimien painojen mallia voi käyttää pilvessä, ja suljettu yrityspalvelu voi tarjota esimerkiksi sopimukseen perustuvan käsittelyn, alueellisen datankäsittelyn tai lyhyen säilytysajan.

Paikallinen käyttö ei myöskään yksin takaa paikallista tietopolkua. Sovellus voi lähettää telemetriaa tai kaatumisraportteja, käyttää verkkohakua, tallentaa varmistuksia pilveen tai kutsua ulkoista upotusmallia.

Mallin painot voidaan tallentaa ja laskea eri numeerisilla tarkkuuksilla. Kvantisointi pienentää painojen muistitarvetta, tavallisesti esimerkiksi 16 bitistä 8 tai 4 bittiin. Tämä voi mahdollistaa mallin ajamisen tavallisemmalla laitteella ja joskus nopeuttaa käyttöä.

Kvantisointi ei ole ilmainen taikatemppu. Sen vaikutus laatuun riippuu mallista, menetelmästä ja tehtävästä. Siksi vertailussa pitää testata samaa kvantisoitua versiota, joka aiotaan ottaa käyttöön. Hugging Facen kvantisointiohje avaa tekniikkaa tarkemmin.

Hyvä mallivalinta alkaa rajatusta käyttötapauksesta. “Tarvitsemme tekoälyn asiakaspalveluun” on liian väljä tavoite. “Luokittelemme suomenkielisen tukipyynnön yhteen kahdeksasta jonosta ja perustelemme valinnan yhdellä virkkeellä” on testattava tehtävä.

Kirjaa ennen mallien vertaamista:

Seuraava kehote auttaa muodostamaan ensimmäisen vaatimusluonnoksen. Älä anna tekoälyn päättää tietosuojan tai lisenssin hyväksyttävyydestä. Niihin tarvitaan alkuperäisten ehtojen ja oman organisaation vaatimusten tarkistus.

Pisteytys voi peittää vakavan puutteen. Erinomainen laatu ei korvaa käyttöön sopimatonta lisenssiä. Halpa hinta ei korvaa sitä, ettei muisti riitä. Siksi ehdottomat portit tarkistetaan ensin.