Avoimen lähdekoodin kielimallit (LLM, Large Language Model) ovat tekoälymalleja, joiden painot ja lähdekoodi ovat julkisesti saatavilla. Toisin kuin pilvipalveluihin lukitut mallit (kuten esimerkiksi ChatGPT), avoimet LLM-mallit voidaan ajaa omalla tietokoneella täysin offline-tilassa.

Tämä tarkoittaa, että voit hyödyntää kehittynyttä tekoälyä ilman internetyhteyttä – kaikki data pysyy omalla koneellasi, mikä on tärkeää yksityisyyden kannalta. Samalla säästyt myös API-kutsuista koituvilta jatkuvilta kuluilta, koska mitään ei lähetetä ulkoiselle palvelimelle.

Käytännössä avoimia kielimalleja voi käyttää hyvin samankaltaisiin tehtäviin kuin tunnettuja verkkopohjaisia malleja: esimerkiksi kysymysten vastailuun, tekstin tuottamiseen, käännöksiin, tiivistämiseen ja muihin luovan kirjoittamisen tai analyysin tarpeisiin.

Erityisesti ne soveltuvat myös ohjelmointitehtäviin: voit pyytää mallia selittämään koodia, etsimään virheitä tai jopa generoimaan kokonaisia koodipätkiä automaattisesti. Käytämme tähän käyttötarkoitukseen paikallisia malleja mm. Bottiverstaan töissä.

Tällä hetkellä tunnetuimpia avoimia kielimalleja ovat mm. Meta AI:n LLaMA-sarja, Mistral AI:n Mistral-mallit, Google DeepMindin Gemma, DeepSeek-projektin R1-malli sekä Alibaba Cloudin Qwen.

Nämä mallit kilpailevat laadultaan kaupallisten mallien kanssa: esimerkiksi DeepSeek-R1 on osoittautunut suoriutumiseltaan OpenAI:n mallien veroiseksi monissa tehtävissä (kuten matemaattisessa päättelyssä ja koodissa). Samoin Gemma-mallit edustavat uusinta huippua ja ovat täysin avoimia – Googlen tavoitteena on ollut tarjota Gemman kautta Gemini-huippumalliin pohjautuva avoversio laajalle yleisölle. Yhteistä näille malleille on, että ne ovat vapaasti saatavilla ja hyödynnettävissä oman laitteen tehoilla ilman pilvipalvelua. Seuraavaksi käymme läpi, mitä paikallinen ajaminen vaatii ja miten voit itse kokeilla näitä malleja Windows- tai Mac-tietokoneella. Lähdetäänpä tutustumaan niihin tarkemmin

Haluaisitko oppia lisää tekoälystä tai käyttää avoimen lähdekoodin mallia yrityksessäsi?

Varaa sitoumukseton etäkahvittelu aiheesta. Et menetä kuin 30 min. aikaasi, mutta saat sylin täydeltä ideoita tekoälyn käyttöön 👇

Paikallisen ajon vaatimukset

Laitteistovaatimukset

Tietokone: Lähtökohtaisesti tarvitset nykyaikaisen PC- tai Mac-tietokoneen. Varsinaista superkonetta ei tarvita, mutta tehokas näytönohjain (GPU) on erittäin suositeltava sujuvan käyttökokemuksen kannalta. Ilman erillistä näytönohjainta mallien pyörittäminen nojaa pelkkään suorittimeen (CPU), mikä tekee vastausten generoinnista huomattavan hidasta käytännön sovelluksia varten.

Mitä suurempi malli (parametrien määrällä mitattuna), sitä enemmän VRAM-muistia tarvitaan pyörittämiseen tehokkaasti. Enemmän VRAM:ia tarkoittaa, että voit käyttää isompia malleja ja saada vastauksia nopeammin, sillä mallin pitäminen näytönohjaimen muistissa on moninkertaisesti nopeampaa kuin jatkuva datan siirtely keskusmuistin puolelta.

Tyypillisesti pienimpiä (alle 7 miljardin parametrin) malleja voidaan ajaa muutaman gigan VRAM-muistilla, kun taas isommat, esimerkiksi 13B–30B parametrin mallit, hyötyvät 12–16 Gt tai sitä suuremmasta VRAM-määrästä.

Muisti ja tallennustila: Itse mallien tiedostokoot ovat yleensä useita gigatavuja, joten varaa myös riittävästi keskusmuistia (RAM) ja levytilaa.

Suosituksena on vähintään 16 Gt RAM-muistia, jotta käyttöjärjestelmä ja malli mahtuvat ongelmitta muistiin samaan aikaan. Levytilaa on hyvä olla kymmeniä gigatavuja vapaana; yhden mallin painot voivat viedä helposti 4–20 Gt mallin koosta ja tarkkuudesta riippuen.

Aloittelijan on kuitenkin helpointa valita suoraan sellainen malli, joka on kooltaan sopiva omalle laitteistolle ilman lisäoptimointeja – esimerkiksi monet 7B- ja 13B-mallit toimivat 16 Gt RAM + 8–12 Gt VRAM -kokoonpanossa sujuvasti, kun taas 30B+ mallit edellyttävät yleensä 24–32 Gt RAM-muistia ja erittäin järeää näytönohjainta.

Ohjelmistovaatimukset

Pelkän raudan lisäksi tarvitset sopivat ohjelmistot mallin ajamiseen. Yksinkertaistettuna paikallisen LLM:n käyttöön tarvitaan kaksi asiaa: mallin painotiedosto ja ohjelma, joka osaa ladata mallin ja käydä sillä keskustelua.

Moni avoin malli on julkaistu suoraan yhteensopivaksi esimerkiksi Hugging Face Transformers -kirjaston tai kevyiden LLM runtime -kirjastojen (kuten llama.cpp) kanssa – tämä tarkoittaa, että kehittäjät voivat suoraan koodista käsin avata mallin ja syöttää sille kysymyksiä.

Tavalliselle käyttäjälle on kuitenkin olemassa valmiita työkaluja, jotka hoitavat tämän kaiken taustalla ja tarjoavat helppokäyttöisen käyttöliittymän. Tsekkaa esim. Ollama. Käytämme sitä Bottiverstaassa:

Alla on koottu erilaisia lähestymistapoja ohjelmistopuoleen:

• Palvelinohjelmisto (LLM-server): 

  • Taustaohjelma, joka käynnistää valitun mallin palveluna omalla koneellasi ja vastaanottaa sille lähetetyt kysymykset. Tällainen on esimerkiksi Ollama, joka on komentorivityökalu paikallisten LLM-mallien hallintaan.

  • Palvelinohjelmisto huolehtii mallin lataamisesta muistiin ja vastausten generoinnista, mutta ei välttämättä tarjoa graafista käyttöliittymää.

  • Ollama on kevyt ja yksinkertainen käyttää tekstipohjaisin komennoin, ja sillä voi nopeasti kokeilla eri malleja lataamalla ne yhden komennon avulla. Se myös tukee laajaa valikoimaa avoimia malleja (LLaMA, Code Llama, Mistral, jne.) ja toimii kaikilla yleisillä käyttöjärjestelmillä.

  • Mikäli pelkkä komentorivi arveluttaa, Ollamaa voi halutessaan käyttää yhdessä erillisen käyttöliittymän kanssa – esimerkiksi OpenWebUI-projekti tarjoaa graafisen chat-näkymän Ollaman taustalla pyöriville malleille.

• Graafinen käyttöliittymä: 

  • Toinen lähestymistapa on käyttää erillistä käyttöliittymää, joka kommunikoi taustalla mallin kanssa ja näyttää vastaukset siistissä muodossa. Tällainen voi olla esim. selainpohjainen UI. OpenWebUI on esimerkki avoimen lähdekoodin projektista, joka tarjoaa verkkoselaimessa toimivan chat-käyttöliittymän eri malleille.

  • Vastaavasti Text Generation WebUI (tunnetaan myös nimellä Oobabooga WebUI) on yksi suosituimmista yhteisön työkaluista paikallisten LLM-mallien ajamiseen. Se on Gradio-teknologiaan pohjautuva web-sovellus, joka tukee useita taustamallikirjastoja (Transformers, llama.cpp, GPTQ ym.) ja antaa käyttäjälle paljon säätömahdollisuuksia.

  • Text Gen WebUI vaatii hieman teknistä vaivaa asennuksessa (Python-ympäristön ja tarvittavien kirjastojen asennus), joten se sopii parhaiten käyttäjille, jotka haluavat syvemmin säätää mallien asetuksia ja kokeilla erilaisia lisäosia.

  • Peruskäyttäjälle on usein helpompaa valita ”täyden paketin” ratkaisu, kuten alla esitetyt sovellukset, jotka sisältävät sekä palvelimen että käyttöliittymän valmiiksi.

• All-in-one -sovellus: 

  • Helpoin tapa aloittaa on käyttää ohjelmaa, joka hoitaa kaiken tarvittavan mallin pyörittämiseksi ja tarjoaa valmiin chat-näkymän.

  • GPT4All on hyvä esimerkki tällaisesta kokonaisratkaisusta. Se on Nomic AI -yhtiön kehittämä sovellus, joka on suunniteltu erityisen käyttäjäystävälliseksi chat-työkaluksi paikallisille malleille.

  • GPT4All:ssa on yksinkertainen käyttöliittymä: kirjoitat kysymyksen ikkunaan ja saat vastauksen, aivan kuin käyttäisit verkon chatbottia. Mallien hallinta on integroitu – voit ladata uusia malleja suoraan sovelluksesta ja vaihtaa niiden välillä helposti.

  • GPT4All sisältää myös hyödyllisiä lisäominaisuuksia, kuten “LocalDocs”, jonka avulla voit ladata omia dokumenttejasi (PDF, TXT ym.) ja keskustella mallin kanssa niistä täysin paikallisesti. Vastaavia kaikki-yhdessä -sovelluksia ovat myös esimerkiksi LM Studio ja NextChat, joista lisää seuraavaksi.

¨Seuraavissa osioissa käymme läpi muutamia suositeltuja työkaluja ja käytännön asennusohjeita Windows- ja Mac-ympäristöihin. Kaikki mainitut ohjelmistot ovat ilmaisia ja useimmat niistä avoimen lähdekoodin projekteja, joten voit huoletta kokeilla niitä.

Suositellut työkalut paikalliseen käyttöön

LM Studio

LM Studio on monialustainen (Windows, macOS, Linux) työpöytäsovellus, joka on suunniteltu tekemään paikallisten kielimallien ajamisesta mahdollisimman helppoa. Sovellus tarjoaa valmiin graafisen käyttöliittymän chattailuun sekä kattavat työkalut mallien hallintaan.

LM Studiossa voit ladata ja käynnistää esimerkiksi LLaMA- tai DeepSeek-malleja suoraan ohjelman sisällä ilman erillistä säätöä – ”No expertise required” kuten tekijät lupaavat. Ohjelman kautta on saatavilla laaja mallikatalogi: voit selata tunnetuimpia avoimia malleja (Llama, Mistral, Gemma, Qwen, jne.) ja ladata haluamasi mallin yhdellä klikkauksella suoraan sovellukseen. LM Studio huolehtii tarvittavien tiedostojen noutamisesta ja käynnistää mallin taustalle, minkä jälkeen voit heti aloittaa keskustelun.

Käyttökokemus on tehty aloittelijalle ystävälliseksi – chat-ikkunaan kirjoitetaan kysymys normaalisti ja malli vastaa siihen tekstinä. Voit säätää mallin asetuksia (esim. luovuuden astetta, lämpötilaa) tarvittaessa, mutta perusasetuksilla pääsee nopeasti alkuun. Windows-käyttäjät voivat ladata LM Studio -asentimen suoraan projektin kotisivulta, ja Mac-käyttäjille on saatavilla oma .dmg-asennuspaketti. Asennuksen jälkeen ohjelma toimii samalla tavalla molemmilla alustoilla.

LM Studio sopii paitsi aloittelijoille myös edistyneemmille käyttäjille: se tarjoaa työkaluja mallien hienosäätöön (fine-tuning) ja eri malliversioiden suorituskyvyn vertailuun. Voit esimerkiksi kokeilla mallin jatkokoulutusta omalla aineistollasi suoraan LM Studiossa, mikä on ainutlaatuinen ominaisuus tämän kategorian sovelluksissa.

Huomaa kuitenkin, että tällaiseen raskaampaan mallin muokkaamiseen tarvitaan tehokas laitteisto ja kokemusta koneoppimisen työkaluista – peruskäyttäjän ei tarvitse tähän kajoa. LM Studio ei myöskään kerää mitään käyttäjädataa tai lähetä kysymyksiä ulkopuolelle, joten yksityisyys on saman tien kunnossa. Kaiken kaikkiaan LM Studio on erinomainen ensiaskel kokeilla paikallisia LLM-malleja, sillä se yhdistää tehokkuuden ja helppokäyttöisyyden yhdessä paketissa.

Ollama

Yllä mainittu Ollama on kevyt mutta tehokas työkalu paikallisten LLM-mallien ajamiseen, ja se on erityisesti kehittäjäyhteisön suosiossa. Ollama toimii pääasiassa komentoriviltä: käyttäjä kirjoittaa komentoja, joilla malleja ladataan ja ajetaan (esim. ollama pull llama2 ladatakseen mallin ja ollama run llama2 suorittaakseen sen).

Vaikka tämä saattaa kuulostaa tekniseltä, Ollaman käyttö on tehty hyvin yksinkertaiseksi – perustoiminnot oppii nopeasti, eikä erillistä ohjelmointia tarvita. Erityisen kätevää on, että voit ladata malleja suoraan nimellä: Ollama huolehtii mallien noutamisesta (yleensä Hugging Facesta tai muusta virallisesta lähteestä) taustalla, kun annat pull-komennon.

Ollama on saatavilla macOS:lle (helppo asennus Homebrew’n kautta) ja nykyään myös Windowsille (oma asennusohjelma saatavilla). Linux-käyttäjät voivat niin ikään ajaa Ollamaa esimerkiksi Dockerin avulla.

Työkalu tukee useimpia suosittuja avoimia malleja suoraan, eli voit pyörittää LLaMA-/Llama 2 -malleja, Mistralia, Gemmaa, Qweniä, koodimalleja ym. samalla käyttölogiikalla. Tämä tekee mallien kokeilusta helppoa – voit vaikkapa nopeasti vertailla eri mallien vastauksia samaan kysymykseen. Ollama onkin monen itse isännöidyn AI-järjestelmän kulmakivi, koska sitä voi käyttää taustapalvelimena muille sovelluksille (esim. voit integroida Ollaman osaksi omaa sovellustasi tarjoamaan AI-vastauksia).

Koska Ollama ei oletuksena tarjoa graafista käyttöliittymää, sen kylkeen voidaan liittää UI. Yksi ratkaisu on aiemmin mainittu OpenWebUI, joka toimii yhdessä Ollaman kanssa, mutta myös LlamaChat-nimisiä kevyitä Mac-sovelluksia tai web-käyttöliittymiä on saatavilla avoimena lähdekoodina.

Yhteenvetona: Jos et pelkää komentorivin käyttöä, Ollama on erittäin nopea tapa testata erilaisia malleja paikallisesti. Sen etuja ovat keveys ja joustavuus – haittapuolena on, että täysin graafista käyttöliittymää haluavan täytyy nähdä hieman lisävaivaa. Aloittelijalle, joka on valmis oppimaan muutaman komennon, Ollama tarjoaa kuitenkin paljon tehoa yksinkertaisessa paketissa.

Text Generation WebUI (Oobabooga)

Text Generation WebUI on suosittu yhteisön luoma ratkaisu niille, jotka haluavat mahdollisimman paljon kontrollia paikallisten mallien käytössä.

Kyseessä ei ole erillinen asennusohjelma, vaan avoimen lähdekoodin projekti GitHubissa (kehittäjänimimerkki oobabooga), jonka voi asentaa omalle koneelle Python-ympäristössä. Tämän tuloksena saat pyörimään paikallisen palvelimen, jota hallitaan web-selaimen kautta tarjoten chat-käyttöliittymän.

TextGen WebUI:n vahvuus on sen monipuolisuus: se tukee useita erilaisia mallimuotoja ja taustakirjastoja, joten melkein minkä tahansa Hugging Facessa julkaistun mallin saa toimimaan sen kautta. Voit valita esimerkiksi ajaako malli suoraan GPU:lla vai CPU:lla, käytetäänkö transformers-kirjastoa vai kevyempiä C++-taustamoottoreita, ladataanko malli 16-bittisenä vaiko kvantisoituna jne.

Käyttöliittymän kautta on helppo säätää mallien parametreja, vaihtaa mallia lennosta ja jopa lisätä laajennuksia (extensions), jotka tuovat lisätoimintoja mallin päälle (kuten internet-haku, tietokantakyselyt, tms.).

Mikäli kuitenkin haluat syvemmin perehtyä mallien sielunelämään ja mahdollisesti ajaa useita malleja rinnakkain tai integroida niitä omaan projektiisi, Text Generation WebUI on loistava valinta. Se on yksi yhteisön suosituimmista työkaluista tähän tarkoitukseen ja sen aktiviinen kehittäjäkunta julkaisee siihen päivityksiä ja parannuksia jatkuvasti.

Jos olet vasta-alkaja etkä halua vielä säätää liikaa, voit aluksi kokeilla jotain yllä mainituista valmiista sovelluksista ja palata TextGen WebUI:hin myöhemmin, kun kaipaat lisää kustomointia.

GPT4All

GPT4All on erityisesti aloitteleville käyttäjille suunnattu sovellus, joka tekee paikallisen kielimallin käytöstä yhtä vaivatonta kuin tavallisesta chatbotista. Se tarjoaa yksinkertaisen chat-tyylisen käyttöliittymän: kirjoitat kysymyksen tekstikenttään ja painat enter, jonka jälkeen malli vastaa viestinä alle.

GPT4All:n on kehittänyt Nomic AI ja se on avoimen lähdekoodin projekti, josta on saatavilla versiot Windowsille, macOS:lle ja Linuxille. Asennus on yhtä helppoa kuin minkä tahansa ohjelman – lataa asennuspaketti ja suorita se.

Sovelluksen sisällä on valmiina kirjasto tuettuja malleja: ensimmäisellä käynnistyksellä voit valita listalta haluamasi mallin (esim. ”GPT4All-J Falcon 7B” tai muita suosittuja avoimia malleja), jolloin ohjelma lataa tarvittavat tiedostot automaattisesti. Tämän jälkeen voit alkaa jutella mallin kanssa.

GPT4All:ssä on pari kiinnostavaa ominaisuutta:

Ensinnäkin LocalDocs-tila mahdollistaa omien tiedostojen analysoinnin: voit pudottaa esimerkiksi PDF-dokumentin ohjelmaan, jolloin sovellus indeksoi sen sisällön ja voit esittää mallille kysymyksiä juuri tuosta dokumentista käsin. Kaikki tämä tapahtuu paikallisesti, joten vaikkapa luottamuksellisten työpaperien analysointi onnistuu turvallisesti.

Toiseksi GPT4All tukee useita erilaisia malleja, ja projektin yhteisö julkaisee sille jatkuvasti uusia mallipaketteja – näin voit ajan myötä vaihtaa tarkempaan tai nopeampaan malliin helposti sovelluksen kautta.

GPT4All on avoin ja yhteisölähtöinen hanke, joten siihen on saatavilla hyvin dokumentaatiota ja tukea esimerkiksi keskustelufoorumeilla. Mikäli haluat mahdollisimman suoraviivaisen aloituksen paikallisen AI-avustajan kanssa, GPT4All on erinomainen valinta.

Haluaisitko oppia lisää tekoälystä tai käyttää avoimen lähdekoodin mallia yrityksessäsi?

Varaa sitoumukseton etäkahvittelu aiheesta. Et menetä kuin 30 min. aikaasi, mutta saat sylin täydeltä ideoita tekoälyn käyttöön 👇

Mallien valinta eri käyttötarkoituksiin

Avoimia kielimalleja on moneen lähtöön. Sopivan mallin valintaan vaikuttavat käyttötarkoitus ja käytettävissä olevat resurssit. Yleisesti ottaen mallit voidaan jakaa yleiskäyttöisiin malleihin ja erikoistuneisiin malleihin. Alla on esimerkkejä, kuinka erilaiset mallit sopivat eri tarkoituksiin:

• Yleiskäyttö ja tekstin luonti: Jos tavoitteenasi on saada monipuolinen chat-assistentti kirjoittamaan luontevaa kieltä, vastaamaan kysymyksiin laajasti eri aiheista tai tuottamaan vaikkapa markkinointitekstiä, kannattaa valita jokin yleismalli.

  • Tällaisia ovat esimerkiksi Meta AI:n LLaMA-sarjan mallit. LLaMA 2 (ja kehitteillä oleva LLaMA 3) ovat saavuttaneet mainetta vahvoilla päättely- ja tekstinluomiskyvyillään, ja niitä on saatavilla eri kokoisina eri laitteistoille sopien.

  • Mistral 7B on toinen hyvä yleismalli: ranskalaisen Mistral AI:n 7 miljardin parametrin malli on kevyt ajaa, mutta silti yllättävän tehokas jopa loogisessa päättelyssä ja ohjelmointikielien käsittelyssä kokoonsa nähden.

  • Myös Qwen-malliperhe (Alibaba Cloud) ansaitsee maininnan – Qwenissa on erikseen versioita, jotka on optimoitu koodin tuottamiseen ja monikielisiin tehtäviin, ja nämä mallit tarjoavat kokoluokassaan erittäin kovaa suorituskykyä (esimerkiksi Qwen 2.5 ja uusin Qwen 3 päihittävät monet saman kokoluokan kilpailijat useissa testeissä).

  • Googlen Gemma-mallit puolestaan edustavat uusinta avoimen mallin teknologiaa: ne on suunniteltu alusta asti tehokkaiksi ja pyörimään yhden GPU:n kapasiteetilla paikallisessa käytössä. Gemma-sarjasta löytyy eri kokoja aina ~1–2 miljardista parametrista (erinomainen CPU-käyttöön) noin 12B–27B:n malleihin, jotka vaativat tehokkaamman näytönohjaimen. Gemmat ovat kevyitä mutta suorituskykyisiä malleja, ja ne pärjäävät hyvin yleisluontoisissa tehtävissä huomioiden niiden pienemmän koon.

  • Tiivistäen: valitse yleismalli, kun haluat monipuolisen tekoälyn kirjoittamaan ja vastailemaan kaikenlaiseen sisältöön. Aloita esimerkiksi LLaMA-/Llama 2 -mallilla tai Mistral 7B:llä ja kokeile tarvittaessa muita, sillä eri mallit voivat painottua eri vahvuuksiin – kokeilu on paras tapa löytää omaan makuun sopiva.

• Koodiavustaja ja tekniset tehtävät: Mikäli ensisijainen käyttötarkoitus on ohjelmoinnin avustaminen – esimerkiksi koodin generointi, virheiden etsiminen tai funktioiden selittäminen – on suositeltavaa valita malli, joka on erikseen hienosäädetty koodia varten.

  • Vaikka moni yleismalli (kuten LLaMA 2) osaa jonkin verran koodata, ne eivät yllä erityisosaamisessa varsinaisten koodimallien tasolle.

  • Hyviä vaihtoehtoja ovat esimerkiksi Code Llama (Meta AI:n julkaisema Llama 2:n koodiversio) sekä StarCoder (BigCode-projektin 15B-parametrinen avomalli). Nämä mallit on koulutettu laajoilla ohjelmistodatoilla, joten ne osaavat tuottaa syntaksiltaan oikeaa koodia useilla kielillä ja täydentää kehittäjän kirjoittamaa koodia fiksusti.

  • Myös täysin avoimia, alusta asti koodaamiseen erikoistuneita malleja löytyy: esimerkiksi DeepCoder on avoimen lähdekoodin malliperhe (1,5 ja 14 miljardin parametrin versiot), jonka tavoitteena on tarjota huippuluokan koodigenerointikykyä avoimessa paketissa. (DeepCoderin taustalla on Microsoftin ja yhteisön tutkimusprojekti – ei pidä sekoittaa suljettuun Copilot-järjestelmään.)

  • Käytännössä koodiavustajamallit pystyvät tuottamaan esimerkiksi funktioiden runkoja pelkän komentorivin kuvauksen perusteella, jatkamaan kesken jäänyttä koodia, ehdottamaan korjauksia ja selittämään mitä tietty koodinpätkä tekee.

  • Valitse koodimalli, kun työskentelet ohjelmistojen parissa – huomaat eron tarkkuudessa ja teknisessä osaamisessa verrattuna yleismalleihin. Monet koodimallit ymmärtävät myös luonnollisella kielellä annettuja ohjelmointiin liittyviä pyyntöjä (esim. "Kirjoita Python-funktio, joka lukee tekst tiedoston ja laskee sanakohtaisen esiintymistiheyden"), joten voit keskustella niiden kanssa samalla tavoin kuin chatbottien, mutta saat vastaukseksi suoraan koodia.

• Looginen päättely ja monivaiheinen ongelmanratkaisu: Jotkin erikoismallit on koulutettu syvempään päättelyyn ja matemaattisiin/loogisiin tehtäviin.

  • Esimerkiksi monimutkaiset ohjelmointipulmat tai tietopohjaiset kysymykset, jotka vaativat monta päättelyaskelta, voivat joskus mennä perusmallilta sekaisin.

  • Tähän on ratkaisuna malleja kuten DeepSeek-R1, joka on koulutettu palkitsevan opetuksen (RL) avulla ratkomaan ongelmia vaiheittain. DeepSeek-R1 on avoimesti julkaistu malli, jonka on raportoitu yltävän suoritustasoltaan jopa OpenAI:n suljettujen mallien (kuten GPT-4:n) tasolle monissa vaikeissa päättely- ja matematiikkatehtävissä sekä koodikysymyksissä.

  • Tällaiset mallit osaavat perustella ratkaisujaan ja suorittaa ketjuttunutta päättelyä (chain-of-thought), eli ne ikään kuin kirjoittavat auki ajatusprosessin ennen lopputuloksen antamista. Mikäli siis projektisi vaatii esimerkiksi matemaattisten ongelmien ratkontaa tai pitkien päättelyketjujen hallintaa, voi olla hyödyllistä kokeilla tällaista erikoismallia.

  • Myös Microsoftin Phi-mallisarja ja eräät Mistral- ja LLaMA-versiot on hienosäädetty vastaaviin tarkoituksiin. Usein kannattaa kokeilla ensin yleismallilla, ja jos huomaat sen kompastelevan juuri loogisessa johdonmukaisuudessa, testaa päättelyyn erikoistunutta mallia. Ero voi olla merkittävä erityisesti monimutkaisissa kysymyksissä.

Mallien lataaminen ja turvalliset lähteet

Kun olet valinnut mallin, seuraava askel on varsinaisen mallitiedoston hankkiminen. Suositeltavaa on ladata mallit vain virallisista lähteistä tai luotettavista mallikirjastoista. 

Yleensä avoimen mallin julkaisija (esim. yritys tai tutkimusryhmä) tarjoaa mallin ladattavaksi jossakin tunnetussa palvelussa. Yksi suosituimmista paikoista on Hugging Face – se on eräänlainen keskusvarasto avoimille koneoppimismalleille.

Hugging Face Hubista löytyy valtava määrä kielimalleja, joita voit ladata ilmaiseksi. Mallisivuilta näet myös niiden lisenssit (esim. saako mallia käyttää kaupallisesti) ja usein ohjeita käyttöön. Suuria avoimia malleja julkaisseet tahot – kuten Meta, Google, Mistral AI, DeepSeek, Alibaba – jakavat viralliset mallipainot yleensä Hugging Facen kautta.

Toisin sanoen, Hugging Face on yleensä se ensimmäinen paikka etsiä haluttua mallia. Haku-toiminnolla voit syöttää mallin nimen (kuten “Llama 2 13B” tai “Mistral 7B”) ja löydät todennäköisesti useita tuloksia – suosittelemme valitsemaan sen, joka on virallisen julkaisijan (publisher) ylläpitämä. Mallin lataus onnistuu suoraan selaimella tai käyttämällä Hugging Facen omaa huggingface-cli-työkalua/komentoa.

Myös monet yllä esitellyistä työkaluista (LM Studio, GPT4All, Ollama jne.) osaavat ladata malleja suoraan puolestasi, yleensä juurikin Hugging Facesta tai niiden omista mallivarastoista. Esimerkiksi GPT4All sisältää valmiin valikoiman malleja, jotka se noutaa Nomicin palvelimelta tai Hugging Facesta. LM Studio puolestaan integroituu Hugging Faceen ja LM Studio Hubiin.

On kuitenkin aina hyvä varmistaa, että malli on peräisin luotettavasta lähteestä – suosittuja malleja pakataan joskus myös epävirallisiksi versioiksi, mutta aloittelijalle neuvona on pysytellä virallisissa julkaisuissa. Hugging Facessa viralliset mallit tunnistaa usein Verified-merkinnästä julkaisijan nimessä tai laajasta mallikortin kuvauksesta.

Tutustu muutamiin suosittuihin malleihin:

• LLaMA 2: Saatavilla Meta AI:n Hugging Face -sivulla (→ haku “meta-llama/Llama-2”).

• Mistral 7B: Saatavilla Hugging Facessa (→ “mistralai/Mistral-7B-v0.1”).

• Gemma 2B/7B: Hugging Face -kokoelmana “Google DeepMind Gemma”.

• DeepSeek-R1: Hugging Face -organisaatiossa deepseek-ai (sisältää myös ohjeet mallin käyttöön lokaalisti).

• Qwen 7B/14B: Hugging Facessa Qwen nimellä (Alibaba Cloudin julkaisu).

• Code Llama: Meta AI:n HF-sivuilla (eri variantit 7B,13B,34B – myös pitkäkontekstiset versiot).

• StarCoder: Hugging Face -organisaatiossa bigcode (StarCoder ja StarCoderPlus).

• GPT4All-mallit: GPT4All:n kotisivun kautta tai Hugging Facessa nomic-ai/gpt4all -kokoelmassa.

Yhteenvetona, avoimen lähdekoodin kielimallien ajaminen onnistuu nykyään varsin vaivattomasti kotikoneella. Tarvitset kohtalaisen tehokkaan PC:n tai Macin, hieman kärsivällisyyttä asennusvaiheessa, ja sopivan työkalun mallin pyörittämiseen.

Vastineeksi saat käyttöösi oman AI-avustajan, joka toimii täysin omassa ympäristössäsi – ilman kuukausimaksuja ja ilman huolta tietojen vuotamisesta verkkoon.

Olipa tarkoituksesi sitten koodata nopeammin tekoälyn avulla, kirjoittaa raportteja, ideoida sisältöä tai vain kokeilla mielenkiinnosta, suosittelen lämpimästi tutustumaan yllä mainittuihin malleihin ja työkaluihin.

Avoimen lähdekoodin mallit kehittyvät huimaa vauhtia, ja uusia parempia versioita julkaistaan jatkuvasti – vuoden 2025 aikana on nähty esimerkiksi Gemma 3, Qwen 3 ja muita merkittäviä parannuksia. Nyt onkin erinomainen aika hypätä mukaan paikallisen tekoälyn maailmaan! Kokeile rohkeasti eri vaihtoehtoja ja löydä itsellesi sopivin kokoonpano. Voit aloittaa pienesti ja päivittää laitteistoa tai mallia tarpeen mukaan. Paikallinen kielimalli omalla koneella avaa ovia lukuisiin uusiin sovellusmahdollisuuksiin – täysin omilla ehdoillasi.

Haluatko sparrailla AI:sta etäkahvitellen?

Tekoäly voi olla voimakas työkalu, ja näiden aloittelijaystävällisten vaihtoehtojen avulla voit hyödyntää sitä omissa projekteissasi – olipa kyseessä sisällöntuotanto, ohjelmointi, markkinointi tai oppiminen.

Jos kaipaat koulutusta tekoäly-työkalujen käyttöön, nappaa tästä sitoumukseton etäkahvitteluaika ja jutellaan tarpeistasi 👇