128 gigatavun mini-PC voi ladata mallin, joka ei mahdu RTX 5090:n 32 gigatavun muistiin. RTX 5090 voi silti tuottaa vastauksen nopeammin silloin, kun malli mahtuu kokonaan näytönohjaimelle. Toteutuva ero riippuu mallista, kontekstista ja ajoympäristöstä.

Siksi paikalliselle kielimallille ei ole yhtä parasta tietokonetta. Valinta ratkeaa kolmella kysymyksellä:

Tämä opas keskittyy paikalliseen inferenssiin eli valmiin mallin käyttämiseen.

Pikalistan tärkein rivi on ensimmäinen. Testaa nykyinen kone ennen ostamista. Paikallinen tekoäly omalla koneella -opas auttaa Ollaman, LM Studion ja muiden tavallisten työkalujen alkuun.

Euromääräinen voittajalista vanhenisi nopeasti. Kokoonpano, arvonlisävero, saatavuus ja käytettyjen näytönohjainten kunto vaikuttavat hintaan enemmän kuin siisti dollarihinnan muunnos antaisi ymmärtää. Vertaa Suomessa toteutuvaa kokonaishintaa vasta, kun sopiva laiteluokka on selvillä.

Taulukon teholuvut eivät ole keskenään suoraan vertailukelpoisia. RTX 3090:n ja RTX PRO 6000:n wattiluvut kuvaavat näytönohjaimen teholuokkaa, DGX Sparkin 140 W puolestaan järjestelmäpiiriä. Koko koneen pistorasiakulutus pitää mitata samalla menetelmällä.

Tietokoneen valinta alkaa tarkasta mallitiedostosta. ”Haluan ajaa 70B-mallia” ei vielä kerro, mitä koneelta vaaditaan. Sama malliperhe voi olla tarjolla eri kvantisoinneilla, konteksteilla ja tiedostomuodoilla.

Kirjaa nämä kuusi asiaa ennen laitevertailua:

Jos ensimmäinen kohta on vielä auki, aloita kielimallin valintaoppaasta. Pienempi malli voi voittaa suuremman rajatussa tehtävässä, joten laatu kannattaa testata omalla aineistolla ennen laitebudjetin lukitsemista.

CUDAa vaativa työnkulku rajaa laitevalinnan käytännössä NVIDIA-näytönohjaimiin. Macissa MLX voi hyödyntää Applen yhtenäismuistia ja grafiikkasuoritinta. llama.cpp ja Ollama toimivat useilla alustoilla, mutta mallien, kvantisointien ja ominaisuuksien tuki vaihtelee.

AMD:n erilliset näytönohjaimet, Intel Arc -näytönohjaimet, Windows-kannettavat ja pelkkä CPU-ajo jäivät pääsuositusten ulkopuolelle, koska niistä ei löytynyt kattavaa avointa vertailua, joka olisi tehty samalla protokollalla. Ne voivat silti sopia hyvin. Ennen ostoa juuri valittu laite, ajuri ja ohjelmistoversio pitää testata yhdessä.

Paikallinen inferenssi ei yksin takaa verkkoyhteydetöntä käyttöä. Ollama kertoo, ettei se näe paikallisen ajon kehotteita tai dataa, mutta sen pilvimallit ja verkkohaku käyttävät pilvitoimintoja. Ne voi poistaa käytöstä asetuksella disable_ollama_cloud tai ympäristömuuttujalla OLLAMA_NO_CLOUD=1. Tarkista muiden sovellusten telemetria-, päivitys-, verkkohaku- ja pilviasetukset niiden omista ohjeista.

Helppo graafinen sovellus voi olla aloittelijalle tärkeämpi kuin viimeinen nopeusprosentti. LM Studio Bionic -opas näyttää paikallisen mallin käytännön työnkulun Macilla ja PC:llä.

Kvantisointi pienentää mallin painoja. llama.cpp:n dokumentaatiossa Q4_K_M käyttää keskimäärin noin 4,89 bittiä parametria kohti. Tästä saa karkean lähtöarvion, mutta pelkkä painotiedoston koko ei ole koneen kokonaismuistitarve.

Käytä ostolaskelman pohjana tätä rakennetta:

KV-välimuisti säilyttää aiempien tokenien avain- ja arvoesityksiä. Sen koko kasvaa kontekstin mukana. Ollama esimerkiksi kasvattaa muistitarvetta, kun kontekstia pidennetään. Tarkka kasvu riippuu mallin kerroksista, piilodimensiosta, KV-päiden määrästä, tietotyypistä ja samanaikaisten sekvenssien määrästä.

Tiheän 70B Q4 -mallin painot ovat jo noin 42,8 Gt. Yhden 48 Gt:n kortti voi riittää lyhyeen kokeeseen, jos muut muistierät pysyvät pieninä. Pidempi konteksti, suurempi eräkoko ja rinnakkaiset käyttäjät voivat nostaa tarpeen yli 48 gigatavun, joissakin töissä 96-128 gigatavuun tai tätäkin suuremmaksi.

Llama 3.1:n 70B-mallissa on 80 kerrosta, kahdeksan KV-päätä ja 128 ulottuvuutta päätä kohti. Yhden sekvenssin f16-muotoisen KV-välimuistin karkea lasku on 2 × kerrokset × KV-päät × pään ulottuvuus × tokenit × 2 tavua. Ensimmäinen kerroin 2 tulee avain- ja arvoesityksistä, lopun 2 tavua yhden f16-luvun koosta.

Taulukko on Llama 3.1 70B:n arkkitehtuurista johdettu esimerkki, ei yleinen 70B-sääntö. Lisäksi tarvitaan tilaa ajoympäristön puskureille ja käyttövaralle. Yhtenäismuistilaitteessa käyttöjärjestelmäkin käyttää samaa muistia. Erillisellä näytönohjaimella VRAM ja järjestelmämuisti budjetoidaan erikseen. KV-välimuistin kvantisointi voi pienentää tarvetta, jos ajoympäristö tukee sitä ja laatu riittää omaan työhön.

Järjestelmän ilmoittama kokonaismuisti ei aina ole kokonaan mallin käytettävissä. Strix Halo -koneissa BIOS ja käyttöjärjestelmä vaikuttavat grafiikalle varattuun osuuteen. Applen yhtenäismuistia jakavat CPU, GPU ja muut järjestelmän osat. NVIDIA-kortilla VRAM on erillinen, mutta mallin osittainen siirtäminen keskusmuistiin hidastaa yleensä ajoa.

Jos termit parametri, token, konteksti ja kvantisointi ovat uusia, 20 AI-käsitteen opas antaa niille yhteisen pohjan.

”120 tokenia sekunnissa” kuulostaa täsmälliseltä. Luku on käyttökelpoinen vasta, kun tiedät, mitä mitattiin.

Laite käsittelee käyttäjän syötteen ennen vastauksen tuottamista. Pitkä dokumentti tai laaja keskusteluhistoria tekee tästä näkyvän viiveen. Prefill voi olla satoja tai tuhansia tokeneita sekunnissa, vaikka vastaus syntyy paljon hitaammin.

TTFT eli time to first token kertoo, kuinka kauan käyttäjä odottaa vastauksen alkamista. Mittari yhdistää jonotuksen, promptin käsittelyn ja muut palvelimen viiveet. Hyvä generointinopeus ei pelasta käyttökokemusta, jos ensimmäinen token saapuu hitaasti.

Tämä on yhden jatkuvan vastauksen tavallinen tokenia sekunnissa -luku. Toimituksellisena käyttötuntuma-arviona noin 20-30 tokenia sekunnissa tuntuu henkilökohtaisessa tekstikeskustelussa jo ripeältä. Viisi tokenia sekunnissa voi olla hyväksyttävä pitkän analyysin odottelussa, mutta interaktiivinen työ tuntuu hitaalta. Token ei vastaa vakioitua sana- tai merkkimäärää, joten kieli, tokenisaattori ja vastauksen rakenne vaikuttavat kokemukseen.

Usean käyttäjän palvelussa kiinnostaa kaikkien pyyntöjen yhteenlaskettu läpäisy, jonotusaika ja viivejakauma. vLLM:n benchmark-työkalut erottavat nämä mittarit yhden käyttäjän decode-nopeudesta.

ComputingForGeeks julkaisi kesäkuussa 2026 Ollamalla ajetun vertailun, jossa käytettiin Q4_K_M-malleja, 4 096 tokenin kontekstia ja lämmintä mallia. Luvut ovat hyödyllisiä saman taulukon sisällä:

Taulukko havainnollistaa kapasiteetin ja nopeuden eroa yhden lähteen sisällä. RTX 5090 oli tässä testissä nopein Llama 3.1 8B- ja Qwen2.5 32B -malleilla, mutta 48 Gt:n L40S pystyi ajamaan Llama 3.3 70B -testin. Tulosta ei voi yleistää toiseen ajoympäristöön, malliversioon tai kontekstiin. Julkaisu ei myöskään raportoi kaikkia ohjelmistoversioita, toistomääriä, hajontaa ja isäntäkoneen tietoja.

Tarkista benchmarkista nämä kahdeksan asiaa:

NPU:n TOPS-luku ei korvaa tätä listaa. TOPS kertoo tietynlaisesta teoreettisesta laskentakapasiteetista tietyllä tarkkuudella. Se ei kerro, käyttääkö Ollama tai LM Studio juuri sitä NPU:ta, mahtuuko malli muistiin tai kuinka nopeasti valittu mallitiedosto tuottaa tokeneita.