Di antara "jalan di Raspberry Pi" dan "butuh gardu listrik sendiri" ada semesta model AI yang luas, dan hampir tidak ada yang menjelaskan apa yang sebenarnya berubah saat kamu naik tangga itu. Jadi ayo kita daki, memakai Qwen 3, keluarga model bobot-terbuka Alibaba, sebagai pemandu. Rentangnya 0,6 miliar sampai 235 miliar parameter dalam satu lineup rapi berlisensi Apache, jadi spesimen sempurna untuk panduan "apa yang sebenarnya didapat dari parameter lebih besar".
Dua catatan dulu. Pertama, ini hanya membahas model teks-ke-teks Qwen 3, yang model gaya chat. Model teks-ke-gambar, teks-ke-video, dan teks-ke-suara itu dunia berbeda, dengan profil hardware dan biaya sendiri. Kedua, parameter kira-kira seperti satu kenop yang dipelajari model saat training. Kenop lebih banyak umumnya berarti penalaran lebih baik, tapi juga RAM lebih besar, listrik lebih boros, dan menunggu lebih lama. Seluruh permainannya adalah menemukan model terkecil yang masih cukup bagus untuk kebutuhanmu.
Satu trik yang layak diketahui sebelum mulai: MoE, atau Mixture-of-Experts. Model dense memakai semua parameternya untuk setiap kata. Model MoE hanya membangunkan sebagian kecil "pakar" spesialis per token, jadi model 30 miliar parameter bisa jalan kira-kira secepat model 3 miliar parameter. Ini yang paling dekat dengan makan siang gratis di bidang ini.
Dan satu mekanisme yang menjelaskan hampir semua angka di bawah: kecepatan itu soal bandwidth memori, bukan soal komputasi. GPU diskrit (RTX 3060, 3090, 4090, dst.) punya VRAM sendiri ratusan GB/s sampai di atas 1 TB/s. Selama model muat di situ, kamu dapat kecepatan GPU. GPU terintegrasi (AMD Radeon 680M/780M, Intel Arc iGPU) tidak punya VRAM sendiri, ia memakai RAM sistem biasa, biasanya sekitar 50-90 GB/s di DDR5 dual-channel, jadi hambatannya sama seperti inferensi CPU biasa. Apple Silicon (M1-M4) pengecualiannya: juga unified memory tanpa VRAM terpisah, tapi dibuat selebar 100-800+ GB/s, makanya Mac seri-M bersaing dengan GPU diskrit meski desain memorinya berbagi. Logika yang sama sudah dibahas di Bagian I seri ini: AVX2 dan jumlah core memengaruhi jeda sebelum model mulai menjawab, bukan kecepatan mengetik setelah ia mulai.
0.6B - Jalan di Hampir Semua Perangkat
Hardware: HP, Raspberry Pi, Chromebook 2019, iGPU AMD/Intel apa pun kalau perangkatnya punya. RAM: sekitar 1-2 GB, bobotnya sendiri di bawah 1 GB. Biaya: Gratis, kalau perangkatnya sudah kamu punya. Kecepatan: sekitar 5-10 token/detik di hardware lemah seperti Pi atau chip kelas Celeron, naik ke 20-40+ di HP atau laptop modern dengan memori lebih cepat. Cocok untuk: Autocomplete, klasifikasi sederhana, asisten on-device.
Jangan berharap penalaran mendalam di sini. Anggap saja magang yang cepat, literal, gampang bingung oleh nuansa.
Contoh nyata: hub smart-home yang mengartikan "matikan lampu ruang tamu" sepenuhnya on-device, tanpa round-trip cloud, tanpa ketergantungan internet, dan tanpa rekaman suara keluar rumah.
1.7B - Tier "Laptop Apa Pun Bisa"
Hardware: CPU atau iGPU laptop modern apa pun, tanpa GPU diskrit. RAM: sekitar 4 GB. Biaya: Hampir gratis, hardware-nya kemungkinan sudah kamu punya. Kecepatan: 15-30 token/detik hanya dengan CPU. Cocok untuk: Draf, chat ringan, bantuan coding dasar, ringkasan pendek.
Ini kira-kira titik di mana rasanya berhenti seperti mainan dan mulai seperti asisten yang benar-benar berguna.
Contoh nyata: tombol "rapikan ini" di aplikasi catatan, memformat ulang hasil voice-to-text yang berantakan jadi prosa rapi, jalan lokal sehingga catatanmu tidak pernah keluar laptop.
4B - Si Berprestasi Lebih
Hardware: GPU diskrit budget (kelas RTX 3050), iGPU yang lumayan, Apple M1+, atau CPU biasa. RAM: sekitar 6-8 GB (CPU/iGPU berbagi pool ini; GPU diskrit mengambil alih beban dari RAM). Biaya: $150-350 untuk kartu diskrit, atau tidak ada biaya tambahan. Kecepatan: 5-8 token/detik di CPU atau iGPU AMD/Intel, 40-80+ di GPU diskrit murah, 100+ di Apple Silicon. Cocok untuk: Bantuan coding, tulisan terstruktur, chat umum.
Fakta seru artikel ini: Qwen 3 4B dilaporkan menyamai generasi sebelumnya yang 72B di beberapa benchmark. Model sekitar 3 GB beradu dengan model yang dua generasi lalu butuh sekitar 43 GB. Anggapan "lebih besar selalu lebih baik" sudah lama tidak aman dipakai.
Contoh nyata: ini, hampir persis, model yang menggerakkan proyek grav-ai-chatbot dari Bagian III seri ini. Widget pencarian AI untuk website pribadi, menjawab pertanyaan pengunjung dari konten situs itu sendiri, jalan di laptop yang harganya lebih murah dari makan malam mewah.
8B - Andalan Harian
Hardware: RTX 3060 (12 GB) atau RTX 4060. GPU diskrit benar-benar intinya di sini, karena iGPU sekuat apa pun mentok di dinding bandwidth RAM pada ukuran ini. RAM: sekitar 16 GB baseline yang nyaman; VRAM pembatas sebenarnya. Biaya: sekitar $330-450 untuk GPU-nya. Kecepatan: sekitar 40 token/detik di RTX 3060, 100+ di RTX 4090. Cocok untuk: Chat serba bisa, bantuan coding, tugas asisten umum. Kemungkinan model yang memang harus dijalankan kebanyakan orang.
Ini tier di mana AI lokal berhenti jadi hal baru dan mulai jadi sesuatu yang benar-benar kamu pilih dibanding chatbot cloud.
Contoh nyata: asisten coding lokal untuk developer solo. Hidup sepenuhnya di terminal, menjawab pertanyaan tentang codebase privat, tanpa risiko kode proprietary tercatat di server orang lain.
14B - Pukul di Atas Kelasnya
Hardware: Masih satu GPU diskrit mainstream. 12 GB cukup dengan presisi reduksi. RAM: sekitar 16 GB; lagi-lagi VRAM yang benar-benar membatasi. Meluber melewatinya dan kecepatan jatuh bebas. Biaya: sekitar $350-500. Kecepatan: sekitar 20-30 token/detik di kartu 12 GB, 40-50 di yang lebih cepat. Cocok untuk: Penalaran dan coding yang jelas lebih baik dari 8B, tetap nyaman di kelas konsumen.
Dilaporkan sebanding dengan generasi sebelumnya yang 32B. Satu lagi anak tangga "hardware lebih kecil dari dugaan".
Contoh nyata: asisten knowledge-base internal perusahaan kecil, menjawab pertanyaan karyawan dari kebijakan HR, dokumen onboarding, dan wiki internal. Cukup sensitif sehingga tetap di dalam rumah, bukan ke API cloud, itu penting.
32B - Jagoan Lokal
Hardware: GPU diskrit 24 GB (RTX 3090 atau 4090). Di luar jangkauan iGPU pada kecepatan yang layak. Tier ini butuh throughput VRAM beneran. RAM: sekitar 16 GB; bobot terkuantisasi sekitar 20 GB makanya efektif butuh kartu 24 GB. Biaya: sekitar $800 (3090 bekas) sampai $3.000+ (4090 baru). Harga GPU melonjak keras tahun 2026 karena kelangkaan yang berlanjut. Kecepatan: sekitar 20-45 token/detik di kartu 24 GB, jelas lebih lambat di yang lebih kecil. Cocok untuk: Penalaran lokal serius, tulisan panjang, coding yang dulu butuh hardware lebih besar.
Dilaporkan setara generasi sebelumnya yang 72B. Pola yang sama, satu anak tangga lebih tinggi.
Contoh nyata: bot review kode self-hosted untuk tim dev kecil, membaca pull request utuh dan menangkap issue beneran. Tugas seperti ini yang membuat penalaran dangkal model kecil mulai menghasilkan saran yang salahnya memalukan.
30B-A3B - Trik Sulap MoE
Hardware: GPU diskrit 24 GB, atau Mac dengan unified memory 32 GB+. Di sinilah Mac seri-M benar-benar bersinar. RAM: sekitar 17+ GB VRAM di GPU diskrit (semua bobot 30B tetap harus duduk di suatu tempat, meski hanya 3B yang aktif per token); 32 GB batas bawah realistis di Mac, karena unified memory memainkan dua peran. Biaya: sekitar $800-3.000+, tier GPU yang sama dengan model dense 32B. Kecepatan: Sering 100+ token/detik. Itulah kerja trik MoE. Cocok untuk: Rasio kecepatan-kualitas terbaik di lineup.
Ia menyimpan pengetahuan 30B tapi hanya membangunkan sepotong seukuran 3B per pertanyaan. Terasa hampir secepat model yang jauh lebih kecil sambil tahu jauh lebih banyak.
Contoh nyata: chatbot dukungan pelanggan startup kecil yang menangani traffic beneran dan simultan. Cukup cepat sehingga pengunjung tidak sadar mereka bicara dengan model self-hosted bukan API cloud ternama, dengan biaya berulang yang jauh lebih kecil.
235B-A22B - Flagship
Hardware: Beberapa GPU diskrit kelas atas (2-4x 24-48 GB), atau Mac Studio dengan unified memory yang sangat lega. RAM: sekitar 128-160 GB. Di tier ini, kapasitas memori dan harga seluruh mesin mulai berarti hal yang sama. Biaya: sekitar $4.000 (Mac Studio) sampai $30.000+ (workstation multi-GPU, makin mahal oleh kelangkaan GPU 2026). Titik di mana "pakai API saja" mulai terdengar masuk akal. Kecepatan: Satu digit sampai sekitar 20 token/detik, tergantung setup. Bukan tier cepat; tier yang layak ditunggu. Cocok untuk: Penalaran, matematika, dan coding level frontier beneran. Jawaban Alibaba untuk model kelas GPT-4o.
Hanya 22B dari 235B parameternya yang aktif per token, trik MoE yang sama diskalakan jauh. Kecuali kamu sudah punya hardware serius atau butuh privat, sewa waktu GPU cloud hampir selalu lebih murah daripada beli ke tier ini.
Contoh nyata: lab riset atau perusahaan teregulasi (kesehatan, hukum, keuangan) yang butuh penalaran kelas GPT-4o tapi tidak boleh mengirim data sensitif ke API pihak ketiga dalam keadaan apa pun. Tagihan hardware di sini adalah harga kepatuhan, bukan kemewahan.
Tabel Perbandingan Jujur
| Model | Aktif / Total | VRAM (terkuantisasi) | RAM Sistem | Hardware Realistis | Kecepatan (token/detik) | Biaya | Titik Manis |
|---|---|---|---|---|---|---|---|
| 0.6B | 0.6B | <1 GB | sekitar 1-2 GB | HP, Pi, laptop tua | 5-10 (CPU lemah) / 20-40+ (modern) | $0 | Autocomplete saja. Terlalu kecil untuk RAG, gampang kehilangan alur |
| 1.7B | 1.7B | sekitar 1,2 GB | sekitar 4 GB | CPU laptop apa pun | 15-30 | $0 | Snippet, boilerplate, draf pendek; RAG untuk satu dokumen kecil yang bersih |
| 4B | 4B | sekitar 3 GB | sekitar 6-8 GB | GPU budget, iGPU, Apple M1+, atau CPU | 5-8 (CPU/iGPU) / 40-80 (GPU) / 100+ (Apple) | $0-350 | Fungsi tunggal dan bug fix; RAG satu dokumen dan Q&A berbasis sumber. Ini titik manis chatbot Bagian III |
| 8B | 8B | sekitar 5 GB | sekitar 16 GB (terbatas VRAM) | RTX 3060/4060 | 40-100+ | $330-450 | Fitur kecil-menengah; backend RAG multi-dokumen solid, asisten tulis umum |
| 14B | 14B | sekitar 8 GB | sekitar 16 GB (terbatas VRAM) | RTX 3060 12GB+ | 20-50 | $350-500 | Refactor dan debugging lebih rumit; sintesis riset multi-sumber lebih andal, tulisan panjang |
| 32B (dense) | 32B | sekitar 20 GB | sekitar 16 GB (terbatas VRAM) | RTX 3090/4090 | 20-45 | $800-3.000+ | Refactor besar, coding agentic andal; riset berbasis sumber terpercaya lintas banyak dokumen |
| 30B-A3B (MoE) | 3B / 30B | sekitar 17 GB | sekitar 16 GB (terbatas VRAM) | RTX 3090/4090 atau Mac 32GB+ | 100+ | $800-3.000+ | Loop coding iteratif ketat; cukup cepat untuk chatbot RAG traffic tinggi tanpa membuat pengunjung menunggu |
| 235B-A22B (MoE) | 22B / 235B | sekitar 130 GB | sekitar 128-160 GB | Multi-GPU atau Mac Studio | Satu digit-20 | $4.000-30.000+ | Coding agentic kelas produksi; sintesis riset level frontier dan tulisan panjang penuh sitasi |
Token/detik, bukan kata/detik. Kecepatan selalu soal bandwidth memori: bandwidth RAM sistem membatasi tier CPU/iGPU, bandwidth VRAM membatasi tier GPU diskrit, bandwidth unified memory membatasi Apple Silicon dan tier 235B. Angka sifatnya kisaran dan bervariasi menurut kuantisasi, hardware persis, dan backend inferensi. Harga GPU sangat volatil sepanjang 2026. Anggap semua angka dolar sebagai gambaran pasar saat tulisan ini dibuat, bukan penawaran harga.
Jadi Kamu Sebenarnya Mau yang Mana?
Baru coba-coba? Mulai di 4B atau 8B. Nilai terbaik di lineup, dan kemampuannya bakal mengejutkanmu.
Mau andalan harian serius dan punya GPU diskrit lumayan? 8B atau 14B menutup hampir semua kebutuhan nyata tanpa mengubah tagihan listrik jadi ciri kepribadian.
Punya GPU beefy (atau Mac spek bagus) dan mau pamer? 32B dense untuk kualitas mentah, 30B-A3B kalau maunya dijawab sekarang.
Mengejar kualitas frontier dengan hardware serius atau budget cloud? 235B-A22B. Hanya sadari bahwa di tier ini, "self-hosted" dan "murah" berhenti jadi kalimat yang sama.
Dan kalau semua itu terdengar tidak terjangkau: seluruh seri ini dimulai dari laptop Celeron 6-Watt yang menjalankan model 0,5B dan tetap dibuat berguna. Ada ruang luas antara "tidak punya apa-apa" dan "rakitan yang lebih mahal dari mobil", dan sebagian besarnya lebih mumpuni dari dugaan.
Alibaba terus mengiterasi Qwen 3 sejak lineup ini rilis. Layak cek kanal resmi mereka untuk ukuran dan spek terbaru sebelum beli hardware berdasarkan angka spesifik di sini.
Satu Hal Terakhir: Qwen Bukan Satu-satunya Pemain
Semua di atas memakai Qwen 3 sebagai pemandu, dan alasannya kuat. Jarang ada satu keluarga bobot-terbuka yang membentang rapi dari "jalan di HP" sampai "jalan di pusat data kecil", makanya ideal untuk panduan lapangan hardware seperti ini. Tapi ia jauh dari satu-satunya opsi. Gemma Google, DeepSeek, Llama Meta, Mistral, dan lainnya semua menerbitkan lineup bobot-terbuka sendiri, sering dengan sebaran ukuran mirip dan matematika hardware yang sangat mirip. Aturan bandwidth memori di artikel ini berlaku sama baiknya untuk semuanya. Kalau rasa jawaban Qwen 3 tidak cocok buatmu, kabar baiknya daftar belanja di atas tetap mostly berlaku; tinggal tukar namanya dan cari jumlah parameter yang setara. Keluarga model datang dan pergi, fisika "RAM-mu punya batas kecepatan" tidak.
