Ubah smartphone Android lama Anda menjadi server inferensi LLM lokal mandiri hanya dengan satu klik, tanpa pusing mengatur terminal Termux yang rumit.
Jangan Biarkan Ponsel Lama Menganggur di Laci
Ponsel Android modern kelas menengah sekalipun kini dibekali prosesor multi-inti yang sangat bertenaga. Sayangnya, banyak pengembang membiarkan ponsel lama mereka berdebu di laci sementara terus membayar langganan cloud mahal untuk sekadar menjalankan model bahasa terkuantisasi kecil.
Servllama (github.com/milkboyinchina/servllama) membungkus server proksi inferensi LLM lokal ke dalam antarmuka aplikasi seluler yang ramah pengguna. Tanpa instalasi manual Termux, tanpa kompilasi paket, dan tanpa akses root. Cukup tekan tombol mulai, arahkan aplikasi di laptop ke alamat IP ponsel, dan nikmati inferensi AI lokal tanpa koneksi internet.
Fitur Utama
- Peluncuran 1-Klik: Menyalakan endpoint API yang kompatibel dengan protokol OpenAI langsung di jaringan Wi-Fi lokal.
- Tanpa Termux atau Root: Berjalan mulus dalam sandbox aplikasi Android standar dengan manajemen wake-lock otomatis di latar belakang.
- Hub Inferensi Terdistribusi: Meringankan beban CPU komputer utama dengan mengalihkan beban inferensi model kecil ke perangkat ponsel.
- Pengawas Suhu dan Baterai: Menyesuaikan panjang konteks secara dinamis saat suhu prosesor ponsel meningkat demi melindungi kesehatan baterai.
- Kompatibel dengan API OpenAI: Siap digunakan langsung dengan berbagai SDK klien, ekstensi Continue.dev, Chatbox, dan antarmuka web.
Memulai Cepat
# Kloning repositori
git clone https://github.com/milkboyinchina/servllama.git
cd servllama
# Pasang dependensi dan uji server proksi
npm install
npm run devUnduh aplikasi dan pelajari kode sumber di GitHub: milkboyinchina/servllama.
