Laporan Pembaruan Llamafile Versi 0.10.0 untuk Penggunaan di Lingkungan Terbatas
Di dunia teknologi saat ini, penggunaan model bahasa besar (LLM) dalam lingkungan yang terbatas menjadi semakin penting. Llamafile, proyek dari Mozilla-AI untuk mengemas dan menjalankan LLM sebagai executable yang mandiri, baru saja merilis pembaruan besar dengan versi 0.10.0. Pembaruan ini menawarkan berbagai fitur baru dan kemampuan yang sangat dibutuhkan para praktisi yang beroperasi di lingkungan tanpa koneksi cloud atau dalam kondisi sumber daya terbatas.
Pembangunan Ulang dari Dasar
Versi 0.10.0 adalah hasil dari keputusan yang matang untuk membangun kembali inti Llamafile dari nol. Tujuan dari pembaruan ini adalah untuk menghasilkan build llama.cpp yang bersifat kosmopolitan, dengan fokus pada dua hal pati: portabilitas di berbagai sistem operasi dan arsitektur perangkat keras, serta kemampuan untuk menggabungkan bobot model langsung dalam executable Llamafile. Proses pembangunan ulang ini juga membawa pembaruan pada ketergantungan llama.cpp, sehingga mencakup dukungan model terbaru yang tidak tersedia di versi sebelumnya.
Dukungan Akselerasi GPU Kembali
Salah satu perubahan paling signifikan dalam versi 0.10.0 adalah kembalinya dukungan GPU, yang sebelumnya hilang dari kode yang dibangun ulang. Dukungan CUDA untuk Linux diperkenalkan kembali pada Februari 2026, sementara dukungan Metal untuk macOS ARM64 hadir pada Desember 2025. Metal dapat digunakan baik dalam antarmuka terminal maupun dalam mode server. Namun, dukungan GPU untuk Windows masih belum tersedia pada rilis ini.
Antarmuka Terminal dan Mode Server
Versi 0.10.0 menambahkan antarmuka pengguna terminal (TUI) yang memungkinkan pengguna untuk berinteraksi langsung dengan model yang dimuat dari baris perintah. Mode server juga dapat diakses melalui flag --server. Selain itu, rilis ini menambahkan dukungan untuk tiga mode operasi yang berbeda: chat, CLI, dan server. Ini memberikan fleksibilitas lebih bagi pengguna dalam menjalankan Llamafile sesuai kebutuhan mereka.
Kemampuan Multimodal dan Pengolahan Suara
Salah satu inovasi menarik dalam rilis ini adalah akses ke API mtmd melalui TUI, yang memungkinkan akses model multimodal langsung dari terminal. Beberapa model yang telah diuji dengan kemampuan ini termasuk llava 1.6, Qwen3-VL, dan Ministral 3. Dukungan input gambar telah ditambahkan melalui flag --image dalam mode CLI, menambah kemampuan interaksi dengan data non-teks.
Pembaruan terbaru juga mencakup model pengenalan suara, Whisper, yang diperkenalkan pada siklus pembaruan Maret 2026. Ini memungkinkan pengguna untuk memperluas penggunaan Llamafile melebihi sekadar inferensi berbasis teks.
Dukungan Model dan Contoh Llamafiles
Mozilla-AI kini mendistribusikan serangkaian contoh llamafiles yang sudah dibangun bersama dengan versi 0.10.0. Contoh tersebut berkisar dari Qwen3.5 0.8B Q8 yang berukuran 1.6 GB, yang mampu menghasilkan sekitar 8 token per detik pada Raspberry Pi 5 tanpa GPU, hingga Qwen3.5 27B Q5 yang berukuran 19 GB. Model-model lain yang tersedia termasuk Ministral 3 3B Instruct, llava v1.6 mistral 7b, Apertus 8B Instruct, gpt-oss 20b, dan LFM2 24B A2B.
Ketergantungan pada llama.cpp telah diupdate ke komit 7f5ee54, yang menambahkan dukungan untuk model Qwen3.5. Namun, pengguna Windows harus menghadapi kendala praktis, di mana sistem operasi tersebut membatasi ukuran executable file hingga 4 GB, yang di atas batas tersebut untuk sebagian besar contoh llamafiles saat ini. Proyek ini mendukung penggunaan bobot eksternal sebagai alternatif.
Sistem Pembangunan dan Ketergantungan
Sistem pembangunan telah disederhanakan sejak awal siklus pengembangan 0.10.0. CMake dibuang demi file BUILD.mk kustom. Ketergantungan kini diambil dari direktori vendor llama.cpp. Proyek ini kini menargetkan cosmocc 4.0.2. Utilitas zipalign juga telah ditambahkan sebagai submodul GitHub untuk melacak pembaruan dari pemeliharanya.
Apa yang Masih Belum Tercapai
Terdapat beberapa kemampuan yang belum sepenuhnya bermigrasi ke format build baru ini. Kode untuk difusi stabil memang ada di repositori namun belum dipindahkan ke build baru. Fitur pledge() dan sandboxing SECCOMP masih belum terimplementasi. Llamafiler untuk embeddings telah dikembalikan ke endpoint embeddings bawaan llama.cpp. Beberapa argumen CLI yang berfungsi di versi sebelumnya juga belum aktif.
Uji integrasi ditambahkan pada Maret 2026, bersama dengan “dokumen keterampilan” yang ditujukan untuk digunakan dengan asisten AI.
Dengan berbagai fitur baru dan perbaikan ini, rilis 0.10.0 dari Llamafile jelas menunjukkan kemajuan yang signifikan untuk penggunaan model bahasa di lingkungan yang terisolasi. Pembaruan ini sangat relevan bagi para profesional yang memerlukan fleksibilitas dan kapabilitas canggih dalam pengolahan bahasa alami, terutama di sektor-sektor yang memerlukan pengolahan data yang aman dan efisien. Untuk informasi lebih lanjut mengenai teknologi terbaru dan pembaruan lainnya, jangan ragu untuk mengecek berita terbaru kami.