Tether merilis framework BitNet LoRA lintas platform, memungkinkan fine-tuning model miliaran parameter pada perangkat konsumen.

PANews melaporkan pada 21 Maret bahwa Tether mengumumkan peluncuran framework fine-tuning BitNet LoRA lintas platform di QVAC Fabric, memungkinkan optimasi untuk pelatihan dan inferensi Microsoft BitNet (1-bit LLM). Framework ini secara signifikan mengurangi kebutuhan daya komputasi dan memori, memungkinkan model dengan miliaran parameter untuk dilatih dan di-fine-tune pada laptop, GPU tingkat konsumen, dan smartphone.

Solusi ini adalah yang pertama memungkinkan fine-tuning model BitNet pada GPU mobile (termasuk Adreno, Mali, dan Apple Bionic). Pengujian menunjukkan bahwa model parameter 125M dapat di-fine-tune dalam waktu sekitar 10 menit, model 1B dalam waktu sekitar 1 jam, dan bahkan dapat diperluas ke model parameter 13B pada perangkat mobile.

Selain itu, framework ini mendukung perangkat keras heterogen seperti Intel, AMD, dan Apple Silicon, dan untuk pertama kalinya mencapai fine-tuning 1-bit LLM LoRA pada perangkat non-NVIDIA. Dari segi kinerja, model BitNet mencapai kecepatan inferensi 2 hingga 11 kali lebih cepat pada GPU mobile dibandingkan pada CPU, sambil mengurangi penggunaan memori hingga sekitar 77,8% dibandingkan model 16-bit tradisional.

Tether menyatakan bahwa teknologi ini memiliki potensi untuk memutus ketergantungan pada daya komputasi tingkat tinggi dan infrastruktur cloud, mendorong pengembangan pelatihan AI menuju desentralisasi dan lokalisasi, serta menyediakan fondasi untuk skenario aplikasi baru seperti federated learning.