Tether ra mắt khung BitNet LoRA hỗ trợ huấn luyện mô hình lớn trên di động

Tether cho biết QVAC Fabric đã ra mắt framework tinh chỉnh LoRA đa nền tảng đầu tiên trên thế giới cho Microsoft BitNet (One-Bit LLM), nhằm giảm mạnh yêu cầu bộ nhớ và năng lực tính toán khi huấn luyện mô hình lớn.

Điểm đáng chú ý là framework tập trung vào khả năng chạy trên nhiều loại phần cứng, giúp việc tinh chỉnh LoRA và tăng tốc suy luận khả thi hơn trên cả máy tính lẫn thiết bị di động.

Framework LoRA cho BitNet có gì nổi bật?

Framework mới hỗ trợ tinh chỉnh LoRA và tăng tốc suy luận cho Microsoft BitNet (One-Bit LLM) trên nhiều nền tảng phần cứng.

Theo thông tin công bố, QVAC Fabric định vị đây là framework tinh chỉnh LoRA đa nền tảng đầu tiên dành riêng cho BitNet. Điểm nhấn chính là việc giảm yêu cầu bộ nhớ và năng lực tính toán trong quá trình huấn luyện các mô hình lớn, qua đó hạ rào cản triển khai và thử nghiệm.

Việc gắn với BitNet (One-Bit LLM) cho thấy hướng tối ưu hiệu năng theo kiến trúc mô hình dùng độ chính xác thấp, nơi hiệu quả bộ nhớ và tính toán là ưu tiên cốt lõi. Ngoài tinh chỉnh LoRA, framework còn nhấn mạnh khả năng inference acceleration, tập trung vào tốc độ suy luận khi vận hành.

Hỗ trợ phần cứng và tác động triển khai

Framework hỗ trợ Intel, AMD, Apple Silicon M-series, cùng GPU di động như Adreno, Mali và Apple Bionic.

Danh sách phần cứng trải rộng từ CPU/GPU phổ biến trên PC đến hệ SoC di động. Điều này hàm ý quy trình tinh chỉnh LoRA và chạy suy luận có thể được tối ưu để phù hợp nhiều môi trường triển khai, từ máy tính cá nhân đến thiết bị cầm tay.

Với hỗ trợ cho mobile GPUs (Adreno, Mali, Apple Bionic), trọng tâm không chỉ dừng ở huấn luyện mà còn hướng đến tăng tốc suy luận trên thiết bị, giúp mở rộng kịch bản ứng dụng khi yêu cầu tài nguyên bị giới hạn.