Thông báo từ Coinjie.com, nhóm Qwen đã mở mã nguồn thư viện toán tử hiệu suất cao FlashQLA dành cho GDN (gated delta network, lớp chú ý tuyến tính sử dụng trong toàn bộ dòng Qwen3-next / 3.5 / 3.6). Trong thử nghiệm thực tế trên H200, tốc độ tính toán phía trước nhanh hơn kernel Fla Triton 2-3 lần, tốc độ tính toán ngược nhanh gấp 2 lần. Trong cảnh TP8, tốc độ tính phía trước cao nhất đạt 5.33 lần. Chìa khóa tăng tốc nằm ở việc sử dụng đặc tính suy giảm theo hàm mũ của giá trị cổng GDN để thực hiện tự động song song ngữ cảnh trong bộ nhớ đệm (autocp), qua đó bỏ qua bước tính ma trận hiệu chỉnh trong phương pháp truyền thống. Hệ thống sẽ tự động xác định có bật CP hay không dựa trên kích thước batch, số đầu và độ dài chuỗi, không cần cấu hình thủ công.

Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
  • Phần thưởng
  • Bình luận
  • Đăng lại
  • Retweed
Bình luận
Thêm một bình luận
Thêm một bình luận
Không có bình luận
  • Ghim