Hiệu suất Tối ưu trên Gaussian Tổng hợp và Tree Embeddings

Bảng Liên Kết

Tóm tắt và 1. Giới Thiệu

1. Các Nghiên Cứu Liên Quan

2. Kỹ Thuật Nới Lỏng Lồi cho SVM Hyperbolic

   3.1 Kiến Thức Cơ Bản

   3.2 Công Thức Ban Đầu của HSVM

   3.3 Công Thức Bán Xác Định

   3.4 Nới Lỏng Moment-Tổng-Bình-Phương

3. Thực Nghiệm

   4.1 Bộ Dữ Liệu Tổng Hợp

   4.2 Bộ Dữ Liệu Thực Tế

4. Thảo Luận, Lời Cảm Ơn và Tài Liệu Tham Khảo

   \

A. Chứng Minh

B. Trích Xuất Giải Pháp trong Công Thức Nới Lỏng

C. Về Hệ Thống Phân Cấp Nới Lỏng Moment Tổng-Bình-Phương

D. Platt Scaling [31]

E. Kết Quả Thực Nghiệm Chi Tiết

F. Máy Vector Hỗ Trợ Hyperbolic Mạnh Mẽ

4.1 Bộ Dữ Liệu Tổng Hợp

\ Nhìn chung, chúng tôi quan sát thấy sự cải thiện nhỏ về độ chính xác kiểm tra trung bình và điểm F1 có trọng số từ SDP và Moment so với PGD. Đáng chú ý, chúng tôi nhận thấy rằng Moment thường cho thấy cải thiện nhất quán hơn so với SDP, trong hầu hết các cấu hình. Ngoài ra, Moment cho khoảng cách tối ưu 𝜂 nhỏ hơn SDP. Điều này phù hợp với kỳ vọng của chúng tôi rằng Moment chặt chẽ hơn SDP.

\ Mặc dù trong một số trường hợp, ví dụ khi 𝐾 = 5, Moment đạt được tổn thất nhỏ hơn đáng kể so với cả PGD và SDP, nhưng nói chung không phải như vậy. Chúng tôi nhấn mạnh rằng những tổn thất này không phải là các phép đo trực tiếp khả năng tổng quát hóa của các bộ phân tách hyperbolic lề tối đa; thay vào đó, chúng là sự kết hợp của việc tối đa hóa lề và phạt cho phân loại sai tỷ lệ với 𝐶. Do đó, quan sát thấy hiệu suất về độ chính xác kiểm tra và điểm F1 có trọng số tốt hơn, mặc dù tổn thất được tính bằng cách sử dụng các giải pháp trích xuất từ SDP và Moment đôi khi cao hơn so với PGD, có thể là do bối cảnh tổn thất phức tạp. Cụ thể hơn, sự gia tăng tổn thất quan sát được có thể được quy cho sự phức tạp của bối cảnh thay vì hiệu quả của các phương pháp tối ưu hóa. Dựa trên kết quả độ chính xác và điểm F1, theo kinh nghiệm các phương pháp SDP và Moment xác định các giải pháp tổng quát hóa tốt hơn so với những giải pháp thu được bằng cách chạy gradient descent đơn thuần. Chúng tôi cung cấp phân tích chi tiết hơn về ảnh hưởng của các siêu tham số trong Phụ lục E.2 và thời gian chạy trong Bảng 4. Ranh giới quyết định cho Gaussian 1 được hiển thị trong Hình 5.

\

\ Nhúng Cây Tổng Hợp. Vì không gian hyperbolic phù hợp để nhúng cây, chúng tôi tạo các đồ thị cây ngẫu nhiên và nhúng chúng vào H2 theo Mishne et al. [6]. Cụ thể, chúng tôi gán nhãn các nút là dương nếu chúng là con của một nút được chỉ định và âm nếu không. Sau đó, các mô hình của chúng tôi được đánh giá để phân loại cây con, nhằm xác định ranh giới bao gồm tất cả các nút con trong cùng một cây con. Nhiệm vụ như vậy có nhiều ứng dụng thực tế. Ví dụ, nếu cây đại diện cho một tập hợp các token, ranh giới quyết định có thể làm nổi bật các vùng ngữ nghĩa trong không gian hyperbolic tương ứng với các cây con của đồ thị dữ liệu. Chúng tôi nhấn mạnh rằng một đặc điểm phổ biến trong nhiệm vụ phân loại cây con như vậy là sự mất cân bằng dữ liệu, thường dẫn đến khả năng tổng quát hóa kém. Do đó, chúng tôi nhằm sử dụng nhiệm vụ này để đánh giá hiệu suất của các phương pháp trong điều kiện thách thức này. Ba nhúng được chọn và trực quan hóa trong Hình 3 và hiệu suất được tóm tắt trong Bảng 1. Thời gian chạy của các cây được chọn có thể được tìm thấy trong Bảng 4. Ranh giới quyết định của cây 2 được trực quan hóa trong Hình 6.

\ Tương tự như kết quả của các bộ dữ liệu Gaussian tổng hợp, chúng tôi quan sát thấy hiệu suất tốt hơn từ SDP và Moment so với PGD, và do sự mất cân bằng dữ liệu mà các phương pháp GD thường gặp khó khăn, chúng tôi có sự gia tăng lớn hơn về điểm F1 có trọng số trong trường hợp này. Ngoài ra, chúng tôi quan sát thấy khoảng cách tối ưu lớn cho SDP nhưng khoảng cách rất chặt chẽ cho Moment, chứng nhận tính tối ưu của Moment ngay cả khi sự mất cân bằng lớp nghiêm trọng.

\

\

:::info Tác Giả:

(1) Sheng Yang, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA ([email protected]);

(2) Peihan Liu, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA ([email protected]);

(3) Cengiz Pehlevan, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, Center for Brain Science, Harvard University, Cambridge, MA, và Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University, Cambridge, MA ([email protected]).

:::

:::info Bài báo này có sẵn trên arxiv theo giấy phép CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International).

:::

\