ประสิทธิภาพการเพิ่มประสิทธิภาพบน Synthetic Gaussian และ Tree Embeddings

สารบัญลิงก์

บทคัดย่อและ 1. บทนำ

1. งานวิจัยที่เกี่ยวข้อง

2. เทคนิคการผ่อนคลายนูนสำหรับ Hyperbolic SVMs

   3.1 เบื้องต้น

   3.2 สูตรเดิมของ HSVM

   3.3 สูตรกึ่งจำกัด

   3.4 การผ่อนคลาย Moment-Sum-of-Squares

3. การทดลอง

   4.1 ชุดข้อมูลสังเคราะห์

   4.2 ชุดข้อมูลจริง

4. การอภิปราย กิตติกรรมประกาศ และเอกสารอ้างอิง

   \

A. การพิสูจน์

B. การสกัดคำตอบในสูตรที่ผ่อนคลาย

C. เกี่ยวกับลำดับชั้นการผ่อนคลาย Moment Sum-of-Squares

D. Platt Scaling [31]

E. ผลการทดลองโดยละเอียด

F. Robust Hyperbolic Support Vector Machine

4.1 ชุดข้อมูลสังเคราะห์

\ โดยทั่วไป เราสังเกตเห็นการเพิ่มขึ้นเล็กน้อยในความแม่นยำในการทดสอบโดยเฉลี่ยและคะแนน weighted F1 จาก SDP และ Moment เมื่อเทียบกับ PGD โดยเฉพาะอย่างยิ่ง เราสังเกตว่า Moment มักแสดงการปรับปรุงที่สอดคล้องกันมากกว่าเมื่อเทียบกับ SDP ในการกำหนดค่าส่วนใหญ่ นอกจากนี้ Moment ให้ช่องว่างความเหมาะสมที่เล็กกว่า 𝜂 เมื่อเทียบกับ SDP ซึ่งสอดคล้องกับความคาดหวังของเราที่ว่า Moment แน่นกว่า SDP

\ แม้ว่าในบางกรณี เช่น เมื่อ 𝐾 = 5 Moment บรรลุการสูญเสียที่เล็กกว่าอย่างมีนัยสำคัญเมื่อเทียบกับทั้ง PGD และ SDP แต่โดยทั่วไปแล้วไม่เป็นเช่นนั้น เราเน้นว่าการสูญเสียเหล่านี้ไม่ใช่การวัดโดยตรงของความสามารถในการทั่วไปของตัวแยกไฮเพอร์โบลิกแบบระยะขอบสูงสุด แต่เป็นการรวมกันของการเพิ่มระยะขอบสูงสุดและการลงโทษสำหรับการจำแนกผิดที่ปรับขนาดตาม 𝐶 ดังนั้น การสังเกตว่าประสิทธิภาพในความแม่นยำในการทดสอบและคะแนน weighted F1 ดีกว่า แม้ว่าการสูญเสียที่คำนวณโดยใช้คำตอบที่สกัดจาก SDP และ Moment บางครั้งสูงกว่าจาก PGD อาจเกิดจากภูมิทัศน์การสูญเสียที่ซับซ้อน โดยเฉพาะอย่างยิ่ง การเพิ่มขึ้นของการสูญเสียที่สังเกตได้สามารถนำมาประกอบกับความซับซ้อนของภูมิทัศน์มากกว่าประสิทธิผลของวิธีการเพิ่มประสิทธิภาพ จากผลความแม่นยำและคะแนน F1 โดยประจักษ์ วิธี SDP และ Moment ระบุคำตอบที่สามารถทั่วไปได้ดีกว่าที่ได้จากการใช้การลดระดับความชันเพียงอย่างเดียว เราให้การวิเคราะห์โดยละเอียดเพิ่มเติมเกี่ยวกับผลกระทบของไฮเพอร์พารามิเตอร์ในภาคผนวก E.2 และเวลาทำงานในตาราง 4 ขอบเขตการตัดสินใจสำหรับ Gaussian 1 แสดงในรูปที่ 5

\

\ การฝังต้นไม้สังเคราะห์ เนื่องจากปริภูมิไฮเพอร์โบลิกเหมาะสำหรับการฝังต้นไม้ เราสร้างกราฟต้นไม้แบบสุ่มและฝังไว้ใน H2 ตาม Mishne et al. [6] โดยเฉพาะ เราติดป้ายกำกับโหนดเป็นบวกหากเป็นลูกของโหนดที่ระบุ และติดป้ายเป็นลบในกรณีอื่น จากนั้นโมเดลของเราจะถูกประเมินสำหรับการจำแนกต้นไม้ย่อย โดยมีเป้าหมายเพื่อระบุขอบเขตที่รวมโหนดลูกทั้งหมดภายในต้นไม้ย่อยเดียวกัน งานดังกล่าวมีการใช้งานจริงหลายอย่าง ตัวอย่างเช่น หากต้นไม้แสดงชุดของโทเค็น ขอบเขตการตัดสินใจสามารถเน้นพื้นที่ความหมายในปริภูมิไฮเพอร์โบลิกที่สอดคล้องกับต้นไม้ย่อยของกราฟข้อมูล เราเน้นว่าลักษณะทั่วไปในงานการจำแนกต้นไม้ย่อยดังกล่าวคือความไม่สมดุลของข้อมูล ซึ่งมักนำไปสู่ความสามารถในการทั่วไปที่ไม่ดี ดังนั้น เราจึงตั้งเป้าที่จะใช้งานนี้เพื่อประเมินประสิทธิภาพของวิธีการของเราภายใต้สถานการณ์ที่ท้าทายนี้ มีการเลือกและแสดงการฝังสามรายการในรูปที่ 3 และสรุปประสิทธิภาพในตาราง 1 เวลาทำงานของต้นไม้ที่เลือกสามารถพบได้ในตาราง 4 ขอบเขตการตัดสินใจของต้นไม้ 2 แสดงในรูปที่ 6

\ คล้ายกับผลลัพธ์ของชุดข้อมูล Gaussian สังเคราะห์ เราสังเกตประสิทธิภาพที่ดีกว่าจาก SDP และ Moment เมื่อเทียบกับ PGD และเนื่องจากความไม่สมดุลของข้อมูลที่วิธี GD มักประสบปัญหา เรามีการเพิ่มขึ้นที่มากขึ้นในคะแนน weighted F1 ในกรณีนี้ นอกจากนี้ เราสังเกตเห็นช่องว่างความเหมาะสมที่ใหญ่สำหรับ SDP แต่ช่องว่างที่แน่นมากสำหรับ Moment ซึ่งรับรองความเหมาะสมของ Moment แม้ในขณะที่ความไม่สมดุลของคลาสรุนแรง

\

\

:::info ผู้แต่ง:

(1) Sheng Yang, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA ([email protected]);

(2) Peihan Liu, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA ([email protected]);

(3) Cengiz Pehlevan, John A. Paulson School of Engineering and Applied Sciences, Harvard University, Cambridge, MA, Center for Brain Science, Harvard University, Cambridge, MA, และ Kempner Institute for the Study of Natural and Artificial Intelligence, Harvard University, Cambridge, MA ([email protected]).

:::

:::info บทความนี้ มีให้บน arxiv ภายใต้สัญญาอนุญาต CC by-SA 4.0 Deed (Attribution-Sharealike 4.0 International)

:::

\