ซิดนีย์, ออสเตรเลีย – ผู้ที่แสดงแนวโน้มสุดโต่งที่รุนแรงบน ChatGPT จะถูกนำไปสู่การสนับสนุนการขจัดความหัวรุนแรงโดยมนุษย์และแชทบอทผ่านเครื่องมือใหม่ที่กำลังพัฒนาในนิュージีแลนด์ ผู้อยู่เบื้องหลังกล่าว
ความคิดริเริ่มนี้เป็นความพยายามล่าสุดในการจัดการกับข้อกังวลด้านความปลอดภัยท่ามกลางคดีความที่เพิ่มขึ้นซึ่งกล่าวหาบริษัท AI ว่าล้มเหลวในการหยุดยั้ง และแม้กระทั่งส่งเสริมความรุนแรง
OpenAI ถูกคุกคามด้วยการแทรกแซงจากรัฐบาลแคนาดาในเดือนกุมภาพันธ์หลังจากเปิดเผยว่าบุคคลที่ดำเนินการยิงในโรงเรียนที่มีผู้เสียชีวิตถูกแบนโดยแพลตฟอร์มโดยไม่ได้แจ้งเจ้าหน้าที่
ThroughLine สตาร์ทอัพที่ถูกจ้างในช่วงไม่กี่ปีที่ผ่านมาโดยเจ้าของ ChatGPT คือ OpenAI รวมถึงคู่แข่งอย่าง Anthropic และ Google เพื่อเปลี่ยนเส้นทางผู้ใช้ไปยังการสนับสนุนในภาวะวิกฤตเมื่อพวกเขาถูกตั้งค่าสถานะว่ามีความเสี่ยงต่อการทำร้ายตนเอง ความรุนแรงในครอบครัว หรือโรคความผิดปกติทางการกิน ยังกำลังสำรวจวิธีการขยายข้อเสนอเพื่อรวมถึงการป้องกันความหัวรุนแรงที่รุนแรง ผู้ก่อตั้งและอดีตนักสังคมสงเคราะห์เยาวชน Elliot Taylor กล่าว
บริษัทกำลังหารือกับ The Christchurch Call ความคิดริเริ่มในการกำจัดความเกลียดชังออนไลน์ที่ก่อตั้งขึ้นหลังจากการโจมตีของผู้ก่อการร้ายที่เลวร้ายที่สุดของนิュージีแลนด์ในปี 2019 ซึ่งจะเกี่ยวข้องกับกลุ่มต่อต้านความหัวรุนแรงที่ให้คำแนะนำในขณะที่ ThroughLine พัฒนาแชทบอทแทรกแซง อดีตนักสังคมสงเคราะห์เยาวชนกล่าว
"มันเป็นสิ่งที่เราต้องการจะก้าวไปสู่และทำงานได้ดีขึ้นในการครอบคลุมแล้วสามารถสนับสนุนแพลตฟอร์มได้ดีขึ้น" Taylor กล่าวในการสัมภาษณ์ โดยเสริมว่ายังไม่ได้กำหนดกรอบเวลา
OpenAI ยืนยันความสัมพันธ์กับ ThroughLine แต่ปฏิเสธที่จะแสดงความคิดเห็นเพิ่มเติม Anthropic และ Google ไม่ได้ตอบสนองต่อคำขอแสดงความคิดเห็นทันที
บริษัทของ Taylor ซึ่งเขาดำเนินการจากบ้านในชนบทของนิュージีแลนด์ ได้กลายเป็นที่พึ่งสำหรับบริษัท AI ด้วยข้อเสนอของเครือข่ายสายด่วนที่ตรวจสอบอย่างต่อเนื่อง 1,600 สายใน 180 ประเทศ
เมื่อ AI ตรวจพบสัญญาณของวิกฤตสุขภาพจิตที่อาจเกิดขึ้น มันจะนำเส้นทางผู้ใช้ไปยัง ThroughLine ซึ่งจับคู่พวกเขากับบริการที่ดำเนินการโดยมนุษย์ที่มีอยู่ในบริเวณใกล้เคียง
แต่ขอบเขตของ ThroughLine ถูกจำกัดให้อยู่ในหมวดหมู่เฉพาะ ผู้ก่อตั้งกล่าว ความกว้างของการดิ้นรนด้านสุขภาพจิตที่ผู้คนเปิดเผยออนไลน์ได้ระเบิดด้วยความนิยมของแชทบอท AI และตอนนี้รวมถึงการหลงใหลในความหัวรุนแรง เขากล่าวเสริม
เครื่องมือต่อต้านความหัวรุนแรงน่าจะเป็นโมเดลผสมผสานที่รวมแชทบอทที่ได้รับการฝึกฝนให้ตอบสนองต่อผู้ที่แสดงสัญญาณของความหัวรุนแรงและการอ้างอิงไปยังบริการสุขภาพจิตในโลกแห่งความเป็นจริง Taylor กล่าว
"เราไม่ได้ใช้ข้อมูลการฝึกอบรมของ LLM พื้นฐาน" เขากล่าว โดยอ้างถึงชุดข้อมูลทั่วไปที่แพลตฟอร์มโมเดลภาษาขนาดใหญ่ใช้เพื่อสร้างข้อความที่สอดคล้องกัน "เรากำลังทำงานกับผู้เชี่ยวชาญที่ถูกต้อง" เทคโนโลยีกำลังถูกทดสอบอยู่ในขณะนี้ แต่ยังไม่ได้กำหนดวันที่เปิดตัว
Galen Lamphere-Englund ที่ปรึกษาด้านการต่อต้านการก่อการร้ายที่เป็นตัวแทนของ The Christchurch Call กล่าวว่าเขาหวังว่าจะเปิดตัวผลิตภัณฑ์สำหรับผู้ดูแลของฟอรัมเกมและสำหรับผู้ปกครองและผู้ดูแลที่ต้องการกำจัดความหัวรุนแรงออนไลน์
เครื่องมือเปลี่ยนเส้นทางแชทบอทเป็น "ความคิดที่ดีและจำเป็นเพราะมันตระหนักว่าไม่ใช่แค่เนื้อหาที่เป็นปัญหา แต่เป็นพลวัตของความสัมพันธ์" Henry Fraser นักวิจัย AI ที่ Queensland University of Technology กล่าว
ความสำเร็จของผลิตภัณฑ์อาจขึ้นอยู่กับคำถามของ "กลไกติดตามผลดีแค่ไหนและโครงสร้างและความสัมพันธ์ที่พวกเขานำผู้คนเข้าสู่การจัดการกับปัญหาดีแค่ไหน" เขากล่าว
Taylor กล่าวว่าคุณสมบัติติดตามผล รวมถึงการแจ้งเตือนที่เป็นไปได้ให้กับเจ้าหน้าที่เกี่ยวกับผู้ใช้ที่อันตราย ยังคงต้องกำหนด แต่จะคำนึงถึงความเสี่ยงใดๆ ในการกระตุ้นพฤติกรรมที่บานปลาย
เขากล่าวว่าผู้คนที่อยู่ในความทุกข์มีแนวโน้มที่จะแบ่งปันสิ่งต่างๆ ออนไลน์ที่พวกเขาอายเกินไปที่จะพูดกับบุคคล และรัฐบาลเสี่ยงต่อการทำให้อันตรายรุนแรงขึ้นหากพวกเขากดดันแพลตฟอร์มให้ตัดผู้ใช้ที่มีส่วนร่วมในการสนทนาที่ละเอียดอ่อน
การกลั่นกรองที่เพิ่มขึ้นที่เกี่ยวข้องกับการต่อสู้โดยแพลตฟอร์มภายใต้แรงกดดันจากการบังคับใช้กฎหมายได้เห็นผู้สนับสนุนย้ายไปยังทางเลือกอื่นที่มีการควบคุมน้อยกว่าเช่น Telegram ตามการศึกษาปี 2025 โดย Stern Center for Business and Human Rights ของ New York University
"ถ้าคุณพูดคุยกับ AI และเปิดเผยวิกฤตและมันปิดการสนทนา ไม่มีใครรู้ว่าเกิดอะไรขึ้น และบุคคลนั้นอาจยังคงอยู่โดยไม่มีการสนับสนุน" Taylor กล่าว – Rappler.com


