ปาฏิหาริย์ของ A.I. บอกอะไรเกี่ยวกับอนาคตของเทคโนโลยีธุรกิจ

AI21 Labs เปรียบเสมือนคำตอบโต้จากอิสราเอลต่อ OpenAI ที่ตั้งอยู่ในสหรัฐฯ บริษัทนี้เป็นทั้งห้องปฏิบัติการวิจัยที่ทำงานล้ำสมัยด้านการประมวลผลภาษาธรรมชาติ (NLP) และยังเป็นธุรกิจเชิงพาณิชย์ที่มุ่งหวังจะผลักดันพัฒนาการล่าสุดเหล่านั้นไปสู่ผลิตภัณฑ์ที่ธุรกิจจริงสามารถใช้งานได้—และจ่ายเงินซื้อได้
AI21 Labs ก่อตั้งโดย Yoav Shoham ศาสตราจารย์กิตติคุณด้านปัญญาประดิษฐ์จากมหาวิทยาลัย Stanford; Amnon Shashua ผู้ก่อตั้งบริษัทซอฟต์แวร์ขับขี่อัตโนมัติ Mobileye ซึ่งถูก Intel เข้าซื้อกิจการ; และ Ori Goshen ผู้ก่อตั้งแพลตฟอร์มระดมทุน CrowdX เป้าหมายอันสูงส่งของบริษัทคือ "การจินตนาการใหม่เกี่ยวกับวิธีที่ผู้คนอ่านและเขียน เพื่อสิ่งที่ดีกว่า"
ห้องปฏิบัติการได้สร้างระบบใหม่ที่เรียกอย่างกล้าหาญว่า "Miracle" ซึ่งเป็นเวอร์ชันที่เป็นมิตรกว่าของ MRKL ซึ่งเป็นตัวย่อของ Modular Reasoning, Knowledge and Language system (ระบบการใช้เหตุผล ความรู้ และภาษาแบบโมดูลาร์) MRKL มีความสำคัญเนื่องจากสิ่งที่มันบ่งบอกเกี่ยวกับแนวโน้มสำคัญ 4 ประการในการที่ธุรกิจจะใช้ A.I. ในอนาคต
ประการแรก MRKL ได้รับการออกแบบมาเพื่อจัดการงานภาษาธรรมชาติทุกประเภท ไม่ใช่แค่งานเฉพาะอย่างเดียวอย่างที่ระบบส่วนใหญ่เคยทำมาจนถึงเมื่อไม่นานนี้ ตัวอย่างเช่น หากคุณต้องการแชทบอตบริการลูกค้า A.I. ตัวเดียวกันนั้นไม่สามารถช่วยวิเคราะห์ความรู้สึกในการประชุมรายงานผลประกอบการของ CEO ได้ แต่ตอนนี้เอนจิน NLP เดียวสามารถช่วยจัดการทั้งสองงานได้ นี่เป็นอีกตัวอย่างหนึ่งของการปฏิวัติที่แท้จริงใน NLP และผลกระทบที่เริ่มมีต่อธุรกิจ
แนวโน้มที่สองซึ่งเกี่ยวข้องอย่างใกล้ชิดที่ควรสังเกตคือ ระบบ NLP อเนกประสงค์เหล่านี้จะถูกสร้างขึ้นบน "โมเดลภาษาขนาดใหญ่พิเศษ" มากขึ้นเรื่อยๆ ซึ่งเป็นอัลกอริทึมเดี่ยวที่เรียนรู้ความสัมพันธ์ทางสถิติระหว่างคำหลายพันล้านรายการ โมเดลเหล่านี้ได้รับการฝึกฝนด้วยข้อความจำนวนมหาศาลที่รวบรวมจากอินเทอร์เน็ต รวมถึงหนังสือที่เขียนเป็นภาษาอังกฤษและภาษาอื่นๆ รวมถึงแหล่งข้อมูลสาธารณะอย่าง Wikipedia และกระทู้ Reddit ระบบส่วนใหญ่เหล่านี้ได้รับการฝึกฝนให้ทำนายคำที่หายไปในประโยคหรือคำถัดไปในประโยค แต่ปรากฏว่าเมื่อคุณสร้างระบบ A.I. ที่ใหญ่ขนาดนั้นและฝึกให้ทำสิ่งหนึ่ง มันยังสามารถทำสิ่งอื่นๆ อีกมากมายได้โดยแทบไม่ต้องฝึกเพิ่มเติม ไม่ว่าจะเป็นการแปลภาษา การตอบคำถาม และการเขียนข้อความต้นฉบับ
ยิ่งไปกว่านั้น ด้วยการฝึกเพิ่มเติมเพียงเล็กน้อยบนตัวอย่างจำนวนค่อนข้างน้อย โมเดลภาษาขนาดใหญ่เหล่านี้มักสามารถทำงานได้ดีกว่าระบบ A.I. ขนาดเล็กที่ได้รับการฝึกฝนบนชุดข้อมูลขนาดใหญ่—ซึ่งมักถูกจัดทำด้วยค่าใช้จ่ายสูง—เพื่อทำงานเฉพาะอย่างเดียวที่แคบ ความสามารถในการทำงานด้วย "ข้อมูลน้อย" นี้เองที่ทำให้โมเดลภาษาขนาดใหญ่พิเศษมีความน่าดึงดูดต่อธุรกิจอย่างมาก เพราะการใช้งานอาจเร็วกว่าและถูกกว่า
ตัวอย่างที่เป็นที่รู้จักมากที่สุดของโมเดลภาษาขนาดใหญ่พิเศษที่พร้อมใช้งานเชิงพาณิชย์อาจเป็น GPT-3 ของ OpenAI OpenAI มีความสัมพันธ์ใกล้ชิดกับ Microsoft ซึ่งลงทุนมากกว่า 1 พันล้านดอลลาร์ในบริษัท และไม่น่าแปลกใจที่ Microsoft ได้นำ GPT-3 มาใช้ในผลิตภัณฑ์ที่เขียนโค้ดคอมพิวเตอร์โดยอัตโนมัติ และยังเปิดให้ลูกค้าคลาวด์ Azure ใช้เทคโนโลยีนี้ด้วย

AI21 Labs มีโมเดลภาษาขนาดใหญ่พิเศษของตัวเองที่เรียกว่า Jurassic-1 ซึ่งเปิดตัวเชิงพาณิชย์เมื่อปีที่แล้ว และอ้างว่าเหนือกว่า GPT-3 ส่วนหนึ่งเพราะมี "คลังคำโทเค็น" ที่ใหญ่กว่า ซึ่งหมายถึงจำนวนคำและส่วนของคำที่มันรู้จัก Jurassic มีคลังคำโทเค็นมากกว่า 250,000 คำ ซึ่งมากกว่า GPT-3 ถึง 5 เท่า
มีปัญหาที่ได้รับการบันทึกไว้เป็นอย่างดีเกี่ยวกับโมเดลภาษาขนาดใหญ่พิเศษเหล่านี้ รวมถึงการที่พวกมันอาจถูกกระตุ้นให้สร้างภาษาที่เป็นพิษ แต่ข้อบกพร่องใหญ่อีกประการหนึ่งคือพวกมันมีแนวโน้มที่จะสร้างข้อมูลที่ไม่ถูกต้องในการตอบคำถามเชิงข้อเท็จจริง
ตัวอย่างเช่น ถามให้ GPT-3 บวกสองบวกสอง มันจะบอกคุณอย่างมั่นใจว่าสี่ แต่ถามให้บวกตัวเลขสี่และห้าหลักหลายตัว มีโอกาสสูงที่มันจะตอบผิดอย่างมั่นใจเช่นกัน ถามว่าสภาพอากาศในนิวยอร์กตอนนี้เป็นอย่างไร มันจะตอบ แต่อาจเป็นอุณหภูมิในนิวยอร์กในช่วงเวลาที่ข้อมูลจาก AccuWeather ถูกรวบรวมเข้าชุดข้อมูลฝึก ไม่ใช่สภาพอากาศวันนี้ ปัญหาเดียวกันนี้ใช้กับคำถามเกี่ยวกับเหตุการณ์ปัจจุบันหรือแม้แต่วิทยาศาสตร์ และเนื่องจากโมเดลภาษาขนาดใหญ่เหล่านี้มีขนาดใหญ่มาก การฝึกจึงมีค่าใช้จ่ายสูงมาก—หลายล้านดอลลาร์—ดังนั้นจึงไม่เป็นการปฏิบัติที่ดีที่จะอัปเดตอย่างต่อเนื่องเพื่อให้ข้อมูลทันสมัย
นี่คือปัญหาที่ AI21 Labs ตั้งใจแก้ไขด้วย MRKL (ฉันเคยเขียนเกี่ยวกับนวัตกรรมก่อนหน้าของห้องปฏิบัติการที่นี่) ซึ่งนำเราไปสู่แนวโน้มใหญ่ที่สามที่ MRKL เป็นตัวแทน: MRKL เป็นระบบไฮบริด มันไม่ได้ใช้เพียงแค่ deep learning ซึ่งเป็นวิธี A.I. ที่รับผิดชอบต่อการก้าวกระโดดครั้งใหญ่ส่วนใหญ่ในเทคโนโลยีในช่วงทศวรรษที่ผ่านมา แต่รวมโมดูลต่างๆ เข้าด้วยกัน บางส่วนใช้ deep learning และบางส่วนใช้รูปแบบ A.I. ที่เก่ากว่า คือ symbolic reasoning เพื่อให้การตอบสนองที่ถูกต้องและทันสมัยต่อคำถามเชิงข้อเท็จจริง
สิ่งที่ชาญฉลาดเกี่ยวกับ MRKL คือโมดูลที่เรียกว่า router ที่รับคำถามจากผู้ใช้และคิดออกว่าผู้ใช้กำลังมองหาข้อมูลประเภทใด หากคำถามเกี่ยวข้องกับคณิตศาสตร์ มันจะส่งคำถามนั้นไปยังเครื่องคิดเลขวิทยาศาสตร์แบบธรรมดา หากเกี่ยวข้องกับอัตราแลกเปลี่ยน มันจะส่งไปยังตัวแปลงสกุลเงิน หากเกี่ยวกับสภาพอากาศ มันจะส่งไปยังเว็บไซต์พยากรณ์อากาศ ตามที่ Shoham กล่าว ปัจจุบัน MRKL รองรับโมดูลเฉพาะงาน 55 โมดูล หาก router ไม่แน่ใจว่าโมดูลใดดีที่สุด มันจะเรียกใช้ Jurassic-1 Jurassic ยังช่วยเรียบเรียงภาษาบริบทรอบๆ การตอบสนองของ MRKL ด้วย
นวัตกรรมที่ชาญฉลาดอีกประการหนึ่งคือวิธีที่ AI21 Labs สามารถดึงการตอบสนองที่ถูกต้องจาก Jurassic ได้ โดยใช้วิธีที่เรียกว่า "prompt tuning" ซึ่งวิธีที่คำถามเริ่มต้นหรือข้อความส่วนหนึ่งถูกป้อนให้กับโมเดลภาษาขนาดใหญ่พิเศษช่วยกำหนดลักษณะของผลลัพธ์ นี่เป็นวิธีหนึ่งในการปรับ A.I. สำหรับงานประเภทหนึ่งโดยไม่ต้องปรับแต่งด้วยข้อมูลฝึกเพิ่มเติม ปัญหาของการฝึกเพิ่มเติมคือเมื่อระบบเก่งขึ้นในงานแคบๆ หนึ่งงาน มันกลับแย่ลงในงานอื่นๆ นักวิจัยเรียกปัญหานี้ว่า "catastrophic forgetting" (การลืมแบบหายนะ)
นักวิจัย A.I. บางคนเอาชนะ catastrophic forgetting โดยการฝึกโมเดลสำหรับงานที่หลากหลายและแตกต่างกันในเวลาเดียวกัน แต่นั่นต้องใช้พลังคอมพิวเตอร์ เวลา และเงินจำนวนมาก Prompt tuning หลีกเลี่ยงสิ่งนี้ได้ นวัตกรรมของ AI21 Labs กับ MRKL คือการสร้างโมดูล deep learning ขนาดเล็กที่สามารถ prompt tune Jurassic โดยอัตโนมัติแบบทันที โดยรับคำถามของผู้ใช้และเรียบเรียงชุด prompt ที่ดีที่สุดเพื่อกระตุ้น Jurassic ให้ตอบในรูปแบบและรูปแบบที่ถูกต้อง
และด้วยเหตุนี้ นี่คือข่าว A.I. ที่เหลือของสัปดาห์นี้   

Jeremy Kahn
@jeremyakahn
[email protected]

บทความนี้เผยแพร่ครั้งแรกบน Fortune.com