Home » Chatbots และโมเดลภาษาขนาดใหญ่หรือ LLM ทำงานอย่างไร

Chatbots และโมเดลภาษาขนาดใหญ่หรือ LLM ทำงานอย่างไร

โดย admin
0 ความคิดเห็น

ในครั้งที่สองของเรา ซีรีส์ห้าตอนฉันจะอธิบายว่าเทคโนโลยีใช้งานได้จริงอย่างไร

ปัญญาประดิษฐ์ที่ขับเคลื่อน ChatGPT, Bing chatbot ของ Microsoft และ Bard ของ Google สามารถดำเนินการสนทนาแบบมนุษย์และเขียนร้อยแก้วที่เป็นธรรมชาติและลื่นไหลในหัวข้อที่หลากหลายไม่รู้จบ พวกเขายังสามารถทำงานที่ซับซ้อนได้ตั้งแต่การเขียนโค้ดไปจนถึงการวางแผนงานเลี้ยงวันเกิดของเด็กๆ

แต่มันทำงานอย่างไร? เพื่อตอบคำถามนี้ เราต้องแอบดูสิ่งที่เรียกว่าโมเดลภาษาขนาดใหญ่ ซึ่งเป็นประเภทของ AI ที่ขับเคลื่อนระบบเหล่านี้

โมเดลภาษาขนาดใหญ่หรือ LLM ค่อนข้างใหม่ในแวดวง AI คนแรกปรากฏตัวเมื่อประมาณห้าปีที่แล้วและไม่ค่อยดีนัก แต่ปัจจุบันพวกเขาสามารถร่างอีเมล งานนำเสนอ และบันทึกช่วยจำและ สอนคุณเป็นภาษาต่างประเทศ. ความสามารถที่มากขึ้นก็จะปรากฏให้เห็นในอีกไม่กี่เดือนและปีข้างหน้า เนื่องจากเทคโนโลยีได้รับการปรับปรุงและ Silicon Valley แย่งชิงเงินสด

ฉันจะแนะนำคุณเกี่ยวกับการตั้งค่าโมเดลภาษาขนาดใหญ่ตั้งแต่เริ่มต้น ทำให้สิ่งต่างๆ ง่ายขึ้น และไม่ต้องเสียเวลากับคณิตศาสตร์ยากๆ มากมาย สมมติว่าเรากำลังพยายามสร้าง LLM เพื่อช่วยคุณในการตอบกลับอีเมลของคุณ เราจะเรียกมันว่า MailBot

ระบบ AI ทุกระบบต้องการเป้าหมาย นักวิจัยเรียกสิ่งนี้ว่า ฟังก์ชั่นวัตถุประสงค์. อาจเป็นเรื่องง่าย ตัวอย่างเช่น “ชนะเกมหมากรุกให้ได้มากที่สุด” หรือซับซ้อน เช่น “ทำนายรูปร่างสามมิติของโปรตีนโดยใช้ลำดับกรดอะมิโนเท่านั้น”

โมเดลภาษาขนาดใหญ่ส่วนใหญ่มีฟังก์ชันวัตถุประสงค์พื้นฐานเหมือนกัน: ให้เดาลำดับของข้อความว่าจะเกิดอะไรขึ้นต่อไป เราจะให้ MailBot กำหนดเป้าหมายที่เจาะจงมากขึ้นในภายหลัง แต่เราจะยึดเป้าหมายนั้นไว้ก่อน

ต่อไป เราต้องรวบรวมข้อมูลการฝึกอบรมที่จะสอนวิธีการเขียน MailBot ตามหลักการแล้ว เราจะรวบรวมที่เก็บข้อความขนาดใหญ่ ซึ่งมักจะหมายถึงหน้าเว็บหลายพันล้านหน้าที่คัดมาจากอินเทอร์เน็ต เช่น บล็อกโพสต์ ทวีต บทความ Wikipedia และข่าวสารต่างๆ

ในการเริ่มต้น เราจะใช้คลังข้อมูลฟรีที่เปิดเผยต่อสาธารณะ เช่น ที่เก็บข้อมูล Common Crawl ของข้อมูลเว็บ แต่เรายังต้องการที่จะเพิ่มซอสลับของเราเอง ในรูปแบบของข้อมูลที่เป็นกรรมสิทธิ์หรือข้อมูลเฉพาะ บางทีเราอาจจะอนุญาตให้ใช้ข้อความภาษาต่างประเทศบางข้อความ เพื่อให้ MailBot เรียนรู้การเขียนอีเมลเป็นภาษาฝรั่งเศส ภาษาสเปน และภาษาอังกฤษ โดยทั่วไป ยิ่งเรามีข้อมูลและแหล่งที่มาที่หลากหลายมากเท่าใด โมเดลของเราก็จะยิ่งดีขึ้นเท่านั้น

ก่อนที่เราจะป้อนข้อมูลลงในโมเดลของเรา เราต้องแบ่งข้อมูลออกเป็นหน่วยที่เรียกว่าโทเค็น ซึ่งอาจเป็นคำ วลี หรือแม้แต่อักขระแต่ละตัว การแปลงข้อความเป็นชิ้นขนาดพอดีคำช่วยให้โมเดลวิเคราะห์ได้ง่ายขึ้น

เมื่อข้อมูลของเราได้รับการโทเค็นแล้ว เราจำเป็นต้องรวบรวม “สมอง” ของ AI ซึ่งเป็นระบบประเภทหนึ่งที่เรียกว่าโครงข่ายประสาทเทียม นี่คือเครือข่ายที่ซับซ้อนของโหนดที่เชื่อมต่อถึงกัน (หรือ “เซลล์ประสาท”) ที่ประมวลผลและจัดเก็บข้อมูล

สำหรับ MailBot เราจะต้องการใช้โครงข่ายประสาทเทียมชนิดใหม่ที่เรียกว่า a รุ่นหม้อแปลง. สามารถวิเคราะห์ข้อความหลายส่วนพร้อมกันได้ ทำให้รวดเร็วและมีประสิทธิภาพมากขึ้น (โมเดลหม้อแปลงเป็นกุญแจสำคัญในระบบเช่น ChatGPT ซึ่งตัวย่อเต็มย่อมาจาก “Generative Pretrained Transformer”)

ต่อไป โมเดลจะวิเคราะห์ข้อมูล โทเค็นต่อโทเค็น ระบุรูปแบบและความสัมพันธ์ อาจสังเกตเห็นว่า “เรียน” มักตามด้วยชื่อ หรือ “ขอแสดงความนับถือ” มักนำหน้าชื่อของคุณ เมื่อระบุรูปแบบเหล่านี้ AI จะเรียนรู้วิธีสร้างข้อความที่เหมาะสม

ระบบยังพัฒนาความรู้สึกของบริบท ตัวอย่างเช่น อาจเรียนรู้ว่า “ธนาคาร” สามารถหมายถึงสถาบันการเงินหรือริมแม่น้ำ ทั้งนี้ขึ้นอยู่กับคำที่อยู่รอบๆ

เมื่อเรียนรู้รูปแบบเหล่านี้ แบบจำลองหม้อแปลงจะร่างแผนที่: การแสดงทางคณิตศาสตร์ที่ซับซ้อนอย่างมากของภาษามนุษย์ ติดตามความสัมพันธ์เหล่านี้โดยใช้ค่าตัวเลขที่เรียกว่า พารามิเตอร์. LLM ที่ดีที่สุดในปัจจุบันหลายแห่งมีพารามิเตอร์หลายแสนล้านพารามิเตอร์หรือมากกว่านั้น

การฝึกอบรมอาจใช้เวลาหลายวันหรือหลายสัปดาห์ และต้องใช้พลังการประมวลผลจำนวนมหาศาล แต่เมื่อเสร็จแล้ว ก็เกือบจะพร้อมที่จะเริ่มเขียนอีเมลของคุณแล้ว

มันอาจพัฒนาทักษะอื่น ๆ ได้เช่นกัน เมื่อ LLM เรียนรู้ที่จะคาดเดาคำถัดไปตามลำดับ ซ้ำแล้วซ้ำเล่า พวกเขาสามารถรับความสามารถอื่นๆ ที่คาดไม่ถึง เช่น การรู้วิธีการเขียนโค้ด นักวิจัย AI เรียกพฤติกรรมที่เกิดขึ้นใหม่เหล่านี้ และบางครั้งพวกเขาก็ยังรู้สึกประหลาดใจ

เมื่อโมเดลภาษาขนาดใหญ่ได้รับการฝึกฝนแล้ว จำเป็นต้องปรับเทียบสำหรับงานเฉพาะ แชทบอทที่ใช้ในโรงพยาบาลอาจต้องเข้าใจคำศัพท์ทางการแพทย์ เป็นต้น

ในการปรับแต่ง MailBot อย่างละเอียด เราสามารถขอให้สร้างอีเมลจำนวนมาก จ้างคนเพื่อประเมินความแม่นยำ จากนั้นป้อนการให้คะแนนกลับเข้าไปในโมเดลจนกว่าจะปรับปรุง

นี่เป็นแนวทางคร่าว ๆ ที่ใช้กับ ChatGPT ซึ่งรู้จักกันในชื่อ เสริมการเรียนรู้ด้วยความคิดเห็นของมนุษย์.

ยินดีด้วย! เมื่อ MailBot ได้รับการฝึกอบรมและปรับแต่งเรียบร้อยแล้ว ก็พร้อมใช้งาน หลังจากที่คุณสร้างส่วนต่อประสานผู้ใช้บางอย่างให้กับมันแล้ว — เช่น ส่วนขยายของ Chrome ที่เสียบเข้ากับแอปอีเมลของคุณ — มันจะเริ่มแยกอีเมลออก

แต่ไม่ว่ามันจะดูดีแค่ไหน คุณก็ยังต้องการติดตามดูผู้ช่วยใหม่ของคุณ ในขณะที่บริษัทต่างๆ เช่น Microsoft และ Meta ได้เรียนรู้วิธีการที่ยากลำบาก ระบบ AI อาจไม่แน่นอนและคาดเดาไม่ได้ หรือแม้แต่กลายเป็นเรื่องน่าขนลุกและเป็นอันตราย

พรุ่งนี้เราจะได้ทราบข้อมูลเพิ่มเติมว่าสิ่งต่างๆ ผิดพลาดในลักษณะที่ไม่คาดคิดและบางครั้งอาจรบกวนได้อย่างไร

มาสำรวจหนึ่งในความสามารถเชิงสร้างสรรค์ของ LLM กัน: ความสามารถในการรวมแนวคิดและรูปแบบที่แตกต่างกันให้กลายเป็นสิ่งที่แปลกประหลาดและแปลกใหม่ ตัวอย่างเช่น เพื่อนร่วมงานของเราที่ Well ขอให้ ChatGPT “เขียนเพลงด้วยเสียงของ Taylor Swift โดยใช้ธีมจากหนังสือของ Dr. Seuss”

สำหรับการบ้านวันนี้ พยายามผสมผสานรูปแบบ สไตล์ และหัวข้อเข้าด้วยกัน เช่น “เขียนโคลงในสไตล์ของ Snoop Dogg เกี่ยวกับภาวะโลกร้อน”

อย่าลืมแบ่งปันสิ่งที่คุณสร้างเป็นความคิดเห็น


คำถามที่ 1 จาก 3

เริ่มแบบทดสอบโดยเลือกคำตอบของคุณ


  • รุ่นหม้อแปลง: สถาปัตยกรรมโครงข่ายประสาทเทียมมีประโยชน์สำหรับการทำความเข้าใจภาษา ซึ่งไม่ต้องวิเคราะห์คำทีละคำ แต่สามารถดูทั้งประโยคได้ในคราวเดียว เทคนิคที่เรียกว่า self-attention ช่วยให้ตัวแบบสามารถโฟกัสไปที่คำเฉพาะที่มีความสำคัญในการทำความเข้าใจความหมายของประโยค

  • พารามิเตอร์: ค่าตัวเลขที่กำหนดโครงสร้างและพฤติกรรมของโมเดลภาษาขนาดใหญ่ เช่น คำใบ้ที่ช่วยให้เดาคำที่จะตามมา ระบบสมัยใหม่อย่าง GPT-4 นั้นเชื่อกันว่ามีพารามิเตอร์หลายแสนล้านพารามิเตอร์

  • การเรียนรู้การเสริมแรง: เทคนิคที่สอนแบบจำลอง AI เพื่อค้นหาผลลัพธ์ที่ดีที่สุดโดยการลองผิดลองถูก รับรางวัลหรือลงโทษจากอัลกอริทึมตามผลลัพธ์ ระบบนี้สามารถปรับปรุงได้โดยมนุษย์ให้ข้อเสนอแนะเกี่ยวกับประสิทธิภาพ

คลิกที่นี่เพื่อดูคำศัพท์เพิ่มเติม

You may also like

ทิ้งข้อความไว้

Copyright ©️ All rights reserved. | Best of Thailand