ALBERT ปั๊มไฮดรอลิก ABT1-55-4R02-Z11 ALBERT ABT1-25-1R00-B10E ABT1-55-2R02-C1 ปั๊มใบพัด ปั๊มเซอร์โวไฮดรอลิกการเพิ่มขนาดแบบจำลองเมื่อเตรียมการแทนภาษาธรรมชาติล่วงหน้ามักส่งผลให้ประสิทธิภาพในการทำงานดาวน์สตรีมดีขึ้น อย่างไรก็ตาม ในบางจุดการเพิ่มรุ่นต่อไปจะยากขึ้นเนื่องจากข้อจำกัดของหน่วยความจำ GPU/TPU และ เวลาฝึกนานขึ้น เพื่อแก้ไขปัญหาเหล่านี้ เรานำเสนอเทคนิคการลดพารามิเตอร์สองวิธีเพื่อลดการใช้หน่วยความจำและเพิ่มการฝึก ความเร็วของ BERT (Devlin et al., 2019) แสดงหลักฐานเชิงประจักษ์อย่างครอบคลุม วิธีการที่เรานำเสนอนำไปสู่แบบจำลองที่ปรับขนาดได้ดีกว่ามากเมื่อเทียบกับ เบิร์ตคนเดิม เรายังใช้การสูญเสียที่ดูแลตนเองซึ่งมุ่งเน้นไปที่การสร้างแบบจำลอง การเชื่อมโยงระหว่างประโยคและแสดงอย่างสม่ำเสมอช่วยงานปลายน้ำด้วย อินพุตหลายประโยค ด้วยเหตุนี้ โมเดลที่ดีที่สุดของเราจึงสร้างนวัตกรรมล้ำสมัยขึ้นมาใหม่ ผลลัพธ์ในเกณฑ์มาตรฐาน GLUE, RACE และ SQuAD ในขณะที่มีพารามิเตอร์น้อยกว่าเมื่อเทียบกับ BERT-large มีรหัสและรุ่นที่ได้รับการฝึกอบรมไว้ล่วงหน้า |
