ระบบดูเหมือนจะตอบสนองอย่างเหมาะสม แต่คำตอบไม่ได้คำนึงถึงความสูงของทางเข้าประตู ซึ่งอาจป้องกันไม่ให้รถถังหรือรถแล่นผ่านได้
Sam Altman ผู้บริหารระดับสูงของ OpenAI กล่าวว่าบอทใหม่อาจให้เหตุผล “เล็กน้อย” แต่ทักษะการใช้เหตุผลของมันพังทลายในหลาย ๆ สถานการณ์ ChatGPT เวอร์ชันก่อนหน้าจัดการกับคำถามได้ดีขึ้นเล็กน้อยเนื่องจากตระหนักว่าความสูงและความกว้างมีความสำคัญ
สามารถเอาชนะการทดสอบมาตรฐานได้
OpenAI กล่าวว่าระบบใหม่สามารถทำคะแนนให้นักเรียน 10 อันดับแรกหรือมากกว่านั้นในการสอบเนติบัณฑิต ซึ่งมีคุณสมบัติเป็นทนายความใน 41 รัฐและดินแดน นอกจากนี้ยังสามารถทำคะแนน 1,300 (จาก 1,600 คะแนน) ใน SAT และห้า (จากห้า) ในการสอบวัดระดับขั้นสูงในวิชาชีววิทยา แคลคูลัส เศรษฐศาสตร์มหภาค จิตวิทยา สถิติ และประวัติศาสตร์ ตามการทดสอบของบริษัท
เทคโนโลยีเวอร์ชันก่อนหน้านี้สอบไม่ผ่าน Uniform Bar และทำคะแนนได้ไม่สูงเกือบเท่าการทดสอบวัดระดับขั้นสูงส่วนใหญ่
ในช่วงบ่ายที่ผ่านมา เพื่อแสดงทักษะการทดสอบ นายบรอคแมนได้ป้อนคำถามข้อสอบบาร์ยาวหนึ่งย่อหน้าให้กับบอทใหม่เกี่ยวกับชายที่ทำธุรกิจซ่อมรถบรรทุกดีเซล
คำตอบนั้นถูกต้อง แต่เต็มไปด้วยกฎหมาย ดังนั้นนาย Brockman จึงขอให้บอทอธิบายคำตอบเป็นภาษาอังกฤษง่ายๆ สำหรับคนธรรมดา มันทำเช่นนั้นด้วย
คุยเรื่องอนาคตไม่เก่ง
แม้ว่าบอทใหม่ดูเหมือนจะให้เหตุผลเกี่ยวกับสิ่งต่าง ๆ ที่เกิดขึ้นแล้ว แต่ก็เชี่ยวชาญน้อยกว่าเมื่อถูกขอให้สร้างสมมติฐานเกี่ยวกับอนาคต ดูเหมือนจะใช้สิ่งที่คนอื่นพูดแทนที่จะสร้างการเดาใหม่
เมื่อ Dr. Etzioni ถามบอทใหม่ว่า “อะไรคือปัญหาสำคัญที่ต้องแก้ไขในการวิจัย NLP ในทศวรรษหน้า” — อ้างอิงถึงประเภทของการวิจัย “การประมวลผลภาษาธรรมชาติ” ที่ขับเคลื่อนการพัฒนาระบบเช่น ChatGPT — ไม่สามารถกำหนดแนวคิดใหม่ทั้งหมดได้
และมันยังคงหลอน
บอทใหม่ยังคงสร้างสิ่งต่างๆ เรียกว่า “ภาพหลอน” ปัญหาหลอกหลอนแชทบอทชั้นนำทั้งหมด เนื่องจากระบบไม่เข้าใจว่าอะไรจริงและอะไรไม่จริง ระบบจึงอาจสร้างข้อความที่เป็นเท็จโดยสิ้นเชิง
เมื่อถามถึงที่อยู่ของเว็บไซต์ที่อธิบายการวิจัยโรคมะเร็งล่าสุด บางครั้งเว็บไซต์นั้นสร้างที่อยู่อินเทอร์เน็ตที่ไม่มีอยู่จริง
