คำตอบที่ผิดของ AI: Delentia ทำอะไรได้และทำอะไรไม่ได้
เราไม่อ้างว่าป้องกัน hallucination ได้ ตัวเลขที่เคยอยู่ในหน้านี้ไม่ได้มาจากการวัดและถูกถอนแล้ว หน้านี้บอกสิ่งที่ระบบทำจริง สิ่งที่วัดแล้ว และสิ่งที่ยังไม่เคยแสดง
สิ่งที่ระบบทำ
- กันไม่ให้คำตอบที่ผิดสร้างความเสียหาย: ทุกการเรียกเครื่องมือผ่านด่านความปลอดภัย และการกระทำที่เสี่ยงต้องรอลายเซ็นของมนุษย์ เรื่องนี้เกี่ยวกับสิ่งที่ agent ทำ ไม่ใช่ว่าคำพูดของมันจริงหรือไม่
- ตรวจคำตอบสุดท้ายเทียบกับหลักฐานที่เก็บมาในรอบนั้น ตัวเลขหรือที่อยู่ที่ไม่ปรากฏในเป้าหมาย บทสนทนา หรือผลของเครื่องมือใดเลย หรือการอ้างว่าทำสิ่งที่ไม่มีเครื่องมือใดทำ ทำให้รอบนั้นไม่นับว่าสำเร็จ
- มีคณะลูกขุนของโมเดลอิสระสำหรับคำถามที่ความเห็นที่สองคุ้มค่า (ดูหน้า SignedAI)
สิ่งที่วัดแล้ว
- การตรวจคำตอบยังอ่อน กับคำตอบจริงของโมเดลท้องถิ่นขนาดเล็ก มันปล่อยคำตอบที่ผิด 5 จาก 16 (ก่อนปรับ 14 จาก 16) และปฏิเสธคำตอบที่ถูก 2 จาก 8 มันกำหนดแค่ว่าระบบจะเรียนรู้จากรอบไหน ไม่เคยกำหนดสิ่งที่คุณเห็น
- เวอร์ชันถัดมาถูกลองกับชุดที่สองและไม่ถูกนำมาใช้ เพราะไม่ผ่านเกณฑ์ที่เขียนไว้ก่อนทดสอบ
สิ่งที่ยังไม่เคยแสดง
- ว่า Delentia ลดคำตอบผิดได้เมื่อเทียบกับโมเดลเดียวกันที่ใช้ตัวเดียว ยังไม่เคยวัด จึงไม่อ้างอัตราใด ๆ
- ว่าคณะลูกขุนของโมเดลแม่นยำกว่าโมเดลเดียว ยังไม่เคยลงคะแนนจริงข้ามผู้ให้บริการ
- ผลใด ๆ กับโมเดลที่เก่งพอ ใช้แค่โมเดลสคริปต์และโมเดลท้องถิ่นขนาดเล็ก