คณะลูกขุน SignedAI (โอเพนซอร์ส)
ถามหลายโมเดลอิสระ แล้วเก็บคำตัดสินที่ลงนามไว้ตรวจซ้ำ
SignedAI เป็นตัวรันคณะลูกขุนที่อยู่ในรีโพโอเพนซอร์สของ Delentia ใช้ได้ด้วยคำสั่ง delentia jury run และตรวจคำตัดสินด้วย delentia jury verify ไม่ใช่บริการ API แบบโฮสต์ และยังไม่มีราคา
ทำงานอย่างไร
- 1สมาชิกทุกคนในคณะลูกขุนได้รับคำถามเดียวกันเกี่ยวกับข้อเสนอเดียวกัน โดยอิสระ และไม่เห็นคำตอบของกัน
- 2คำตอบแต่ละอันถูกอ่านเป็นเห็นด้วย ไม่เห็นด้วย หรืองดออกเสียง คำตอบที่อ่านไม่ได้ หมดเวลา หรือเกิดข้อผิดพลาด นับเป็นงดออกเสียง ไม่เคยนับเป็นเห็นด้วย
- 3ระดับ (tier) กำหนดจำนวนเสียงเห็นด้วยที่ต้องมีและสัดส่วนที่ต้องได้ การงดออกเสียงไม่เคยช่วยให้ข้อเสนอผ่าน
- 4คำตัดสินถูกเขียนเป็นระเบียนมาตรฐานพร้อม SHA-256 และลงนามด้วยคีย์ Ed25519 ได้ ใครก็ตรวจซ้ำได้ด้วย delentia jury verify
กติกาที่ใส่ไว้ในโค้ด
- คณะลูกขุนที่เป็นโมเดลเดียวไม่ใช่คณะลูกขุน หากโมเดลที่ตอบมีจำนวนต่างกันน้อยกว่าที่กำหนด จะไม่ถือว่าได้ฉันทามติ
- ในระดับเข้มที่สุด ประธานสามารถยับยั้งได้ แต่บังคับให้ผ่านเมื่อคณะลูกขุนไม่เห็นด้วยไม่ได้
- คีย์ไม่เคยอยู่ในไฟล์ของคณะลูกขุน ไฟล์ระบุเพียงชื่อ environment variable
ทดสอบแล้ว
- กติกาการลงคะแนนข้างต้นมีชุดทดสอบครอบคลุม โดยใช้ผู้ลงคะแนนแบบสคริปต์
- ชุดทดสอบรวมระบบรันเซิร์ฟเวอร์ HTTP สี่ตัวแยกกันเป็นสมาชิก และตรวจคำตัดสินที่ลงนาม
ยังไม่ได้ทำ / ไม่ได้อ้าง
- ยังไม่เคยลงคะแนนจริงข้ามโมเดลของหลายผู้ให้บริการ
- ไม่มีหลักฐานว่าคณะลูกขุนแม่นยำกว่าโมเดลเดียวหรือลด hallucination ได้ เราไม่อ้างตัวเลขใด ๆ
- ไม่มี SignedAI API แบบโฮสต์ ไม่มีราคาต่อการรีวิว และไม่มีรายชื่อโมเดลตายตัว