สิ่งที่เราวัดจริงแล้ว

ทุกตัวเลขด้านล่างมาจากสคริปต์หรือการรัน CI ในรีโปสาธารณะ พร้อมเหตุผลว่าทำไมจึงอ่อนกว่าที่เห็น ไม่มีข้อใดเป็นการตรวจสอบอิสระ

หน้านี้แทนที่แผนภูมิเดิม (ความแม่นยำ 99.7%, อัตราหลอน 0.3%, ประหยัดต้นทุน 73% และตารางเทียบกับ LangChain และ AutoGPT) ซึ่งไม่เคยมีการวัดรองรับ ตัวเลขเหล่านั้นถูกถอนแล้ว ดู การแก้ไขข้อมูล.

ชุดทดสอบสาธารณะ

ผ่าน 7,820 ข้าม 43 ล้มเหลว 0; ครอบคลุมบรรทัด 91.37%

วัดอย่างไร:: GitHub Actions บนสาขา main วันที่ 12 ต.ค. 2569
ทำไมจึงอ่อนกว่าที่เห็น:: แสดงว่าโค้ดทำงานตามที่ชุดทดสอบเขียนไว้ ไม่ได้แสดงว่าโมเดลใช้เครื่องมือได้ดี
หลักฐาน:: CI run 39122730330

ทดสอบโมเดลที่ถูกยึด (prompt injection)

21 สถานการณ์: 18 ไปถึงผลข้างเคียงที่เป็นอันตรายเมื่อไม่มีเกต, 0 เมื่อมีเกต; เวิร์กโฟลว์ปกติ 6 จาก 6 ยังรันได้

วัดอย่างไร:: โมเดลสคริปต์ที่ทำตามทุกคำสั่งที่อ่านเจอ (กรณีเลวร้ายที่สุด) ถูกให้อ่านหน้าที่ซ่อนคำสั่งไว้ ภายหลังขยายเป็น 23 สถานการณ์ ผลยังเป็น 0
ทำไมจึงอ่อนกว่าที่เห็น:: เป็นกรณีเลวร้ายที่สคริปต์ ไม่ใช่โมเดลจริง กับโมเดลท้องถิ่น 7B จริง เครื่องมือที่เป็นอันตรายรัน 0 ครั้ง แต่โมเดลอ่านหน้าที่ฝังคำสั่งเพียง 11 จาก 18 สถานการณ์ จึงเป็นตัวอย่างเล็ก ไม่ใช่การพิสูจน์ คำตอบที่ผิดแต่ไม่เป็นอันตรายไม่ถูกครอบคลุม
หลักฐาน:: scripts/measure_injection_defence.py

นโยบายเจ้าของค่าเริ่มต้นกับคำขอที่ติดป้ายแล้ว

169 คำขอ: คำขอไม่ปลอดภัย 3 จาก 110 ยังรันได้; คำขอไม่เป็นอันตราย 6 จาก 59 ถูกหยุด

วัดอย่างไร:: ทุกคำขอผ่านเกตและแซนด์บอกซ์เชลล์จริง แล้วเทียบผลกับป้ายที่ติดไว้
ทำไมจึงอ่อนกว่าที่เห็น:: ป้ายเขียนโดยผู้พัฒนา และบางส่วนของชุดถูกใช้ตอนปรับกฎ จึงไม่ใช่การทดสอบอิสระ
หลักฐาน:: research/fdia_calibration_policy_argaware.json

สมการ FDIA เพิ่มอะไรเหนือคุณภาพข้อมูลอย่างเดียวหรือไม่

ยังไม่มีหลักฐาน: F = D^I × A กับ D อย่างเดียวให้ผลเหมือนกันบนชุดแยก (อนุญาตคำขอไม่ปลอดภัย 0%, คำขอไม่เป็นอันตรายถูกหยุดด้วย 89.5%)

วัดอย่างไร:: 120 คำขอที่ติดป้ายผ่านเกตจริง เทียบสมการเต็มกับ D อย่างเดียว
ทำไมจึงอ่อนกว่าที่เห็น:: เป็นผลลบที่เราเปิดเผยโดยตั้งใจ ในการทดสอบนี้ชั้นการอนุมัติโดยมนุษย์และนโยบายเป็นตัวที่ป้องกันจริง
หลักฐาน:: research/fdia_calibration.json

ตัวคัดกรอง injection กับข้อความที่ไม่เคยเห็น

ชุดติดป้ายภายนอก: บล็อกการโจมตีได้ 6.7% ในการดูครั้งแรก, 10% หลังเพิ่มวลีทั่วไป, 23% เมื่อใช้ความเห็นที่สองจากโมเดลเล็ก; ไม่บล็อกผิดเลยใน 532 ข้อความปกติ ชุดแยกภาษาไทย: 15 จาก 31 (48.4%) โดยบล็อกผิด 0 จาก 32

วัดอย่างไร:: ชุดทดสอบ prompt-injection สาธารณะที่ไม่ได้คัดลอกเข้ารีโป ชุดภาษาไทยเขียนเอง ชุดแยกวัดครั้งเดียว
ทำไมจึงอ่อนกว่าที่เห็น:: กฎจับการโจมตีที่ไม่เคยเห็นได้เพียงส่วนน้อย เราจึงใช้เกตเชิงโครงสร้างข้างบนแทนที่จะพึ่งตัวคัดกรอง
หลักฐาน:: research/ (CORD sets and results)

โทเค็นของพรอมต์ไปอยู่ที่ไหน

เมนูเครื่องมือคิดเป็น 94% ของพรอมต์ (7,153 จาก 7,637 โทเค็น, 48 เครื่องมือ) Delta v2 ลดผลลัพธ์เครื่องมือขนาดใหญ่ได้ 48–69% และไม่ลดอะไรเลยถ้าต่ำกว่า 6,000 ตัวอักษร

วัดอย่างไร:: นับโทเค็นด้วย tiktoken จากพรอมต์จริงของรันไทม์และเอกสารจริงขนาด 30 KB สามชุด
ทำไมจึงอ่อนกว่าที่เห็น:: จำนวนโทเค็นเป็นค่าประมาณและขึ้นกับโมเดล อัตราการโดนแคชจริงยังไม่เคยวัด
หลักฐาน:: scripts/measure_prompt_cost.py

การเก็บแบบ Delta เทียบกับการบีบอัดธรรมดา

delta เชิงโครงสร้างประหยัด 70–94% เทียบกับ JSON ดิบ แต่ snapshot รวม zstd ประหยัด 96.7–99.6% ต่างจาก delta รวม zstd ไม่เกิน 3% ยังไม่มีหลักฐานว่า Delta ชนะการบีบอัดทั่วไปสำหรับสตรีม

วัดอย่างไร:: นับไบต์บนข้อมูลจริงของรันไทม์ รวมตารางหน่วยความจำจริง
ทำไมจึงอ่อนกว่าที่เห็น:: Delta ชนะเฉพาะการเข้าถึงแบบสุ่มและการต่อท้าย และไบต์ที่เสียหายทำให้เสียได้ถึง 20 ติ๊ก
หลักฐาน:: research/delta_storage.json

ที่เก็บหน่วยความจำเทียบกับ LangGraph และ mem0

ที่ 2,000 การดำเนินการ: Delentia 1.5 MB (ล็อกที่ปิดผนึก), mem0 7.1 MB, LangGraph 192 MB หลังเรียกคำสั่งลบของแต่ละระบบ ข้อความของบุคคลยังอยู่ในไฟล์ของ LangGraph และ mem0 และหายไปเฉพาะหลังใช้การลบของ Delentia

วัดอย่างไร:: ปริมาณงานสังเคราะห์หนึ่งชุด ค่าเริ่มต้นของ mem0ai 2.2.1 และ LangGraph กับ SqliteSaver สแกนไฟล์ฐานข้อมูลดิบหาข้อความ
ทำไมจึงอ่อนกว่าที่เห็น:: ปริมาณงานชุดเดียวและค่าเริ่มต้น ไม่ได้วัดคุณภาพการเรียกคืน
หลักฐาน:: research/m6_*.json

การเรียกคืนตามความหมาย

คำถามเปลี่ยนถ้อยคำ 30 ข้อใน 120 ข้อความ: Delentia จับคำ 7, mem0 24, Delentia กับ embedding ภายในเครื่อง 22 ชุดแยกภาษาไทย 40 ข้อ: จับคำ 20, ใช้ embedding bge-m3 38

วัดอย่างไร:: ชุดคำถามที่เขียนก่อนรัน นับจำนวนที่ติดอันดับ 1–3
ทำไมจึงอ่อนกว่าที่เห็น:: ข้อมูลสังเคราะห์ ไม่ใช่ความจำของผู้ใช้จริง การจับคำอย่างเดียวด้อยกว่า mem0 ในชุดนี้ embedding เป็นทางเลือกและไม่ใช่ค่าเริ่มต้น
หลักฐาน:: research/ (recall datasets and results)

เวลาเริ่มและทรัพยากรที่ใช้

`delentia serve` ตอบ /health ภายในราว 2.9 วินาที; ใช้หน่วยความจำขณะว่างราว 471 MB; โอเวอร์เฮดของรันไทม์ราว 0.3 วินาทีต่อหนึ่งตอนที่ผ่านการกำกับดูแล

วัดอย่างไร:: วัดบนพีซี Windows เครื่องเดียวด้วยโมเดลสคริปต์
ทำไมจึงอ่อนกว่าที่เห็น:: เครื่องเดียว ไม่ใช่การทดสอบโหลดและไม่ใช่ตัวเลขการใช้งานจริง
หลักฐาน:: scripts/host_sizing.py

ซ้อมการทำงานโดยไม่มีคนดู

8 จาก 8 ข้อสังเกตเป็นจริง: งานอ่านตามเวลารันเอง, งานเขียนตามเวลาหยุดรอลายเซ็นและไม่เขียนอะไร, การหยุดฉุกเฉินหยุดงานใหม่ได้ และบันทึกตรวจสอบที่เซิร์ฟเวอร์เขียน (36 แถว) ตรวจผ่าน

วัดอย่างไร:: `delentia serve` จริงที่เปิดตัวทำงานเบื้องหลัง นาฬิกาจริง และโมเดลสคริปต์ ปล่อยไว้ราวสองนาที
ทำไมจึงอ่อนกว่าที่เห็น:: แสดงฝั่งโค้ดของการทำงานอัตโนมัติ ไม่ได้แสดงว่าโมเดลที่เก่งพอขับมันได้ หรือว่ามันรันได้หลายวัน
หลักฐาน:: scripts/autonomy_drill.py

โมเดลท้องถิ่นขนาดเล็กจริงที่ใช้เครื่องมือ

เป้าหมายง่ายที่ทำสำเร็จ: qwen3:8b 4 จาก 5, qwen2.5:7b 3 จาก 5, llama3.2:3b 0 จาก 5 (ใช้ CPU อย่างเดียว 70–190 วินาทีต่อเป้าหมาย)

วัดอย่างไร:: งานเครื่องมือแบบง่ายห้างาน บนรันไทม์ปัจจุบัน รันละครั้ง
ทำไมจึงอ่อนกว่าที่เห็น:: ตัวอย่างเล็กมากของโมเดลที่ไม่เก่ง ยังไม่เคยทดสอบกับโมเดลที่เก่งพอบนคลาวด์ เราจึงไม่อ้างอะไรว่าเอเจนต์ทำงานได้ดีกับโมเดลเหล่านั้น
หลักฐาน:: scripts/real_model_tool_probe.py

ยังไม่ได้วัด

ความแม่นยำหรืออัตราหลอน เทียบกับระบบหรือโมเดลอื่นใด
การประหยัดต้นทุนเทียบกับค่าอ้างอิงในการใช้งานจริง
ผลของเอเจนต์เมื่อใช้โมเดลบนคลาวด์ที่เก่งพอ (ยังไม่ได้รันการทดสอบรับรองที่วางแผนไว้)
ความสอดคล้องระหว่างโมเดลจากผู้ให้บริการต่างราย (คณะลูกขุนรันกับเซิร์ฟเวอร์สคริปต์เท่านั้น)
เวลาทำงานต่อเนื่องหรือ SLA: ยังไม่มีโฮสต์สาธารณะที่ทำงานอยู่
การเปรียบเทียบกับ LangChain, AutoGPT หรือเฟรมเวิร์กเอเจนต์อื่นบนงานเดียวกัน การทดสอบเทียบกันเพียงอย่างเดียวคือเรื่องที่เก็บหน่วยความจำข้างบน
การตรวจสอบอิสระต่อผลเหล่านี้

ตรวจสอบด้วยตัวเอง

ติดตั้งรันไทม์แล้วรันเซสชันแรกที่ไม่ต้องมีโมเดล รายงานจะบอกว่าส่วนไหนจริง และส่วนไหน (โมเดล) เป็นสคริปต์

pip install delentia-os
delentia demo init
delentia demo run compare --scripted

ซอร์สโค้ดและสคริปต์การวัด