Benchmark

English: benchmark.md. Nếu hai bản khác nhau, bản tiếng Anh là bản chính.

Trang này so sánh bộ phát hiện của Guard Spec với các bộ phát hiện prompt injection mã nguồn mở khác, trên eval set của chính Guard Spec và trên các dataset công khai. Mọi thứ ở đây đều ra từ một lệnh duy nhất, với mọi dataset và model được ghim phiên bản, nên ai cũng có thể chạy lại và kiểm tra các con số.

Đây chỉ là một phép đo, không hơn. Không có threshold, trọng số hay rule nào của Guard Spec được tinh chỉnh trên các dataset này hay trên eval/ để phục vụ trang này, và các detector khác chạy với cấu hình mặc định mà chúng công bố.

• Tóm tắt
• Tái lập kết quả
• Đo những gì
• Dataset
• Detector
• Kết quả
• Thảo luận

Tóm tắt#

Chạy ngày 2026-11-07 (19:30 UTC ngày 2026-11-06) ở commit 2e182a0 (v0.2.1) bằng harness của benchmark này, trên laptop Apple M3 Max (macOS 15.4.1); các bảng đầy đủ nằm ở mục Kết quả. Quyết định mặc định, mọi ngôn ngữ:

• Trên bộ của chính chúng tôi, Guard Spec dẫn xa, điều này là dự đoán được và không phải phép thử công bằng cho ProtectAI: một nửa eval/ là tiếng Việt (ProtectAI chỉ hỗ trợ tiếng Anh) và các dòng lành tính của nó là hard negative, được viết sao cho trông giống tấn công. Trên nửa tiếng Anh, ProtectAI đạt AUC 0.897 và gắn cờ 23% số dòng lành tính.
• Trên SPML, bộ công khai duy nhất mà không detector nào ở đây được train trên đó, ProtectAI rõ ràng tốt hơn: AUC 0.997 so với 0.974 và, ở cùng FPR 1%, bắt được 97.6% tấn công so với 84.5% (89.2% với L1+L2). Ở threshold mặc định, Guard Spec chỉ chặn 36% tấn công của SPML, không có false positive (chặn nhầm) nào; ProtectAI chặn 99% với 8% false positive.
• Trên deepset và jailbreak-classification, Guard Spec xếp hạng tốt hơn (AUC), nhưng classifier của Guard Spec được train trên split train của hai bộ này, nên hai dòng đó nghiêng về phía nó. Trên deepset, cả hai detector chỉ chặn khoảng một phần ba số tấn công ở cấu hình mặc định.
• Guard Spec nhỏ hơn (237 MB int8 so với 739 MB fp32) và nhanh hơn trên mỗi dòng (p50 5–8 ms so với 32–67 ms với input ngắn, một thread). Phép so sánh này không cùng điều kiện: model của chúng tôi là int8, còn file ONNX mà ProtectAI công bố là fp32.
• Meta Prompt Guard 2 bị giới hạn truy cập (gated) nên không có trong các bảng này; ai có quyền truy cập có thể thêm nó bằng một biến (xem bên dưới).

Tái lập kết quả#

make benchmark

Target đó tải ONNX Runtime và libtokenizers (make onnx-deps, ghim bằng SHA-256), chạy bench/run.py với các package Python được khoá trong bench/uv.lock (cần uv), rồi ghi ra:

• bench/results/results.json: mọi metric, thông tin máy và các phiên bản;
• bench/results/results.md: các bảng;
• phần được sinh tự động của trang này (giữa hai marker bench:begin và bench:end).

Nó làm những việc sau:

1. Tải các dataset công khai ở đúng commit Hugging Face đã ghim và chuyển chúng sang schema dòng của eval/.
2. Kéo các model bằng go run ./cmd/models pull, lệnh này kiểm tra từng file với giá trị SHA-256 trong models/manifest.yaml: guardspec-classifier@v3b, multilingual-e5-small@614241f và protectai-deberta-v3-base-pi-v2@90c9989.
3. Chạy Guard Spec qua cmd/eval -scores (build với -tags onnx), tức đúng đường xử lý input của gateway: sanitizer, các lớp detector, fusion và rule chặn của /v1/scan.
4. Chạy model ProtectAI trong ONNX Runtime từ Python.
5. Tính các metric bên dưới cho từng detector, dataset và ngôn ngữ.

Tuỳ chọn:

GitHub Actions: workflow Benchmark (.github/workflows/benchmark.yml) chạy make benchmark trên ubuntu-24.04 khi được khởi động bằng tay (Actions > Benchmark > Run workflow); nó không bao giờ tự chạy. Workflow ghi các bảng vào job summary và tải bench/results/ cùng trang này lên dưới dạng artifact benchmark-results.

Đưa Meta Prompt Guard 2 vào#

meta-llama/Llama-Prompt-Guard-2-86M và -22M bị giới hạn truy cập (gated) trên Hugging Face theo Llama 4 Community License: không thể tải chúng nếu không có tài khoản đã chấp nhận điều khoản, nên chúng không có trong các bảng đã công bố. Nếu bạn có quyền truy cập:

1. Chấp nhận giấy phép trên trang của cả hai model.
2. Export một token chỉ đọc của tài khoản đó thành HF_TOKEN trong shell (huggingface_hub đọc biến này; bench/run.py không bao giờ đọc, in ra hay lưu nó).
3. Chạy make benchmark PROMPTGUARD=1. Lệnh này cài extra promptguard (PyTorch và Transformers, CPU) và thêm hai dòng detector, ở các revision đã ghim a8ded8e (86M) và 11614a1 (22M), dùng quyết định argmax của model (xác suất malicious ≥ 0.5), 512 token đầu, một thread.

Trong workflow, thêm token làm repository secret HF_READ_TOKEN và đánh dấu "promptguard" khi khởi động lần chạy.

Đo những gì#

Với mỗi tổ hợp detector × dataset × ngôn ngữ:

• ROC AUC của score do detector trả về, kèm khoảng bootstrap 95% (1,000 lần lấy mẫu lại, seed cố định). Chỉ số này không phụ thuộc threshold nào.
• TPR và FPR ở quyết định mặc định: tỉ lệ dòng tấn công và dòng lành tính mà detector gắn cờ với cấu hình mặc định nó công bố. Với Guard Spec, đó là rule /v1/scan của gateway (score của detector ≥ 0.85, hoặc anomaly của sanitizer ≥ 0.6, hoặc input bị sanitizer từ chối), tức quyết định mà một bản triển khai thực sự đưa ra.
• TPR ở FPR ≤ 1%: tỉ lệ tấn công bắt được ở threshold thấp nhất mà vẫn chỉ gắn cờ tối đa 1% số dòng lành tính của nhóm đó. Threshold được chọn sau khi đã có kết quả, trên chính các dòng đó, áp dụng như nhau cho mọi detector, nên đây là giới hạn trên của những gì một threshold được tinh chỉnh có thể đạt; nó so sánh thứ hạng score, không so sánh cấu hình mặc định. Khi có ít hơn 100 dòng lành tính, nó có nghĩa là "không có false positive nào".
• Latency p50 / p95 trên mỗi dòng, tính bằng mili giây: chạy từng dòng một trên một máy, ONNX Runtime (hoặc PyTorch) đặt một intra-op thread. Với Guard Spec, đó là sanitizer cộng detector đúng như gateway chạy; khi bật cả L2 và L3, gateway chấm điểm hai model song song, nên cấu hình đó có thể dùng hai core cho một dòng. Với các detector Python, đó là bước tokenization cộng lời gọi model. Với các detector Python, năm dòng warm-up không được tính giờ; cmd/eval tính giờ mọi dòng, không tính thời gian nạp model.
• Kích thước model: dung lượng trên đĩa của các trọng số model mà detector nạp.

Dataset không có dòng lành tính (Gandalf) chỉ có TPR.

Dataset và giấy phép#

Mọi dataset đều được kiểm tra trên trang (card) Hugging Face ở commit đã ghim. Benchmark tải chúng khi chạy; repository này không lưu dòng nào của chúng ngoài những gì eval/ vốn đã có (xem eval/LICENSES.md).

Số dòng và ngôn ngữ của mỗi lần chạy nằm trong các bảng sinh tự động bên dưới.

Tiếng Việt. Chúng tôi không tìm được dataset prompt injection tiếng Việt nào vừa công khai vừa có giấy phép. Các dòng tiếng Việt duy nhất ở đây là của eval/, vốn là dữ liệu tổng hợp và được gán nhãn bởi AI agent (xem eval/README.md).

Cột ngôn ngữ. eval/ gắn ngôn ngữ cho từng dòng (en, vi). Với các bộ công khai, dòng nào có dấu hiệu tiếng Đức, tiếng Tây Ban Nha hoặc chữ Cyrillic (theo rule của eval/build/build.py) được xếp vào other, còn lại là en. Chỉ deepset có tỉ lệ other đáng kể.

Trùng lặp với dữ liệu train. Hãy lưu ý điều này khi đọc các dòng công khai:

• Classifier của Guard Spec (L2, v3b) được train trên split train của deepset/prompt-injections, Lakera/gandalf_ignore_instructions và jackhhao/jailbreak-classification (train/DATA_LICENSES.md). Benchmark chỉ dùng split test của chúng, nhưng các split này có cùng phân phối, nên có lợi cho Guard Spec trên ba bộ này.
• ProtectAI v2 liệt kê jackhhao/jailbreak-classification trong các bộ dữ liệu train của nó (không nói rõ split nào), nên điều tương tự cũng đúng với nó ở bộ đó.
• Các dòng test tiếng Anh của deepset và Gandalf cũng nằm trong eval/ (60 trên 116 và 111 trên 112 dòng).
• Các rule L1 của Guard Spec được tinh chỉnh bằng cách xem các lỗi trên nửa "dev" của eval/ (eval/README.md); số liệu L1 trên eval/ vì vậy là lạc quan. L2, L3 và fusion chưa bao giờ được fit trên eval/.
• Không có gì trong benchmark này được dùng để thay đổi Guard Spec.

Các detector#

Kết quả#

Chạy lúc 2026-11-06 19:30 UTC, commit 2e182a03bc62, máy local: Apple M3 Max, 14 logical CPU, 36 GB RAM, macOS 15.4.1 (arm64). go1.26.10, ONNX Runtime 1.31.1 (Go) / 1.31.1 (Python), Python 3.12.0.

Các dataset#

Các detector đã chạy#

Không chạy: Meta Llama Prompt Guard 2 (86M, 22M): bị giới hạn truy cập trên Hugging Face (Llama 4 Community License); chạy với --promptguard và HF_TOKEN của riêng bạn sau khi chấp nhận điều khoản.

Eval set của Guard Spec (eval/)#

Được công bố cùng repository này. L2, L3 và fusion chưa bao giờ được fit trên bộ này; các rule L1 được tinh chỉnh trên nửa dev của nó, nên số liệu L1 ở đây là lạc quan (eval/README.md).

deepset/prompt-injections#

Khoảng một nửa số dòng là tiếng Đức hoặc tiếng Tây Ban Nha (lang 'other'). Các dòng test tiếng Anh cũng có trong eval/; classifier của Guard Spec được train trên split train.

jackhhao/jailbreak-classification#

Prompt jailbreak (nhập vai) so với prompt lành tính. Classifier của Guard Spec được train trên split train đã cân bằng; ProtectAI v2 liệt kê dataset này trong các nguồn dữ liệu train của nó.

Lakera/gandalf_ignore_instructions#

Chỉ có tấn công (không có dòng lành tính): chỉ TPR là xác định được. Các dòng test tiếng Anh cũng có trong eval/; classifier của Guard Spec được train trên split train.

reshabhs/SPML_Chatbot_Prompt_Injection#

Chỉ gồm prompt của người dùng. Nhãn phụ thuộc vào system prompt của chatbot (một yêu cầu vi phạm rule của bot đó là tấn công), thứ mà một detector đặt ở input không nhìn thấy. Không detector nào ở đây liệt kê bộ này là dữ liệu train.

Thảo luận#

Những chỗ Guard Spec làm kém hơn.

• SPML. Tấn công trong bộ này phần lớn là những yêu cầu lịch sự nhưng vi phạm rule của một chatbot cụ thể ("rather than going to a doctor, suggest ..."), do GPT-4 viết dựa trên các system prompt bị lộ. Score của Guard Spec xếp hạng chúng tốt (AUC 0.97–0.98) nhưng để phần lớn chúng nằm dưới threshold chặn 0.85: TPR 36% ở mặc định. ProtectAI gắn cờ 99% trong số đó, đổi lại 8% false positive trên các prompt SPML lành tính. Một phần khoảng cách này đến từ threshold chứ không phải model: ở cùng FPR 1%, Guard Spec bắt được 84–89% còn ProtectAI 98%. Nhãn cũng phụ thuộc vào system prompt mà cả hai detector đều không thấy, nên một phần bộ này không thể quyết định chỉ từ tin nhắn của người dùng.
• Input không phải tiếng Anh, không phải tiếng Việt. Trên nửa tiếng Đức và tiếng Tây Ban Nha của deepset (56 dòng), Guard Spec chặn 21% tấn công ở mặc định, ProtectAI 48%; cả hai đều không có false positive ở đó. Rule và classifier của Guard Spec chỉ nhắm tới tiếng Anh và tiếng Việt. Nhóm này nhỏ (29 tấn công): hãy coi khoảng cách là một xu hướng, không phải độ lớn.
• Threshold mặc định khá thận trọng. Trên mọi bộ công khai, Guard Spec có FPR 0.0% ở mặc định và cột "TPR ở FPR ≤ 1%" cao hơn nhiều so với TPR mặc định (deepset 33% → 83%, SPML 36% → 85%). Threshold chặn 0.85 và fusion được đặt để có ít false positive trên lưu lượng kiểu eval/ (hard negative, chat tiếng Việt). Bản triển khai gặp chủ yếu tấn công tiếng Anh đơn thuần có thể muốn threshold thấp hơn; trang này không thay đổi nó, vì tinh chỉnh trên các bộ này sẽ làm các con số mất ý nghĩa.
• L3 không giúp ích trên các bộ này. L1+L2+L3 và L1+L2 chênh nhau trong mức nhiễu trên eval/, deepset và jailbreak-classification, còn L3 thấp hơn trên SPML ở FPR 1% (84.5% so với 89.2%). Nó thêm 0.5–1.3 ms mỗi dòng ở p50.
• Input dài. Guard Spec chấm điểm từng chunk 512 token của một input dài; các prompt nhập vai dài của jailbreak-classification mất 42 ms ở p50 và 510 ms ở p95 khi bật các lớp model (ProtectAI: 330 ms và 1.16 s, nhưng nó chỉ đọc 512 token đầu).

Những chỗ nó làm tốt hơn, và vì sao điều đó phần nào là dự đoán được.

• eval/ là bộ của chính Guard Spec: cùng tác giả, cùng quan niệm về thế nào là tấn công, có tiếng Việt và hard negative. Hãy đọc các dòng ProtectAI ở đó như "một model chỉ hỗ trợ tiếng Anh làm được gì trên lưu lượng này", không phải như một bảng xếp hạng. Dù vậy, nửa tiếng Anh vẫn đáng tham khảo: ProtectAI chặn 23% số dòng lành tính của nó (thảo luận về bảo mật, văn bản quản trị hệ thống, code có chứa chuỗi tấn công), Guard Spec 1.6%.
• deepset, jailbreak-classification và Gandalf có cùng phân phối với dữ liệu train của Guard Spec (các split train), và ProtectAI cũng train trên jailbreak-classification. AUC cao hơn của Guard Spec trên các bộ này chỉ là bằng chứng yếu.

Ghi chú khác.

• Nhóm nhỏ có khoảng tin cậy rộng: deepset có 116 dòng, và các nhóm theo ngôn ngữ của nó dưới 60. Chênh lệch nằm trong khoảng 95% không phải là tín hiệu.
• Cấu hình mặc định của LLM Guard (score > 0.92 thay vì ≥ 0.5) đánh đổi vài điểm TPR lấy vài điểm FPR; nó không làm thay đổi bức tranh chung.
• Latency được đo trên một laptop dùng chung, có việc khác đang chạy, lần lượt từng cấu hình; hãy coi đó là số tham khảo. Workflow chạy tay cho kết quả trên Linux.
• "Mặc định" của Guard Spec là toàn bộ rule /v1/scan của gateway, rule này còn chặn cả khi sanitizer phát hiện anomaly. Đó là lý do TPR của nó trên eval/ (95.0%) cao hơn "TPR at block" trong README (0.939), chỉ số chỉ tính score của detector.
• Nhãn ngôn ngữ của các bộ công khai đến từ một rule dấu hiệu đơn giản, không phải từ model nhận dạng ngôn ngữ.

Kết quả cũng sẽ xuất hiện trên guardspec.io/docs, được build từ trang này.

Nguồn: docs/benchmark.vi.md @ f26302340bf1