Claude Opus 5 và GPT-5.6-SOL: Kiểm thử độ chính xác qua 10 bài, cả hai đạt 10/10 ở câu trả lời cốt lõi

Claude Opus 5 và GPT-5.6-SOL: kiểm thử 10 bài về độ chính xác, kết quả cốt lõi hòa 10/10#

Khi tích hợp mô hình vào API thực tế, câu hỏi hữu ích không chỉ là “mô hình nào thông minh hơn?”, mà còn là:

• Kết quả nào được tính là đạt?
• Có thể kiểm tra đầu ra bằng mã cục bộ hay không?
• Mô hình đã hoàn thành mọi yêu cầu con hay mới chỉ đưa ra đáp án chính?
• Phản hồi JSON có thể đưa thẳng vào hệ thống phía sau không?
• Có phải đầu ra bị cắt do hết ngân sách token?
• Một lần chạy thành công hoặc thất bại có đủ để kết luận không?

Nếu không định nghĩa trước tiêu chí pass/fail, rất dễ đánh đồng HTTP 200 với hoàn thành tác vụ, hoặc chọn một phản hồi trông thuyết phục rồi tuyên bố mô hình chiến thắng.

Trong lần đánh giá này, Claude Opus 5 và GPT-5.6-SOL được gọi qua cùng một OpenAI-compatible endpoint của Crazyrouter. Bộ kiểm thử gồm 10 bài có thể nghiệm thu độc lập; phần tuân thủ JSON nghiêm ngặt được chấm riêng, không trộn với độ chính xác toán học hay lập luận.

Kết quả chính:

• Độ chính xác của đáp án cốt lõi: Opus 5 10/10, GPT-5.6-SOL 10/10.
• Hoàn thành đầy đủ mọi yêu cầu con: Opus 5 9/10, GPT-5.6-SOL 10/10.
• Hai bài thuật toán Python với kiểm thử ẩn: cả hai đều đạt 2/2.
• JSON nghiêm ngặt ở lần chạy đầu: Opus 5 0/1, GPT-5.6-SOL 1/1.
• Opus tiếp tục không tuân thủ định dạng JSON nghiêm ngặt trong hai lần thử lại bổ sung vì vẫn chèn văn bản hoặc hàng rào mã.

Nói cách khác, hai mô hình hòa nhau về tính đúng đắn cốt lõi trong bộ 10 bài này, nhưng hành vi giao kết quả không hoàn toàn giống nhau.

Tạo API Key và kiểm thử lại bằng bộ đề thực tế của bạn

Trả lời nhanh#

Nếu bài toán chủ yếu là toán học, vật lý hoặc thuật toán có đáp án kiểm chứng được, mẫu kiểm thử này không cho thấy chênh lệch rõ ràng. Nếu hệ thống yêu cầu phản hồi phải là JSON có thể phân tích cú pháp trực tiếp, hoặc không được bỏ sót bất kỳ yêu cầu con nào, GPT-5.6-SOL hoàn chỉnh hơn trong lần đánh giá này.

Vì sao độ trễ mạng không được tính vào điểm năng lực#

Thời gian phản hồi đầu cuối của API chịu ảnh hưởng bởi nhiều biến số không phản ánh trực tiếp khả năng suy luận:

• đường truyền từ cổng API đến từng nhà cung cấp phía trên;
• tải hệ thống tại thời điểm gửi yêu cầu;
• giới hạn tốc độ của tài khoản hoặc kênh;
• việc có trúng bộ nhớ đệm hay không;
• yêu cầu được định tuyến đến phiên bản dịch vụ thực tế nào;
• cách nhà cung cấp thống kê hoặc ẩn reasoning token.

Một yêu cầu nhanh hơn vài giây có thể chỉ phản ánh tuyến mạng hoặc tải tức thời. Nó không chứng minh mô hình suy luận tốt hơn.

Muốn đánh giá độ trễ một cách có ý nghĩa, cần cố định hệ thống phía trên, chạy lặp đủ nhiều lần và báo cáo phân phối hoặc khoảng tin cậy. Khi chưa đáp ứng các điều kiện đó, độ trễ phù hợp để giám sát vận hành, không phù hợp để đưa vào “điểm thông minh”.

Vì vậy, bài này không xếp hạng hoặc công bố mô hình thắng về tốc độ. Nếu cần kiểm tra phạm vi mô hình có thể truy cập, hãy xem danh sách mô hình Crazyrouter. Việc lập kế hoạch chi phí nên được thực hiện riêng qua Crazyrouter pricing.

Môi trường kiểm thử và tiêu chí pass/fail#

Trước khi chạy, danh sách mô hình được truy vấn để xác nhận hai model ID chính xác đều khả dụng:

GET https://cn.crazyrouter.com/v1/models

claude-opus-5
gpt-5.6-sol

Mọi yêu cầu chính thức đều sử dụng:

POST https://cn.crazyrouter.com/v1/chat/completions

Trong mỗi đợt kiểm thử, hai mô hình nhận cùng:

• system prompt;
• user prompt;
• temperature;
• max_tokens.

Không sử dụng công cụ bên ngoài. HTTP 200 cũng không tự động được tính là hoàn thành tác vụ.

Việc chấm điểm được chia thành ba lớp:

1. Độ chính xác cốt lõi: giá trị chính, kết luận vật lý hoặc hành vi thuật toán có đúng không.
2. Mức độ hoàn thành tác vụ: mô hình có xử lý đầy đủ mọi yêu cầu con trong đề hay không.
3. Khả năng nghiệm thu bằng máy: mã có vượt qua kiểm thử ẩn không, JSON có thể được phân tích cú pháp trực tiếp không.

Sau bước chấm tự động theo chuỗi, kết quả được rà soát thủ công để tránh âm tính giả. Cùng một đáp án có thể được biểu diễn bằng LaTeX khác nhau, dùng phân số tương đương hoặc làm tròn với số chữ số có nghĩa khác nhau.

Ví dụ:

• GPT-5.6-SOL không sao chép nguyên phân số tham chiếu trong bài xác suất, nhưng đưa ra công thức tương đương và giá trị thập phân đúng.
• Opus viết 0.30 m với hai chữ số có nghĩa thay cho 0.302 m trong bài vật lý; đây không phải là một đáp án sai.

Kết quả 10 bài kiểm thử#

Tổng hợp theo từng lớp chấm:

Bài xác suất khó: đúng đáp án chưa chắc đã hoàn thành tác vụ#

Bài toán yêu cầu tính thời gian chờ để xuất hiện mẫu HHTH, với đồng xu lệch:

P(H)=0.62
P(T)=0.38

Đề yêu cầu xây dựng các phương trình trạng thái theo tiền tố dài nhất đồng thời là hậu tố phù hợp. Ngoài việc tính kỳ vọng, mô hình còn phải giải thích hai điểm dễ sai:

• Sau trạng thái HH, nếu tiếp tục xuất hiện H, vì sao hệ thống vẫn ở trạng thái HH?
• Vì sao không thể viết trực tiếp thời gian chờ kỳ vọng thành 1/P(HHTH)?

Cả hai mô hình đều tính đúng:

E[N] ≈ 12.6547

GPT-5.6-SOL hoàn thành toàn bộ phép suy diễn và chỉ ra rằng mẫu có hiện tượng chồng lấn, do đó:

E[N] = 1 / P(HHTH) + 1 / P(H)

Opus 5 cũng đưa ra đúng hệ trạng thái, phương trình, phân số chính xác và kết quả thập phân. Tuy nhiên, phản hồi kết thúc với:

finish_reason=length

Đầu ra dừng ở phần giá trị kỳ vọng bổ sung của trạng thái, trước khi hoàn thành yêu cầu giải thích vì sao không thể dùng trực tiếp nghịch đảo xác suất.

Ngân sách đầu ra của lần chạy này là:

max_tokens=3200

Do đó, cách chấm hợp lý là:

• Đáp án cốt lõi: đạt, vì 12.6547 và mô hình trạng thái đều đúng.
• Hoàn thành toàn bộ tác vụ: không đạt, vì thiếu một yêu cầu giải thích bắt buộc.

Đây là điểm khác biệt quan trọng trong tích hợp API:

Kết quả số đúng không đồng nghĩa với việc toàn bộ tác vụ đã hoàn thành.

Cùng phương pháp này đã được áp dụng trong bài kiểm thử cắt đầu ra do max_tokens. Hệ thống kiểm thử nên lưu đồng thời nội dung đáp án, finish_reason và ngân sách đầu ra. Không nên thấy phần đầu đúng rồi mặc định toàn bộ phản hồi đạt yêu cầu.

Kiểm chứng mã thực thi: phải chạy, không chỉ đọc#

Đánh giá mã bằng cảm giác rất dễ sai. Một lời giải dài hơn, nhiều chú thích hơn hoặc có cấu trúc đẹp hơn chưa chắc đúng ở các trường hợp biên.

Trong lần kiểm thử này, mã do mô hình tạo ra được lưu thành tệp .py và chạy trong chế độ cách ly với cùng một bộ kiểm thử ẩn.

Bài tổng hợp nhật ký#

Hàm phải xử lý đồng thời:

• cửa sổ thời gian nửa mở;
• quy tắc đếm khác nhau giữa yêu cầu thành công và thất bại;
• trường hợp thiếu người dùng hoặc mô hình;
• cache hit rate;
• sắp xếp người dùng theo thứ tự từ điển khi cost bằng nhau;
• không sửa đổi đối tượng đầu vào.

Cả Claude Opus 5 và GPT-5.6-SOL đều vượt qua kiểm thử ẩn.

Bài định tuyến ổn định có ràng buộc độ tin cậy#

Hàm tìm đường phải áp dụng đúng thứ tự ưu tiên:

1. tổng chi phí thấp nhất;
2. nếu chi phí bằng nhau, chọn độ trễ thấp nhất;
3. nếu vẫn bằng nhau, chọn độ tin cậy cao nhất;
4. cuối cùng chọn đường đi theo thứ tự từ điển.

Ngoài ra, lời giải còn phải xử lý:

• banned nodes;
• số hops tối đa;
• độ tin cậy tối thiểu;
• cạnh không hợp lệ.

Cả hai mô hình đều vượt qua toàn bộ kiểm thử. Vì vậy, kết luận về mã trong bộ đề này là hòa 2/2, không phải chọn bên thắng dựa trên độ dài hay phong cách trình bày của mã.

Có thể tham khảo thêm GPT-5.6-SOL vs GPT-5.5 trong bộ bài vật lý khó và mã.

JSON nghiêm ngặt: phép thử tuân thủ chỉ dẫn, không phải bài toán trí tuệ#

Bài JSON yêu cầu nén dữ liệu sự cố thành đúng một đối tượng và nêu rõ:

exactly one JSON object and no Markdown

Hai mô hình đều tính đúng các trường dữ liệu, bao gồm:

• tỷ lệ lỗi;
• bên chịu trách nhiệm theo kênh;
• số lỗi chưa phục hồi sau khi thử lại.

Khác biệt nằm ở lớp bao quanh đầu ra:

• GPT-5.6-SOL chỉ trả về JSON ngay lần đầu và có thể đưa trực tiếp vào json.loads.
• Opus 5 thêm hàng rào mã và phần Verification ở lần đầu.
• Trong lần thử lại thứ nhất, Opus trả JSON rút gọn nhưng tiếp tục thêm Verification phía sau.
• Trong lần thử lại thứ hai, Opus lại thêm hàng rào mã và phần giải thích.

Vì vậy, kết quả JSON nghiêm ngặt là:

• GPT-5.6-SOL: 1/1 ở lần đầu.
• Opus 5: 0/1 ở lần đầu.
• Opus vẫn không tuân thủ trong hai lần thử lại bổ sung.

Đây là trường hợp “dữ liệu đúng nhưng định dạng không đạt”, không phải “không biết tính”. Nếu trộn kết quả này vào điểm suy luận toán học, hai loại lỗi khác nhau sẽ bị nhập thành một điểm số mơ hồ.

Một bộ kiểm tra cục bộ tối thiểu có thể viết như sau:

import json

REQUIRED_KEYS = [
    "window",
    "total_requests",
    "failed_requests",
    "failure_rate_pct",
    "provider_owned_failures",
    "customer_owned_failures",
    "recovered_by_retry",
    "unrecovered_failures",
    "root_cause",
    "action",
]


def parse_incident_json(raw: str) -> dict:
    payload = json.loads(raw)
    if list(payload) != REQUIRED_KEYS:
        raise ValueError("unexpected schema or key order")
    if payload["failed_requests"] != 84:
        raise ValueError("failed request count mismatch")
    return payload

Không nên dựa hoàn toàn vào system prompt để bảo đảm đầu ra có cấu trúc. Với hệ thống thật, quy trình an toàn hơn là:

1. sử dụng tham số đầu ra có cấu trúc nếu nhà cung cấp hỗ trợ;
2. phân tích cú pháp JSON cục bộ;
3. kiểm tra schema và giá trị bắt buộc;
4. thử lại hoặc chuyển mô hình khi nghiệm thu thất bại;
5. chỉ chuyển dữ liệu sang bước tiếp theo sau khi toàn bộ kiểm tra đạt.

Cách kiểm thử lại qua cùng một API#

Ví dụ tối thiểu dưới đây gọi OpenAI-compatible chat completions endpoint. API endpoint không gắn tham số UTM.

import os
import requests

BASE_URL = "https://cn.crazyrouter.com/v1"
API_KEY = os.environ["CRAZYROUTER_API_KEY"]


def ask(model: str, prompt: str, max_tokens: int = 4000) -> dict:
    response = requests.post(
        f"{BASE_URL}/chat/completions",
        headers={
            "Authorization": f"Bearer {API_KEY}",
            "Content-Type": "application/json",
        },
        json={
            "model": model,
            "messages": [
                {"role": "system", "content": "Answer accurately and follow every requested constraint."},
                {"role": "user", "content": prompt},
            ],
            "temperature": 0.2,
            "max_tokens": max_tokens,
        },
        timeout=600,
    )
    response.raise_for_status()
    return response.json()


for model in ("claude-opus-5", "gpt-5.6-sol"):
    result = ask(model, "Your benchmark prompt here")
    choice = result["choices"][0]
    print(model, choice.get("finish_reason"), choice["message"].get("content", ""))

Khi chạy bộ đánh giá thật, nên lưu thêm:

• response ID;
• returned model;
• câu trả lời nguyên gốc;
• finish_reason;
• cấu hình temperature và max_tokens;
• kết quả của từng bộ kiểm tra cục bộ;
• lý do pass/fail cụ thể.

Có thể kiểm tra khả năng truy cập mô hình trong danh sách mô hình Crazyrouter, sau đó chạy hồi quy theo lô nhỏ bằng chính prompt nghiệp vụ của bạn.

Cách tránh kết luận sai từ một lần chạy#

Một lần chạy chỉ là một mẫu. Nó có thể hữu ích để phát hiện lỗi rõ ràng, nhưng chưa đủ để mô tả hành vi dài hạn của mô hình.

Để kết quả có giá trị cho tích hợp thực tế:

Định nghĩa pass/fail trước khi chạy#

Mỗi bài nên có tiêu chí máy có thể kiểm tra, chẳng hạn:

• giá trị số phải nằm trong sai số cho phép;
• tất cả yêu cầu con bắt buộc phải xuất hiện;
• finish_reason không được là length;
• mã phải vượt qua kiểm thử đơn vị và kiểm thử ẩn;
• JSON phải phân tích cú pháp được;
• schema, kiểu dữ liệu và thứ tự khóa phải đúng nếu hệ thống yêu cầu.

Tách các loại lỗi#

Không nên dùng một điểm tổng duy nhất cho mọi tình huống. Ít nhất cần tách:

• sai đáp án cốt lõi;
• bỏ sót yêu cầu con;
• đầu ra bị cắt;
• mã không vượt qua kiểm thử;
• JSON không phân tích được;
• vi phạm định dạng dù dữ liệu bên trong đúng.

Không chọn mẫu theo kết luận mong muốn#

Quy trình hợp lý là xác định bộ đề, đáp án và bộ kiểm tra trước, sau đó mới gửi cùng đầu vào cho các mô hình. Không nên chọn sẵn mô hình thắng rồi tìm một vài phản hồi phù hợp để minh họa.

Không biến độ trễ thành điểm suy luận#

Độ trễ mạng bị ảnh hưởng bởi tuyến truyền, tải, bộ nhớ đệm và hệ thống phía trên. Vì vậy, nó bị loại khỏi điểm năng lực trong bài này và không có mô hình thắng về tốc độ.

Hướng dẫn lựa chọn cho môi trường sản xuất#

Trường hợp cả hai mô hình đều phù hợp#

Cả Claude Opus 5 và GPT-5.6-SOL đều đáng đưa vào danh sách ứng viên khi tác vụ có:

• đáp án tham chiếu rõ ràng cho toán học hoặc vật lý;
• thuật toán Python có thể chạy kiểm thử;
• yêu cầu phát hiện tiền đề sai hoặc kết luận thống kê không đủ căn cứ;
• bộ xác thực cục bộ có thể quyết định tác vụ thành công hay thất bại.

Trường hợp nên ưu tiên thử GPT-5.6-SOL#

Dựa riêng trên lần kiểm thử này, GPT-5.6-SOL phù hợp hơn để ưu tiên đánh giá khi:

• mọi yêu cầu con phải được hoàn thành trong một phản hồi;
• phần thân phản hồi bắt buộc là JSON thuần;
• muốn giảm công sức bóc tách dữ liệu có cấu trúc khỏi văn bản giải thích.

Điều này phản ánh hành vi giao kết quả trong bộ đề hiện tại, không chứng minh mô hình có năng lực suy luận cốt lõi cao hơn.

Các lớp bảo vệ nên bổ sung khi dùng Opus 5#

• Cấp max_tokens lớn hơn cho lời giải dài.
• Luôn kiểm tra finish_reason.
• Phân tích và xác thực JSON trước khi đưa sang hệ thống phía sau.
• Có nhánh xử lý khi đầu ra chứa thêm Markdown hoặc văn bản giải thích.
• Tách “dữ liệu đúng” khỏi “định dạng đạt” trong nhật ký đánh giá.

Các biện pháp này không có nghĩa Opus 5 suy luận yếu hơn. Trong 10 bài, toàn bộ đáp án cốt lõi của Opus đều đúng và cả hai lời giải mã đều vượt qua kiểm thử ẩn. Chênh lệch chủ yếu nằm ở việc mọi yêu cầu có được đóng gói đầy đủ vào phản hồi cuối hay không.

Nếu đang so sánh hành vi giao kết quả trong dòng Claude, có thể đọc thêm Claude Opus 5 vs Claude Fable 5 qua API thực tế.

FAQ#

Claude Opus 5 hay GPT-5.6-SOL thông minh hơn?#

Trong 10 bài có thể nghiệm thu khách quan của lần đánh giá này, cả hai đều đạt 10/10 về đáp án cốt lõi. Không có đủ bằng chứng để tuyên bố một mô hình thông minh hơn toàn diện.

Vì sao tỷ lệ hoàn thành đầy đủ không hòa?#

Phản hồi của Opus trong bài xác suất khó bị cắt tại max_tokens=3200 và trả về finish_reason=length. Giá trị kỳ vọng cùng hệ phương trình trạng thái đều đúng, nhưng yêu cầu giải thích cuối cùng bị thiếu. Vì vậy, Opus đạt 9/10 về hoàn thành đầy đủ, còn GPT-5.6-SOL đạt 10/10.

Đáp án xác suất chính xác là bao nhiêu?#

Cả hai mô hình đều đưa ra:

E[N] ≈ 12.6547

Đây là đáp án cốt lõi đúng cho thời gian chờ mẫu HHTH với P(H)=0.62 và P(T)=0.38.

Lỗi JSON có nên được tính là lỗi trí tuệ không?#

Không nên trực tiếp tính là lỗi toán học hoặc lập luận. Trong trường hợp này, các trường và giá trị do Opus tính đều đúng, nhưng đầu ra chứa thêm văn bản hoặc hàng rào mã. Cách phân loại chính xác hơn là lỗi tuân thủ chỉ dẫn và định dạng.

Kết quả JSON nghiêm ngặt cụ thể ra sao?#

GPT-5.6-SOL đạt 1/1 ngay lần đầu vì chỉ trả về một đối tượng JSON. Opus đạt 0/1 ở lần đầu và vẫn thêm nội dung ngoài JSON trong hai lần thử lại bổ sung.

Hai bài mã được chấm như thế nào?#

Đầu ra của mô hình được lưu thành tệp Python rồi chạy với cùng bộ kiểm thử ẩn. Bộ kiểm thử bao phủ trường hợp biên, quy tắc sắp xếp, đầu vào không hợp lệ và yêu cầu không sửa đổi dữ liệu đầu vào. Cả hai mô hình đều đạt 2/2.

Vì sao bài này không công bố mô hình thắng về tốc độ?#

Thời gian đầu cuối phụ thuộc vào tuyến mạng, kênh, bộ nhớ đệm, tải hệ thống phía trên và cách định tuyến. Khi chưa cố định các biến đó và chưa chạy lặp đủ nhiều, độ trễ không thể đại diện cho độ chính xác hay năng lực suy luận. Vì thế, nó không được đưa vào điểm năng lực.

HTTP 200 có đồng nghĩa với tác vụ thành công không?#

Không. HTTP 200 chỉ cho biết yêu cầu API đã được xử lý ở cấp giao thức. Phản hồi vẫn có thể sai đáp án, thiếu yêu cầu, bị cắt với finish_reason=length, chứa mã không chạy được hoặc trả JSON không hợp lệ.

finish_reason quan trọng như thế nào?#

Rất quan trọng với các tác vụ dài. Nếu finish_reason=length, đầu ra có thể bị cắt dù phần đầu hoàn toàn chính xác. Hệ thống không nên đánh dấu hoàn thành nếu chưa xác nhận tất cả yêu cầu bắt buộc đều có mặt.

Mười bài có đủ để quyết định lựa chọn lâu dài không?#

Không. Đây là một lát cắt nhỏ nhưng có thể tái hiện. Trước khi triển khai, nên dùng bộ đề nghiệp vụ thật và chạy lặp 20–50 lần, sau đó thống kê riêng độ chính xác cốt lõi, tỷ lệ hoàn thành đầy đủ, tỷ lệ mã vượt qua kiểm thử và tỷ lệ vi phạm định dạng.

Nên bắt đầu so sánh mô hình như thế nào?#

Hãy chọn 10–30 prompt nghiệp vụ thật, định nghĩa tiêu chí pass/fail có thể thực thi cho từng bài, rồi gửi cùng đầu vào qua một API thống nhất. Không nên quyết định người thắng trước rồi mới chọn các trường hợp hỗ trợ kết luận đó.

Kết luận cân bằng#

Kết quả đáng chú ý nhất không phải là “GPT thắng” hay “Opus thắng”, mà là sự khác biệt giữa đúng về cốt lõi và giao đầy đủ tác vụ:

Claude Opus 5 và GPT-5.6-SOL đều đạt 10/10 về đáp án cốt lõi trong 10 bài kiểm thử. GPT-5.6-SOL ổn định hơn về hoàn thành toàn bộ yêu cầu con và giao JSON nghiêm ngặt; Opus 5 cần được bảo vệ tốt hơn bằng ngân sách đầu ra, kiểm tra finish_reason và xác thực định dạng cục bộ.

Nếu tác vụ có đáp án tham chiếu hoặc kiểm thử ẩn, cả hai mô hình đều xứng đáng nằm trong danh sách ứng viên. Nếu hệ thống phía sau tiêu thụ JSON trực tiếp, xác thực định dạng, thử lại và chuyển mô hình khi thất bại nên được coi là thành phần bắt buộc của kiến trúc, không phải tối ưu hóa tùy chọn.

Bộ dữ liệu này không tạo ra bên thắng về tốc độ, cũng không chứng minh một mô hình thông minh hơn toàn diện. Nó cho thấy một kết luận thực dụng hơn cho lập trình viên: hãy chấm riêng tính đúng đắn, mức độ hoàn thành và khả năng nghiệm thu bằng máy—đồng thời tránh suy rộng từ một lần chạy duy nhất.

Tạo tài khoản Crazyrouter và chạy bộ kiểm thử Opus 5 / GPT-5.6-SOL của bạn