Cara kerja benchmark putaran pertama, dan apa yang tidak diklaimnya

Setiap halaman benchmark menggoda penulisnya untuk mencetak angka besar. Putaran pertama MythosCode tidak mencetak satu pun angka yang mengukur kemampuan, dan tulisan ini menjelaskan alasannya.

Putaran pertama itu apa

CLI yang asli menjalankan suite tetap berisi empat tugas, masing-masing lima percobaan, terhadap gateway tiruan offline dengan model skrip. Verifier tersembunyi menentukan hasil tiap percobaan dari workspace yang dihasilkan. Model tidak pernah melihatnya. Jumlah token adalah pemakaian yang dicatat CLI sendiri.

Satu dari empat tugas adalah kontrol negatif yang harus gagal di setiap percobaan. Kalau verifier meloloskan semuanya, deretan nilai sempurna tidak berarti apa-apa. Kontrol itulah yang menunjukkan bahwa verifier bisa membedakan.

Yang diperiksa

Karena modelnya skrip, tingkat lolos mengukur alurnya: CLI menyala, menjalankan alatnya, mencatat token, verifier memisahkan lolos dari gagal, dan statistiknya dihitung dengan cara yang akan dipakai suite live. Dari 20 percobaan, 15 berhasil. Lima yang tidak berhasil adalah kontrol negatif, gagal sebagaimana mestinya.

Angka-angka itu bukan kualitas model dan bukan kualitas harness. Jangan dikutip sebagai salah satunya.

Aturan integritas

• Suite, giliran skrip, dan verifier ada di repositori, dan tidak ada yang disetel setelah proses berjalan.
• Halaman hasil dirender dari percobaan yang direkam, jadi angka yang diedit tangan akan gagal di pemeriksaan.
• Kolom biaya memakai tarif ilustrasi. Ia menguji pencatatan, bukan pengeluaran.
• Selisih kurang dari tiga poin persentase dianggap seri kecuali interval keyakinannya terpisah.

Yang masih menunggu

Belum ada yang dijalankan, dan tidak ada yang mencetak angka sebelum dijalankan: Terminal-Bench, SWE-bench Pro, suite keandalan edit, efisiensi runtime, dan suite ketangguhan. Masing-masing butuh key gateway dan anggaran yang belum ditetapkan. Rencana datang sebelum proses apa pun.

Di mana membacanya

Catatan lengkapnya adalah berkas benchmark di repositori. Situs ini hanya mengutipnya dan tidak yang lain.