Cara kami menulis dan memeriksa soal.

Setiap paket dimulai dari kisi-kisi, bukan dari kumpulan soal yang kebetulan sudah ada. Blueprint mencatat subtes, skill, level kognitif, estimasi waktu, dan miskonsepsi yang ingin dideteksi. Tanpa kolom itu, soal mudah menumpuk di topik yang disukai penulis dan sulit dipakai untuk diagnosis.

Untuk SNBT, cakupan kami dibatasi pada PK dan PM. Untuk TKA, blueprint mengikuti jenjang dan kisi-kisi asesmen yang berlaku. Kami tidak mencampur soal jenjang lain ke sebuah paket hanya karena soalnya terlihat “lebih seru”.

Setiap item juga dicatat dalam daftar template. Tujuannya mencegah dua soal memakai kerangka yang sama dengan angka berbeda — pola yang membuat latihan terasa banyak, tetapi sebenarnya hanya satu soal.

Aturan penulisan kami sederhana: satu soal harus punya satu alasan untuk benar, dan setiap pengecoh harus punya alasan untuk salah. Pengecoh tidak boleh dibuat asal berbeda; ia harus mewakili cara berpikir yang benar-benar muncul di kelas.

• Satu jawaban benar. Tidak ada opsi yang “benar kalau ditafsirkan lain”.
• Empat pengecoh bermakna. Setiap pengecoh dipetakan ke satu kesalahan prosedur atau pembacaan.
• Konteks akrab. Harga, jarak, waktu, dan data sehari-hari. Bukan cerita berbelit yang menguji ketelitian membaca.
• Aritmetika bukan hambatan. Angka dipilih agar siswa bisa fokus pada konsep, bukan pada perkalian panjang.
• Satu perintah per kalimat. Tidak ada negatif ganda, tidak ada “kecuali”, kecuali memang menjadi inti soal.

Contoh keputusan penulisan untuk soal $\frac{1}{2}+\frac{1}{3}$:

Pengecoh yang tidak pernah dipilih tetap dicatat. Kalau sebuah pengecoh tidak menarik bagi siapa pun, ia tidak mendiagnosis apa pun — dan harus diganti, bukan dibiarkan sebagai pengisi.

Satu orang tidak cukup untuk memeriksa soal yang akan dipakai ribuan siswa. Karena itu setiap item melewati lima peran yang berbeda. Pemeriksa tidak melihat kunci sebelum menyelesaikan soal sendiri.

Item yang gagal di satu tahap kembali ke penulis. Tidak ada jalur cepat untuk mengejar tanggal rilis. Kalau sebuah item belum yakin, item itu tidak masuk paket — lebih baik paket lebih pendek daripada diagnosis yang salah.

Pertanyaan yang harus dijawab setiap pemeriksa:

• Apakah ada cara lain membaca soal ini?
• Apakah ada jawaban kedua yang bisa dibenarkan?
• Apakah pengecoh benar-benar salah, bukan sekadar kurang lengkap?
• Apakah pembahasan menjelaskan mengapa pengecoh itu salah?
• Apakah soal masih bisa dikerjakan tanpa kalkulator?

Soal yang benar secara matematis masih bisa gagal di layar. Rumus bisa terpotong, gambar bisa tidak sesuai data, atau kunci jawaban bisa ikut terkirim ke browser. Validasi teknis memeriksa hal-hal yang tidak terlihat di lembar kertas.

• Kunci jawaban di server. Di mode ujian, kunci tidak ikut dikirim ke browser. Penilaian dilakukan setelah sesi dikumpulkan, bukan di perangkat siswa.
• Gambar punya sumber yang sama. Diagram dibuat dari data yang sama dengan pertanyaan. Angka di gambar tidak boleh berbeda dari angka di teks.
• Rumus diuji di 360px. KaTeX harus terbaca tanpa horizontal scroll. Tabel tetap HTML, bukan gambar.
• Alt text dan caption. Gambar punya deskripsi yang cukup untuk pembaca layar, bukan sekadar “gambar soal”.
• Autosave dan timer. Jawaban tersimpan saat koneksi terputus. Timer berhenti saat sesi dikumpulkan.
• Fokus keyboard terlihat. Semua kontrol bisa dipakai tanpa mouse, termasuk navigator soal.

Setelah lolos pemeriksaan manusia dan teknis, item diuji ke siswa sungguhan. Kami mencatat waktu per soal, jawaban yang dipilih, dan alasan siswa memilih pengecoh. Uji coba awal memakai wawancara think-aloud, bukan hanya skor.

Ambang awal: item dengan p-value di bawah 0,15 atau di atas 0,95 ditinjau ulang. Pengecoh yang dipilih kurang dari 5% peserta dibahas, dan item dengan daya beda negatif ditahan. Angka-angka ini bukan keputusan otomatis; pemeriksa tetap membaca alasannya.

Kami belum memakai IRT. Dengan 10–20 item per paket, estimasi IRT belum stabil. Tahap ini memakai statistik klasik dan review kualitatif. Percentile komunitas baru ditampilkan setelah satu paket punya cukup responden — ambang kami 100 responden per paket.

Metodologi ini tidak menghilangkan kemungkinan soal salah. Yang bisa kami lakukan adalah membuat kesalahan lebih mudah ditemukan dan diperbaiki.

• Bukan soal resmi. Soal disusun sendiri dan tidak berasal dari SNPMB atau Pusmendik.
• Skor latihan, bukan skor SNBT. Skor tidak bisa dipakai sebagai prediksi resmi kelulusan.
• Sampel uji coba tidak acak. Siswa yang mau ikut pilot bisa berbeda dari populasi pendaftar SNBT.
• Pemeriksaan manusia punya batas. Kalau kamu menemukan soal yang ambigu atau kunci yang keliru, kirim ke halo@ngertimatika.my.id. Laporan seperti ini kami prioritaskan.
• Tidak ada jaminan kenaikan skor. Yang kami jamin: soal diperiksa, pembahasan jelas, dan laporan bisa dibaca.

Catatan Halaman ini menjelaskan proses, bukan menjanjikan hasil. Pertanyaan metodologi bisa dikirim ke halo@ngertimatika.my.id.