Analisis butir ini, sebagaimana telah dikemukakan penulis di awal bagian ini, hanya berlaku untuk soal berbentuk pilihan ganda (multiplr choice). Dalam soal bentuk ini alternatif jawaban (option) yang disediakan (kadang 3, 4 atau 5 pilihan) satu di antaranya merupakan kunci jawaban sedangkan yang lainnya merupakan distraktor.
Konsep dasar dalam analisis ini adalah bahwa distraktor yang baik adalah distraktor yang mampu mengecoh testee untuk memilihnya, sehingga manakala tidak ada satu pun di antara testee yang memilihnya, maka dapat dikatakan distraktor atau pengecoh tersebut tidak berfungsi.
Berapa ukuran suatu distraktor telah berfungsi. Menurut Suharsimi Arikunto (1995: 226) secara umum suatu distraktor dikatakan telah berfungsi dengan baik manakala distraktor tersebut dipilih minimal 5 % dari seluruh testee. Sementara Fernandes (1984: 29) mensyaratkan lebih kecil lagi, yakni minimum 2 %.
Keterbatasan Teori Klasik Analisis Butir
Meskipun teori Klasik analisis butir soal telah banyak dipergunakan, namun ternyata memiliki kelemahan. Kelemahan utama adalah bahwa hasil analisis tergantung pada kelompok peserta tes (testee) dan kelompok soal yang diteskan (Hambleton, 1991: 2-3).
Suatu butir soal dapat memiliki indeks kesukaran tinggi (soal mudah) jika diujikan pada sekelompok testee yang memiliki kemampuan tinggi. Sebaliknya butir soal tersebut akan memiliki indeks kesukaran rendah (soal sulit) manakala diujikan pada sekelompok siswa / testee yang memiliki kemampuan rendah.
Begitu juga dengan skor yang diperoleh testee akan tergantung pada tingkat kesukaran suatu soal. Seorang siswa akan memiliki tingkat skor tinggi manakala kepadanya diberikan soal yang mudah (indeks kesukaran tinggi). Sebaliknya siswa yang sama akan memiliki skor rendah manakala kepadanya diberikan soal yang sulit (indeks kesukaran rendah).
:.