선택형 문항개발 안내

연구개발본부

※ 효과적인 문항개발 능력향상 워크숍을 위해 문항작성안내를 참조하시어 개별적으로 연습문항(1~2개)을 준비하여 제출해 주시기 바랍니다.

☞ 국가시험 과목 및 출제 분야에서 자유롭게 선택하셔서 개발합니다.

☞ 12p 문항카드 양식을 활용하시기 바랍니다(개별파일 전송).

Ⅰ. 시험의 타당도와 신뢰도

1. 측정과 검사

□ 측정(measurement)이란 사물의 성질을 구체화하기 위하여 수를 부여하는 절차이다.

	시험문항의 구성과 작성

□ 측정을 위하여 사용되는 도구의 하나가 검사(test)인데, 검사는 여러 형태가 있을 수 있으며 일반적으로 지필검사(paper and pencil test)를 든다.

2. 타당도와 신뢰도

(1) 타당도와 신뢰도의 관계

□ 타당도(validity)는 검사도구가 측정하고자 하는 내용을 얼마나 충실히 측정하였느냐 하는 검사목적에 따른 검사도구의 적합성이다.

□ 신뢰도(reliability)는 동일한 대상을 반복적으로 측정할 때마다 같은 결과가 나올 수 있도록 하는 특성을 측정하는 검사도구의 일관성을 말한다.

□ 타당도와 신뢰도가 다른 개념이라 할지라도 분리하기보다는 연관성을 두고 분석하는 것이 두 개념을 이해하는 데 도움이 된다. 신뢰도는 타당도의 중요한 선행요건으로, 타당도가 높기 위하여 신뢰도는 높아야 한다. 그러나 신뢰도가 높다하여 반드시 타당도가 높은 것은 아니므로, 신뢰도와 타당도의 관계에서 신뢰도는 타당도를 위한 필요조건이지 충분조건은 아니다.

(2) 문항개발의 원칙

좋은 시험문항을 만들기 위해서는 문항 구성을 위한 기본 원칙을 충실히 지켜야 한다. 이 원칙을 지킴으로써 궁극적으로 시험의 질을 결정하는 요인인 관련성(relevancy)과 신뢰성, 타당성을 모두 확보할 수 있기 때문이다.

관련성은 수험자의 능력을 정확하게 측정하는 정도를 말하는 것으로, 즉 관련성과 신뢰성을 확보해야 시험의 타당성을 확보할 수 있다. 이는 문항 개발, 문항 정리, 문항 심사, 그리고 출제 시 항상 유념해야 한다.

(3) 양질의 문항을 제작하기 위하여 문항 제작자가 갖추어야 할 자격

□ 문항 제작자는 교육과정과 교과내용의 전문가이어야 한다.

□ 피험자 집단의 특성을 알고 있어야 한다.

□ 문항 제작에 있어 문항 유형의 특징과 장단점, 문항작성 방법, 그리고 문항분석을 위한 문항난이도, 문항변별도, 문항추측도를 이해하여야 한다.

□ 문항의 내용을 간결, 명확하게 표현하는 문장력을 지녀야 한다.

II. MCQ(multiple-choice question, MCQ)의 종류와 형태

1. 선택형 문항

□ 객관식 시험문항(objective test items)의 가장 대표적인 형태이다.

□ 선택형 문항은 질문과 답의 보기가 동시에 주어져 있어 여러 개의 보기 중에서 물음에 대한 옳은 답(정답형, only-one answer) 또는 가장 적절한 답(최선답형, best-one answer)을 선택하게 하는 시험유형이다.

□ 선택형 시험문항의 특징은 문항형식 자체가 구조화, 객관화되어 있고, 정답을 문항 속에서 확인, 선택, 인지하는 능력이 평가의 주된 대상이다.

□ 검사집단의 규모가 크거나, 채점의 신속성이 요구될 때, 평가의 공정성, 객관성, 신뢰성이 강조될 때, 한 번 사용한 문제를 다시 사용하고자 할 때 선택형 시험문항이 평가도구로 적합하다.

2. MCQ의 종류

가장 ‘옳은’ 답 ‘하나’를 고르는 형식	‘사실’인 답을 ‘모두’ 고르는 형식
단일정답형 MCQ (A형) 결합형 MCQ (B형) 확장결합형 MCQ (R형)	비교형 MCQ (C형) 조합형 MCQ (K형) 변형조합형 MCQ (X형)

(1) 단일정답형 MCQ (A형)

□ 아래 각 문항에 대하여 가장 옳은 답 하나를 답가지 중에서 고르시오.	☜	머리글
음성치료접근법을 선정할 때 가장 중요한 정보는?	☜	문항줄기
1) 진단명 2) 직업 3) 병력 4) 증세 5) 신체적 질병	☜	답가지

이 유형의 문항 답가지에서는 상대적인 정도에 따라 어느 하나를 골라낼 수 있도록 나머지 네 개의 오답가지가 ‘매력 있는 오답’으로 작용하도록 만드는 것이 잘 구성된 좋은 문항이라고 할 수 있다.

III. 지식수준별 MCQ 작성법

1. 암기형 문항

암기형 문항(recall type items)은 사실적 지식(factual knowledge)의 회상(recall)에 의해 답을 맞출 수 있는 시험문항 종류이다.

문항. 신생아 청력선별검사를 할 때 일반적으로 첫 단계에서 실시하는 검사는?

1)  순음청력검사

2)  어음청력검사

3)  이음향방사검사

4)  청성지속반응검사

5)  임피던스검사

2. 해석형 문항

해석(interpretation) 수준은 암기보다는 좀 더 많은 생각을 하게 하는 지식수준이다. 즉 암기가 단순히 기억만을 필요로 하는데 비하여 해석 수준에서는 어떤 사실을 기억하되 왜 그렇게 되는지 그 이유를 알고 해석을 내릴 줄 알아야 하며, 이해한 내용을 다른 형태로 바꾸어서도 표현할 줄 아는 그런 능력을 말한다. 여기에는 요약, 풀이, 해석, 판독, 해독, 번역 등이 해당되며, 기억하고 있는 내용을 포괄적으로 파악하여 이해하는 능력이 있어야 된다.

해석형 문항(interpretation type items)을 구성하려면 단순한 지식에 덧붙여 왜 그런지 이유까지 설명할 수 있어야 정답을 가려낼 수 있는 내용을 가지고 꾸며야 한다.

문항. 어떤 유아가 “아빠가 엄마한테 청소한다고 했어”라는 문장을 엄마가 청소     하는 것으로 이해했다면 이때 유아가 사용한 문장이해 전략은?

1) 행위 우선 전략

2) 목적 우선 전략

3) 근접거리 전략

4) 어순 전략

5) 실현가능성 전략

3. 문제해결형 문항

어느 한 수준의 지식 내용을 묻게 될 때는, 보통 그것보다 낮은 전 단계 수준의 지식 내용을 이미 포함하게 된다. 즉 해석 수준의 물음 안에는 이미 관련된 지식의 기억력은 물론 그 지식의 이해력을 포함하고 있으며, 같은 이치로 문제해결형 문항에서는 그 안에 해석 수준의 단편적 지식(기억력과 이해력)에다 그 지식 사이의 관련성은 물론 응용력, 분석력, 합성력, 평가력 그리고 단계마다의 판단력과 결정력을 모두 종합적으로 포함하고 있으므로 궁극적으로는 가장 포괄적인 물음이 되는 것이다.

문제해결형 문항(problem-solving MCQ)을 만드는 일은, 우선 해결할 문제를 제시하고 다음 단계로 넘어가는데 어떠한 결정을 내리겠는지 선택하도록 하면 된다.

문항. 좌측 중대뇌동맥의 경색(Lt. MCA infarction)으로 언어 문제를 보였던 환자의 검

사 결과, 유창성이 심하게 저하되어 의미있는 정보 전달이 잘 이루어지지 않았으

나 자동구어 동안의 조음은 비교적 정확한 편이었고 약간의 머뭇거림이 관찰되었

다. 알아듣기에서 98%, 따라말하기에서 23%, 이름대기에서 25%의 정답률을 보

였다면, 이 환자의 말·언어장애에 대한 진단명은?

1)  말실행증

2)  마비말장애

3)  브로카실어증

4)  베르니케실어증

5)  연결피질감각실어증

IV. 문항작성법

1. 문항개발 계획

(1) 보건의료인의 ‘기본 임무’에 ‘평가 내용’을 맞춘다.

(2) 국시원의 해당 분야 ‘출제기준 및 문항개발기준’을 따른다.

(3) 시험 주제는 전체 영역 범위 안에서 고르게 정한다.

(4) 실제 임무에서 필요로 하는 영역을 모두 포함시킨다.

(5) 시험 형식은 실제 상황에 가깝도록 구성한다.

(6) 시험 주제와 시험 내용에 따라 적절한 시험문항의 형태를 선택한다.

(7) 전체 시험문항이 고른 난이도를 가지게 한다.

2. 문항내용 선정

(1) 국가시험에서는 보건의료인으로서 반드시 습득해야하는 기본적인내용을 다루어야 하며, 너무 어렵거나 쉬운 문항은 지양하도록 한다.

(2) 특정 이론적 사실에 너무 편중하거나 특정 문헌만을 기준으로 개발하지 않도록 한다.

(3) 개발문항들이 일반화되지 않은 논문내용이나 교육되지 않은 내용 등은 배제한다.

(4) 각종 수험지에 수록된 예상문제와 동일한 문항은 배제한다.

(5) 명확한 하나의 정답이 있는 문항인지 출처를 반드시 확인한다.(참고문헌 2개 이상)

3. 문항줄기 작성

(1) 문항줄기는 정답을 선택하는데 필요한 정보만으로 구성해야 한다. 따라서 문항줄기는 간결, 명료해야 하지만 지나치게 정보를 축소하면 물음의 의도가 정확히 구현되지 않으므로 필수요소를 잘 점검하여 매끄러운 문맥으로 구성하도록 한다.

(2)  일반화되지 않은 주장이나 이론의 옳고 그름을 묻지 않는다.

(3) 부정문의 사용은 지양한다. 또한 이중부정은 사용하지 않는다. 부득이 부정문을 사용해야 할 경우 응시자의 주의를 환기시키기 위하여 부정형 단어에 밑줄을 긋고 진하게 표시하도록 한다.

(4) 교과서와 똑같은 문장으로 작성하지 않는다. 정답의 근거가 되는 참고문헌은 필수적이나 교재에 적혀있는 문장을 바로 인용하여 문항줄기를 작성할 경우 출제오류로 이어질 가능성이 있으므로 집필자의 의도와 앞뒤 전체문맥을 고려해 출제의도에 맞게 문항줄기를 재구성 한다.

(5) 가능한 간단명료한 단문을 사용한다. 필수적인 정보(information), 조건(condition)은 모두 포함하되 복합문보다는 단문을 사용하여 문장의 이해력을 높이고, 질문을 명료하게 이해시키기 위함이다.

(6) 한 질문에는 하나의 내용으로 구조화하여 작성한다. 한 문항에 여러 가지 답을 요구하지 않도록 한다.

(7) 문항의 질문내용 중 답을 암시하는 내용이 없어야 한다. 간단한 독해만으로 정답추측이 가능하거나, 정답을 암시하는 표현은 없어야 한다.

4. 답가지 작성

(1) 명확한 하나의 정답을 작성 하는 것도 중요하지만, 매력적인 오답가지를 작성하는 것도 중요하므로, 문항내용과 관련성이 있으면서 그럴듯한 답가지로 구성한다.

(2) 답가지 내용이 상호 독립적이어야 한다. 다른 답가지와 내용 및 범위가 중복되지 않게 작성한다.

(3) 답가지는 같은 측면에서 작성한다. 답가지가 서로 다른 측면에서 작성되면 답가지의 매력도가 크게 떨어지고, 문항의 타당성과 신뢰성이 저하된다.

(4) 가능하면 답가지는 짧은 단어나 문구로 작성하고, 길이도 비슷하게 작성한다.

(5) 답가지는 수치와 범위 등 논리적 순서에 따라 배열하고, 논리적 순서가 없는 경우는 길이 순으로 배열한다.

(6) 답가지를 수치로 표현하는 경우, 제시하는 단위나 간격을 현저하게 차이가 나지 않도록 논리적으로 작성해야 한다.

5. 개발문항 검토

개발된 문항은 문항내용부터 정답에 대한 검토가 중요하다. 전문가들의 토의를 통해 문항을 수정·보완하는 절차가 중요하며, 개발 후 아래의 문항점검표를 활용하여 문항의 완성도를 점검하도록 한다.

구분	점검 내용
문항 내용	꼭 이 내용을 출제해야 하는가? 이 내용은 해당 직종의 임무 수행에 중요한가? 응시자의 능력을 정확하게 측정할 수 있는가? 사실의 암기 보다는 지식의 응용을 평가하는가? 문항줄기, 답가지 그리고 정답이 논쟁거리가 되지는 않는가? 지나치게 어렵거나 쉽지는 않는가? 문항의 지식수준별(암기형, 해석형, 해결형) 구분이 명확한가?
문항 줄기	문항줄기는 답가지를 보지 않고도 정답 추정이 가능한가? 문항줄기는 꼭 필요한 단어나 문구만을 사용하였는가? 문항줄기에서 묻고자 하는 내용을 응시자가 쉽게 알 수 있는가? 문항줄기가 불필요하게 부정문이지는 않는가? 문항줄기가 조합형(K형)의 경우 긍정형 물음인가?
답가지	답가지는 동질성이 있는가? 답가지가 서로 힌트를 주지는 않는가? 답가지 중 오답가지는 매력적인가? 답가지에 반복되는 단어가 있다면 꼭 필요한가? 답가지 나열 순서가 규칙적이거나 논리적인가? 답가지는 모두 문항줄기와 관련성이 있는 5개인가? 조합형의 경우 정답에는 옳은 답의 보기가 모두 포함되었는가?

V. 문항분석 및 평가

1. 문항의 질적, 양적 평가

□ 문항에 대한 질적 평가는 내용의 타당도를 확인하는 과정으로 전문가의 주관적 판단에 의존한다. 문항이 작성원리에 따라서 작성되었는지, 문항개발지침에 근거한 것인지를 판단한다.

□ 문항에 대한 양적 평가는 응시자의 응답결과를 검사이론에 적용하여 난이도, 분별도, 답지반응도, 답가지의 매력도 등을 분석하는 것이다.

2. 문항분석

● 정답을 선택한 응시자의 수

● 한 문항에서 얻은 점수와 총점과의 상관

● 각각의 답가지를 선택한 응시자의 수

문항분석은 이 세 가지 질문에 대한 답을 구하는 것이며, 이들을 각각 문항 난이도(정답율), 문항 변별도, 오답분석이라고 부른다.

3. 난이도(Item difficulty)

□ 어떤 문항에 대해 올바른 답을 한 응시자의 비율 아래와 같이 계산한다.

난이도(P)	〓	정답자 수
		응시자 총수

□ 위 식에 따라서 난이도는 0에서 1 사이의 값을 가진다. 정답자가 많을수록, 즉 쉬운 문제일수록 1에 가까운 값을 나타낸다.

□ 일반적으로 난이도 0.5~0.6을 최적범위(desirable range)로 인정하며, 0.3~0.7 사이를 허용범위(acceptable range)로 정하고 있다.

□ 응시자의 성적 순위를 추려내는 시험과 달리 보건의료인국가시험과 같이 총점의 60% 이상을 득점하면 면허를 부여하는 시험에서는 문항난이도의 적정범위를 다소 넓게 인정하고 있다. 즉, 난이도 50~70%를 최적범위(desirable range), 30~80% 사이를 허용범위(acceptable range)로 정하고 있다 (난이도를 백분율로 표현하기도 함).

4. 문항분별도(문항변별도, Item discrimination)

□ 어떤 문항이 그 시험 전체에서 측정하고자 하는 바를 얼마나 반영하고 있는가 하는 것으로, 각 문항이 공부를 많이 한 응시자와 그렇지 못한 응시자를 얼마나 잘 구분해 주는지의 정도를 나타내는 지수이다.

□ 분별도지수를 산출하는 데는 여러 방법이 있으나 응시자의 수가 많은 경우에는 양극집단법(extreme groups method)을 사용한다. 이것은 시험의 결과 상위성적을 얻은 응시자의 집단과 하위성적을 얻은 응시자의 집단간에 난이도의 차이를 나타내고 있다.

분별도 지수	〓	상위 27% 중 정답자 수	―	하위 27% 중 정답자 수
		상위 27%의 응시자 수		하위 27%의 응시자 수

□ 분별도지수는 ‘최하 -1에서 최고 1’ 사이의 범위이며 상위집단의 정답자보다 하위집단의 정답자가 많은 경우 분별도지수는 음수가 나올 수 있다.

□ 0.35이상이면 가장 좋은 것으로 평가되어 우수군(excellent)으로 분류한다. 0.25~ 0.35는 양호(good) 0.15~0.25는 경계(marginal)로 분류되며 0.15 이하는 불량한 것으로 간주한다.

5. 오답분석(distractor analysis)

□ 문항의 오답 중에서 아무도 선택하지 않거나 극소수의 응시자만이 선택한 오답이 있다면 잘못 만들어진 문항이라고 할 수 있다.

□ 반대로 너무 많은 수의 응시자가 선택한 오답도 좋은 것이 아니다.

□ 이러한 오답은 문항을 쉽게 만드는 역할을 하며 시험전체의 신뢰도를 저하시킨다.

[문항분석의 예]

검사결과 질병이 있는 사람은 있다(A)고, 없는 사람은 없다(B)고 판단하는 도구를 순서대로 나열한 것은?

	A	B
1)	민감도	특이도	(61.8%) ☜ 답지반응비율
2)	예측도	민감도	(0.0%)
3)	민감도	음성예측도	(6.9%)
4)	양성예측도	특이도	(0.8%)
5)	양성예측도	음성예측도	(30.5%) ☜ 매력적인 오답

정답 : 1,  난이도 : 61.8 (60),  분별도 : 0.31,  암기형

V. 문항개발위원 역할

1. 문항개발위원의 책임과 의무

(1) 문항(자료)개발 과정에서 알게 된 시험문항과 관련된 내용을 타인에게 알리지 않는다.

(2) 문항개발, 심사 또는 선정한 문항을 어떠한 형태(인쇄물, 파일 등)로도 누설하거나 동일한 기고를 하지 않는다.

(3) 문항개발, 심사 또는 선정한 문항과 동일하다고 인정되는 내용과 형식을 특별히 강의하거나 다른 시험(학교의 중간, 기말시험 등)에 출제하지 않는다.

(4) 출판물, 문제집 등에 실려 있는 문제와 동일한 문항을 개발하거나 선정하지 않는다.

(5) 국가시험 시행에 지장을 초래하는  일체의 언행을 하지 않으며, 지침에 따라 공정하고 성실하게 업무를 수행한다.

2. 문항개발위원이 갖추어야 할 요건

시험의 질은 문항 개발자의 능력에 비례한다고 볼 수 있으므로 좋은 문항을 개발하기 위해서는 다음과 같은 능력을 가져야 한다.

(1) 교육 목표와 교과 내용에 대한 충분한 이해가 있어야 한다.

학생이 무엇을 알아야 하고, 무엇을 잘못 알고 있는지를 파악하여야 한다. 또한 검사 도구가 가르친 내용과 교육과정의 중요한 내용을 제대로 포함하는지를 알 수 있어야 한다.

(2) 교수･학습 이론과 인지 심리학에 대한 이해가 필요하다.

학습자가 어떤 내용을 이해하는 전략과 문제를 해결하는 전략을 알아야 고등정신을 측정할 수 있는 수준 높은 문항을 제작할 수 있다.

(3) 응시생 집단의 특성을 잘 알고 있어야 한다.

학습 발달 수준뿐만 아니라 그들이 사용하는 어휘 수준도 파악하여야 그 집단에 적합한 문항을 제작할 수 있다. 만약 문제에 어려운 단어가 포함된다면, 피험자가 문제의 내용을 알고 있다고 하여도 사용된 단어의 의미를 몰라 답이 틀리게 되는 경우가 발생하게 될 것이다. 이것은 검사 도구의 신뢰도를 저하시키는 요인이 된다.

(4) 문항 작성법을 숙지해야 한다.

문항의 지식수준(암기형, 해석형, 해결형)과 문항 유형(A형)의 특징과 장단점, 그리고 문항 제작 방법을 이해해야 한다.

(5) 검사 이론을 이해해야 한다.

출제한 문항이 좋은 문항인지 나쁜 문항인지 평가하기 위해서는 문항 분석 방법을 숙지해야 한다. 문항 난이도, 문항 변별도, 타당도, 신뢰도가 무엇인지 이해해야 한다. 또한 A형 문항에서 문항줄기의 매력을 분석하여 문항의 난이도를 조절하는 방법을 알아야 한다.

(6) 문항을 개발하는 임상분야에 관하여 깊고 넓은 통찰력이 필요하다.

기억을 요구하는 수준을 넘어 적용, 분석, 종합, 평가, 창의성과 같은 높은 수준의 사고력을 측정하는 문항은 문항 개발자의 지적 능력에 따라 문항의 질이 좌우된다.

(7) 문장력이 필요하다.

질문의 내용을 간결하고 명확하게 글로 표현하는 능력이 필요하다. 산만하고 긴 문체는 질문의 요지를 모호하게 하여 검사도구의 신뢰도를 저하시키는 원인이 된다.

(8) 다른 사람의 조언에 귀 기울이는 성품이 필요하다.

문항을 개발할 경우 동료들에 의한 논의뿐만 아니라 문항 심사자 또는 차후 출제자에 의해 다른 의견이 제시될 수 있다. 예를 들어 질문이 명료하지 못하여 개발자가 요구하는 정답과 다른 응답이 나올 수 있다든지, 답이 두 개일 수 있다든지, 질문에 어려운 단어가 있어 문제의 의미 파악이 어렵다든지 등이다. 이와 같은 조언을 스스럼없이 수용하여 문제점을 분석하는 여유가 필요하다.

(9) 성별, 직업, 사회 계층에 대한 편견을 지니고 있지 않아야 한다.

성별에 대한 고정관념, 직업에 대한 편견 등을 지니고 있으면 은연 중에 특정 집단에 익숙한 문제뿐만 아니라 편파적 언어로 문항을 제작하는 경향이 있다.

(10) 경험이 필요하다.

위에 열거한 능력이 있다 하더라도, 문항을 개발, 분류, 심사하는 경험이 없으면 좋은 문항을 제작하기 어렵다.

(11) 시험이 수험자나 학교 및 사회에 미치는 영향까지 고려할 수 있는 안목이 필요하다.

보건의료인국가시험은 취업을 위한 중요한 전형 자료일 뿐만 아니라 학교 교육 내용과 방법에 중요한 영향을 미치며, 문항 내용이나 표현 양식은 교육현장과 실제 사회에 큰 파장을 미칠 수 있다는 것을 명심해야 한다.

문 항 카 드 양 식 (예시)

과목				작성자
문항줄기
답가지	1)
	2)
	3)
	4)
	5)
문항정보	지식수준	암기/해석/해결 (해당하는 수준에 체크)	정답		추정난이도 (0~100%)
개발의도	▶ 평가목표, 지식수준, 정답해설 등 문항에 대한 설명을 기재하십시오.

문항카드 양식 작성 방법 안내

☞ 동 워크숍은 개별적으로 개발한 문항을 조별 토의를 거쳐 수정 후  발표하는 방식으로 진행될 예정이오니, 서식을 활용하여 문항을 준비해 주시기 바랍니다.

<작성요령>