A Corpus-Based Study on Vocabulary Use in English Listening Tests for High School Students

박 명호  Myung Ho Park1이 동주  Dong Ju Lee2*

Abstract

The aim of this study is to analyze the use of English vocabulary in English listening tests for high school students. This study analyzed single words, lexical bundles, and delexical verb collocations in the listening test scripts of CSAT, GSAT and GLT from the year of 2011 to 2020. The corpora were constructed with 210 listening test scripts. The investigation of single words first showed that test items under 2009 Revised National Curriculum used almost 20% of words that were not in the basic word lists, which means test items used much more difficult vocabulary than those National Curriculum guided. However, under the 2015 Revised National Curriculum, all test items used 10% of words not in the lists. Second, the word ‘go’, ‘good’, ‘look’ have appeared most frequently in all listening tests regardless of the school grade. The investigation of lexical bundles reveals that stance function bundles were used most frequently in GSAT, and GLT, but in CSAT, special function bundles (i.e., inquiry function) were used more than stance function bundles. In GSAT, the frequency of stance bundles increases as the school grade of test-takers rises. Overall, lots of lexical bundles were used in common among tests irrespective of test takers’ school grades. Lastly, the analysis of delexical verb collocations shows that delexical verb+noun collocations in GSAT were markedly less used than those in other listening tests. Especially in the case of the verb ‘have’, have+noun collocations were used only about 9% of the verb’s overall occurrence in the whole texts. The findings show there is unbalance in the use of delexical verbs in listening tests and there is no hierarchy in the use of delexical verbs in relation to the school grade of the test takers. These results provide meaningful implications to teachers in teaching English listening skills and developing listening test items.

Keyword



Introduction

지난 10년간 고등학교 3학년 학생들은 3번의 교육과정 개정을 겪었다. 2021학년도 대학수학능력시험(이하 수능)은 2015 개정 교육과정이 반영된 첫 시험이다. 수능이 영어교육에 지대한 영향을 미치면서 수능 및 영어 교과서, EBS 수능 연계교재 등의 어휘 및 뭉치말(lexical bundles)에 대한 분석 연구가 활발히 진행되어왔다. 고등학교 영어 교과서와 수능, 수능 연계교재의 어휘 연구(Choi&Lee, 2020), 고등학교 영어교과서와 수능, EBS 교재의 뭉치말에 대한 비교 연구(Kang&Lee, 2016), 중학교 교과서 듣기 활동과 전국영어듣기평가 문항의 비교 연구(Kim, 2020), 영어교과서 듣기 자료의 어휘 분석(Jang&Jang, 2018), 중학교 영어 교과서와 전국영어듣기평가에 나타난 탈어휘 동사 연어에 대한 비교 연구(Lee&Kim, 2020) 등이 읽기 문항과 듣기 문항에 관한 어휘 분석 연구라 할 수 있으나, 고등학교에서 시행되는 수능, 전국연합학력평가 및 전국영어듣기평가의 듣기 문항에 관한 어휘의 비교 연구는 찾아보기 어렵다.

수능이 범교과 소재를 활용하여 출제되고 있고, 그 환류효과(washback)가 매우 크며, 전국연합학력평가 또한 수능 출제 방향과 문항 유형에 맞추어 출제되고 있으며, 전국영어듣기평가의 점수가 고등학교 영어 과목의 내신 성적에 반영되고 있다. 이렇듯 각각의 평가가 우리나라 고등학교 영어교육에 중대한 영향을 미치고 있는 사실을 고려해보면 지난 10년간 출제된 듣기평가 문항의 유형을 분석하고, 듣기평가 문항에 사용된 어휘 양상을 비교 분석하는 것은 효과적인 어휘 학습을 위한 교수·학습 자료 및 듣기평가 문항 개발에 활용할 가치가 매우 높을 것으로 판단된다.

그럼에도 불구하고 수능 듣기평가 지문의 탈어휘 동사 분석에 관한 연구는 Song&Jung (2011)의 연구 이후 보고되지 않고 있고, 수능의 읽기 지문에 사용된 어휘 분석 연구는 꾸준히 이루어지고 있으나 듣기 지문의 어휘에 대한 연구는 부족한 상태이다(Ruy&Kim, 2020). 중학생 대상 전국듣기평가의 문항 분석(Kim&Choi, 2018)과 뭉치말에 대한 분석 연구(Kang&Lee, 2016), 탈어휘 동사 분석 연구(Lee&Kim, 2020)는 진행되어왔으나 고등학생 대상 듣기평가의 문항 분석과 어휘 사용 양상(뭉치말, 탈어휘 동사 등)을 비교 분석한 연구는 찾아보기 어렵다.

이에 2015 개정 교육과정이 적용된 2020년 수능과 함께 지난 10년간의 전국단위 고등학교 듣기평가의 어휘 양상을 비교 분석하여 학습자들의 듣기 학습과 어휘 학습의 방향을 설정하고자 하는 맥락에서 본 연구는 각 듣기평가가 교육과정에서 설정한 기본어휘를 준수하고 있는지를 확인하고, 어휘 습득에 중요한 역할을 하는 빈도(frequency)를 고려하여 단일어를 분석하고, 듣기 지문에 2단어 이상 연속적으로 나타나는 뭉치말과 make, take, have 등의 고빈도 동사가 탈어휘 동사로 사용되는 양상을 듣기 평가별, 학년별로 살펴보고자 한다.

이러한 연구의 필요성에 따라 본 연구는 2007 개정 교육과정이 반영된 2011년부터 2015 개정 교육과정이 반영된 2020년까지 10년 동안의 고등학교 영어듣기평가(수능, 전국연합학력평가, 전국고교영어듣기평가) 문항의 어휘 사용 양상을 비교 분석하기 위하여 다음과 같은 연구 문제를 설정하였다.

첫째, 듣기평가의 듣기 문항이 교육과정의 성취기준을 잘 반영하고 있는가?

둘째, 듣기평가 문항에 사용된 단일어, 뭉치말, 탈어휘 동사 연어의 사용 양상이 시험 종류별로 차이가 있는가?

셋째, 듣기평가 문항의 단일어, 뭉치말, 탈어휘 동사 연어의 사용 양상이 학년별로 차이가 있는가?

Theoretical Background

Achievement Standards

수능은 평가 대상 학생들이 고등학교 입학 시 적용받는 교육과정에 따라 출제가 되므로 2011-2012년 수능은 2007 개정 교육과정을 반영하였고, 2013-2019년 수능은 2009 개정 교육과정을 반영하였다. 2020년 시행된 2021학년도 수능은 2015 개정 교육과정을 반영하여 시행되었다. 각 교육과정에서 설정해 놓은 듣기와 말하기의 성취기준을 바탕으로 수능 문항이 만들어지므로 그 성취기준을 살펴볼 필요가 있다. 먼저 2011-2012년 수능에 반영된 2007 개정 교육과정의 영어Ⅰ, Ⅱ 과목의 듣기 및 말하기 영역 성취기준은 Table 1과 같다.

Table 1. Achievement standards of 2007 revised national English curriculum

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T1.png

Table 1과 같이 2007 개정 교육과정의 영어Ⅰ, 영어Ⅱ 과목 듣기 영역의 성취기준은 일반적인 주제 혹은 다양한 주제에 대한 말이나 대화를 읽고 중심내용 추론 이해, 세부사항 파악, 함축된 의미 추론하기 등이다. 말하기 영역의 성취기준은 일반적인 주제에 대한 토론을 듣고 중심내용 말하기, 자신의 의견을 표현하기, 과업을 수행하기와 다양한 주제에 대한 글을 읽고 자신의 의견을 표현하기, 도움을 받으며 토론하기, 자신의 말로 바꾸어 말하기 등이 말하기 영역의 성취기준이다.

2013-2019년 기간에 시행된 수능에 반영된 2009 개정 교육과정의 영어Ⅰ, 영어Ⅱ 과목의 듣기와 말하기 영역의 성취기준은 위 Table 2와 같다. 2009 개정 교육과정의 영어 Ⅰ, 영어Ⅱ 과목의 듣기 영역 성취기준은 2007 개정 교육과정의 성취기준보다 많이 단순화되어 일반적이거나 다양한 주제에 대한 말이나 대화를 듣고 주제나 요지 이해하기, 화자의 의도나 목적 이해하기, 화자의 심경이나 태도 이해하기, 함축된 의미 이해하기이다. 말하기 영역의 성취기준은 일반적이거나 다양한 주제에 대한 말이나 대화를 듣고 중심내용 표현하기, 세부사항 표현하기, 자신의 의견이나 감정 표현하기, 필요한 정보 교환하기, 사진, 표, 도식을 사용하여 발표하기이다.

Table 2. Achievement standards of 2009 revised national English curriculum

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T2.png

Table 3. Achievement standards of 2015 revised national English curriculum

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T3.png

위 Table 3은 2020년 고등학교 전 학년에 적용되어 2021학년도 수능에 반영된 2015 개정 교육과정에 따른 영어Ⅰ, 영어Ⅱ 과목의 듣기와 말하기 영역 성취기준이다. 표에서 보듯이, 2015 개정 교육과정의 영어Ⅰ, 영어Ⅱ의 듣기 영역의 성취기준은 2009 개정 교육과정의 영어Ⅰ, 영어Ⅱ의 듣기, 말하기 영역의 성취기준과 비교해서, 듣기 성취기준 수는 증가하고 말하기 영역의 성취기준은 감소한 것을 알 수 있다. 2015 개정 교육과정의 영어Ⅰ, 영어Ⅱ의 듣기 영역의 성취기준에는 일반적인 주제나 다양한 주제에 대한 말이나 대화를 듣고 세부사항 이해하기, 주제나 요지 이해하기, 논리적 전개 이해하기, 함축된 의미 이해하기, 화자의 심경이나 태도 추론하기가 있고, 말하기 영역의 성취기준은 일반적인 주제나 다양한 주제에 대한 말이나 대화를 듣고 세부사항 설명하기, 중심내용 표현하기, 자신의 의견이나 감정 표현하기, 필요한 정보를 교환하기가 있다.

Kim (2020)은 중학교 교과서와 전국영어듣기평가의 듣기 문항을 비교하여 교육과정 성취기준 반영 정도, 듣기 과업 양상을 비교 분석한 결과 연구 대상 중학교 전국듣기평가 문항이 2009 개정 교육과정의 듣기 영역 성취기준을 고르게 반영하고 있다는 사실을 밝혔다. Kim&Choi (2018)는 중학교 전국영어듣기평가와 서울지회 듣기평가 문항을 비교하여 두 평가에 공통으로 세부사항 파악하기 성취기준을 측정하는 문항이 가장 많다는 것을 보여주었다. Mun&Lee (2007)는 고등학교 영어 교과서 듣기 활동과 전국영어듣기평가 문항을 비교하여 전국영어듣기평가가 함축적 의미 추론을 제외하고 요지 추론, 발화 목적 추론 등의 하향식 듣기 과정을 강조하여 교과서 듣기 활동의 교정적이고 보완적인 역할을 수행하고 있음을 확인했다. Jeon (2012)은 수능의 문항 개선에 대한 연구에서 듣기평가의 이해기능과 표현기능의 통합적 측정의 필요성을 제안하였다.

또한, 2015 개정 교육과정의 영어과 교육과정 성취기준에 관한 연구(Kim, 2019; Lee, 2018)들이 진행되었으나 전국단위의 고등학생 대상 듣기평가 문항과 교육과정 성취기준에 대한 선행연구는 거의 없다. 이에 본 연구는 고등학교 3학년 대상 전국단위 듣기평가 종류별 문항을 비교하여 교육과정 성취기준 반영 정도를 탐색하고자 한다.

Lexical Bundles and Delexical Verbs

Lexical Bundles

뭉치말(lexical bundles)이란 텍스트에서 2개 이상의 여러 단어가 함께 뭉치로 연속해서 쓰이는 것으로 구조적 지위나 관용어적 성격과 관계없이 문장에서 반복되는 표현이다(Biber et al., 1999). 구어의 경우 뭉치말은 담화를 구축하는 도구 역할을 한다. 따라서 제2언어와 외국어로서의 영어 학습에 있어 뭉치말은 매우 중요하다(Ellis, 2012; Shin&Nation, 2007). 뭉치말의 사용은 언어 사용역(register)에 따라 구조적, 기능적 차이를 보이는데 대화에서 높은 빈도를 보이는 뭉치말은 양태(stance)의 기능을 하는 뭉치말로 「인칭대명사+동사+목적어/보어의 첫 부분」으로 시작하는 구조적 특징을 가지고 문장의 처음에 사용되어 담화를 구성하는 역할을 한다. 반면, 문어에서 높은 빈도를 보이는 뭉치말은 「명사구+전치사구」의 구조적 특징이 있고, 기능적으로는 지시(referential expression) 기능의 뭉치말이 높은 빈도를 보인다(Conrad&Biber, 2005). Conrad&Biber (2005)는 대화문과 학술적 산문에서 사용되는 4단어로 이루어진 뭉치말 연구에서 사용역에 따른 뭉치말의 사용 양상이 서로 다름을 확인하였고, 특히 대화문에서의 뭉치말의 기능은 대화의 목적과 대화의 맥락을 반영하여 상호작용의 초점, 개인적 생각이나 태도의 전달, 예의에 대한 고려 등의 기능을 수행한다고 하였다.

Kang&Lee (2016)는 고등학교 영어 교과서와 수능, EBS 연계교재의 뭉치말을 분석하여 교육과정의 의사소통 기능에 따라 분류하였고, 교과서, 수능, EBS 연계교재에 공통적으로 양태 기능(stance function)의 뭉치말이 최빈도로 사용되고 있으며, 수능과 EBS 연계교재에서 특별 기능(special function) 중에 질문, 의문 기능(inquiry function)을 수행하는 뭉치말의 사용 비율이 원어민 화자의 뭉치말(BNC Baby)에서 보다 높은 것을 밝혔다. Siricharoen&Wijitsopon (2020)은 교과서와 이메일에서 사용되는 뭉치말 양상 연구를 수행하여 경영학 교과서와 원어민 이메일 코퍼스(ENRON)에서 공통으로 특별한 기능을 수행하는 뭉치말이 40% 이상의 최고빈도로 사용되고 있음을 보여주었다. Woo (2019)는 ICNALE의 한국어 화자와 원어민 화자의 말뭉치 사용례를 비교 분석하여 한국어 화자들이 뭉치말의 양태 기능 중 ‘I think it is’를 과도하게 사용하고 있다는 사실을 밝혔다.

본 연구에서는 고등학교 듣기평가 종류별 및 학년별 뭉치말 사용 양상을 비교하여 분석함으로써 흔히 사용되는 뭉치말 표현이 무엇이며 교수·학습 및 평가에서 이를 어떻게 다룰 것인지에 대한 시사점을 찾고자 한다.

Delexical Verb

Sinclair (1990)는 탈어휘 동사란 의미가 거의 없는 동사로 정의했다. 탈어휘 동사는 행위자가 행위를 수행하는 것을 보여주는 명사를 목적어로 취하는 동사로 take a look, make a decision에서 take, make가 탈어휘 동사이다. 영어의 고빈도 동사 중 do, get, give, have, make, take가 탈어휘 동사로 빈번히 사용된다(Howarth, 1996). 탈어휘 동사는 특정한 명사와 연어(collocation)를 이루어 단일어(single word) 동사의 역할을 수행한다.

Choi (2019)는 한국 대학생 화자들의 탈어휘 동사 사용 양상을 코퍼스 기반으로 원어민 화자의 코퍼스인 LONCNESS와 비교 분석하여 한국 대학생들이 영어 능숙도와 관계없이 탈어휘 동사를 원어민처럼 사용하지 못하고 있으며, 탈어휘 동사의 연어 처리에 있어서 많은 오류를 범하고 있다는 사실을 밝혔다. Lee&Kim (2020)은 중학교 영어 교과서와 중학교 전국영어듣기평가에 나타난 고빈도 탈어휘 동사(have, take, make) 연어에 대한 연구에서 교과서에서 배운 연어 표현이 듣기평가 문항에 고르게 반영되지 못하고, 교과서에서는 학년 간 위계를 고려한 연어 표현이 제대로 제시되지 못하는 점을 지적하였다.

이에 본 연구에서는 코퍼스 언어학을 기반으로 지난 10년 동안의 수능, 전국연합학력평가, 전국고등학교영어듣기평가의 듣기 문항에 사용된 탈어휘 동사 양상을 시험 종류별로 학년별 비교 분석하여 듣기 지도와 듣기 문항 출제에 시사점을 찾고자 한다는 점에서 그 의의를 찾을 수 있다.

Methods

Materials

본 연구의 연구 대상 텍스트는 2011년 3월부터 2020년 11월까지 시행된 수능(College Scholastic Ability Test, 이하 CSAT), 전국연합학력평가(Geonguk Scholastic Ability Test, 이하 GSAT), 전국고등학교영어듣기평가(Geonguk Listening Test, 이하 GLT)의 듣기 문항의 지문(script)을 코퍼스로 구축하였다. A/B형으로 구분되어 시행된 2013년 CSAT, 2012-2013년 GSAT2 평가지는 B형 평가지만을 연구 대상에 포함하였다. 본 연구 수행을 위한 듣기 지문의 세부 정보는 Table 4와 같다.

Table 4. Information of listening scripts

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T4.png

다음 Table 5는 단일어 및 뭉치말 연구 대상 코퍼스의 토큰(Token), 타입(Type), 타입-토큰 비율(TTR), 평균 단어 길이, 문장당 사용된 평균 어휘 수에 대한 기본 정보이다.

실시 횟수가 가장 많은(60회) GSAT의 타입(반복되어 등장했으나 같은 유형이므로 1회로 간주하는 단어 수)과 토큰(총 단어 수)이 가장 많고, 실시 횟수가 가장 적은(10회) CSAT의 타입과 토큰이 가장 적었다. 그러나 타입-토큰 비율은 평가의 종류와 학년에 관계없이 30%-32%로 어휘의 다양성이 유사하였고, 모든 종류의 평가에서 사용된 단어의 평균 길이는 비슷하였으며, 문장당 사용된 평균 단어의 수 또한 GLT 1을 제외하고 모두 7.5-7.9로 유사한 양상을 보였다.

Table 5. Information of listening corpus data

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T5.png

Note: M. of w. length(Mean of word Length), M. of words(Mean of words in a sentence)

Tools

GSL_AWL RANGE Program

Nation&Heatley (1994)의 Range program을 사용하여 연구 대상 텍스트에 사용된 어휘를 듣기평가 종류별, 학년별로 2007 개정 교육과정, 2009 개정 교육과정과 2015 개정 교육과정에서 설정한 기본어휘와 비교 분석하였다. 교육과정 기본어휘는 Shin (2014, 2015)이 개발한 기본어휘 목록을 활용하여 본 연구에서 코퍼스로 구축한 듣기 지문의 표제어(lemma)를 분석하였다.

WordSmith Tools 8.0, AntConc 4.4 

연구 대상 듣기평가 문항의 지문에 사용된 어휘의 타입-토큰 비율(TTR), 표준 타입-토큰 비율(STTR), 평균 어휘 수 등의 분석을 위해 Scott (2020)의 WordSmith Tools 8.0의 wordlist기능을 사용하였다. 듣기 지문의 뭉치말 사용 양상에 대한 분석을 위하여 AntConc (Anthony, 2020)의 n-gram 기능을 이용하여 4단어 뭉치말을 추출하여 분석하였다. 3단어 뭉치말은 일반적이고, 서로 여러 경우 중첩된다. 5단어 이상의 뭉치말은 빈도수가 현저히 낮아지는 문제점이 있다. 선행연구(Biber et al,. 2004; Cortes 2004, 2013; Hyland, 2008, Kang&Lee, 2016, Siricharoen&Wijitsopon, 2020)가 4단어 뭉치말을 최적의 연구 대상으로 선정한 것과 같이 본 연구 또한 4단어 뭉치말을 선정, 분석하였다.

탈어휘 동사 연어 표현의 분석을 위해 AntConc의 collocate 기능으로 탈어휘 동사의 연어 사용 양상을 비교 분석하였다. 탈어휘 동사의 모든 활용형(make의 경우 make, makes, made, making)을 검색어로 설정하고, 오른쪽으로 1단어에서 5단어까지 범위를 정하여 차례로 검색 후, 출현한 연어 표현을 분석하였으며, 정확성을 높이고자 수작업으로 concordance line을 확인하였다.

Data Analysis

연구의 진행 절차는 다음과 같다. 첫째, 2011-2020년간 시행된 CSAT, GSAT, GLT의 듣기 문항을 교육과정의 성취기준에 따라 분석하였다. 둘째, 분석대상 듣기 지문을 코퍼스로 구축하고 Range 프로그램을 활용하여 교육과정 설정 기본어휘 사용 양상을 분석하였다. 분석과정 중 Not in the list에서 발견된 숫자, 단위는 Baseword5, 고유명사는 Baseword6에 추가하였다(Lee et al., 2018). 셋째, WordSmith Tools 8.0을 이용하여 듣기평가의 종류와 학년에 따라 듣기 지문에 사용된 어휘의 외형적 크기와 다양성을 분석하였다. 넷째, AntConc 4.0을 활용하여 듣기 지문에 사용된 뭉치말, 탈어휘 동사 연어 표현 양상을 듣기평가의 종류와 학년에 따라 비교하여 분석하였다. 단일어의 빈도 분석을 위해 기능어는 제외하고 내용어의 표제어를 분석하였다. 뭉치말은 4단어 뭉치말의 기능에 따라 분석하였고, 탈어휘 동사의 연어 분석을 위해 최빈도 탈어휘 동사 make, take, have 동사를 선정하여 이들의 연어 구조를 분석하였다.

Results and Discussion

The Analysis of Achievement Standards in English Listening Test Items

본 연구의 교육과정 성취기준 분석 기준은 2020학년도, 2021학년도 수능의 교육과정 근거를 분석한 KICE (2020)의 분류 기준을 따르되, 간접 말하기 유형의 경우 말하기 영역의 성취기준을 적용하여 분석하였다. 2011-2012년 시행된 듣기평가는 2007 개정 교육과정의 성취기준을 반영하였다. 듣기평가 종류에 따른 성취기준 반영 정도의 분석 결과는 Table 6과 같다.

Table 6에서 보듯이, 모든 종류의 듣기평가에서 세부사항을 파악하는 유형이 가장 많고, 담화문의 중심내용 이해 유형이 가장 적은 비율로 출제되었다. 특히 GLT의 경우 담화문의 중심내용을 이해하는 유형의 문항은 4회의 시험 동안 1문항만 출제되었다. 사실과 의견 구분하기, 발표 및 토론하기 등의 성취기준을 반영한 문항은 평가의 특성상 출제되지 않은 것으로 판단된다.

Table 6. Analysis of listening test items by achievement standards of 2007 R.N.C    Number of items(%)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T6.png

2009 개정 교육과정이 적용된 시기에 시행된 듣기평가 문항의 성취기준 반영 정도를 분석한 결과는 Table 7과 같다. 모든 듣기평가에서 세부사항을 파악하는 문항이 가장 높은 비율로 출제되었다. CSAT에서 주제 및 요지 파악 문항이 상대적으로 낮은 비율로 출제되었다. 함축된 의미를 추론하는 성취기준을 반영한 문항은 출제되지 않았다. 간접 말하기를 측정하는 문항에서 중심내용이나 세부사항을 표현하는 성취기준보다는 필요한 정보를 교환할 수 있다는 성취기준을 반영한 문항이 높은 비율로 출제되었다.

Table 7. Analysis of listening test items by achievement standards of 2009 R.N.C     Number of items(%)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T7.png

2015 개정 교육과정이 반영된 2021학년도 CSAT의 듣기 문항의 성취기준 반영 정도를 분석한 결과는 Table 8과 같다. 표에서 알 수 있듯, 2021학년도 CSAT의 듣기 문항에서는 세부 정보를 파악하거나 추론하는 문항의 출제 비율이 높고, 주제 및 요지 추론 유형이 가장 적은 비율로 출제되었다. GLT의 경우 그림 상황을 제시하고 상황에 맞는 의견을 말할 수 있는 능력을 간접 측정하고자 했다. KICE (2020)에 따르면 듣기 문항의 유형은 기존의 문항 유형을 유지하고 세부정보 파악 6, 중심내용 추론 1, 맥락추론 유형 3문항 등을 출제하여 교육과정 성취기준의 달성 정도와 대학에서의 수학능력을 측정하고자 하였다. CSAT의 문제 유형과 출제 방향을 따르는 GSAT의 듣기 문항은 CSAT과 동일한 비율로 성취기준을 반영하고 있다.

Table 8. Analysis of listening test items by achievement standards of 2015 R.N.C     Number of items(%)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T8.png

고등학교 3학년 대상 2013-2019년 CSAT, GSAT, GLT, 2학년 대상 2012-2019년 GSAT2, GLT2, 1학년 대상 2011-2017년 GSAT1, GLT1을 대상으로 단일어를 분석한 결과는 Table 9와 같다. BSW1은 초등학교, BSW2는 중학교, BSW3은 고등학교 기본어휘이다.

Table 9. Analysis of base words in 2009 R.N.C     Tokens(%)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T9.png

Table 9에서 보듯이, 모든 종류의 듣기평가에서 교육과정이 설정한 기본어휘를 벗어난 어휘(Not in the list)가 10%를 초과했다. CSAT의 경우 교육과정에서 벗어난 어휘가 12%로 비율이 가장 낮았고, GSAT 경우 문항에 사용된 어휘 중 20%가 교육과정 설정 기본어휘에서 벗어났다. 이는 학교에서 교과서를 통해 배운 어휘 이외의 다수 어휘들이 듣기평가에 사용되고 있다는 것을 의미하며, 이는 학생들에게 학습 부담을 가중시킬 수 있으므로 듣기 문항 제작 시 교육과정 설정 어휘를 준수할 필요가 있음을 시사한다.

Analysis of Base Words in 2015 Revised National Curriculum

2015 개정 교육과정이 고등학교에 적용된 2018년 이후 고등학교 1학년 대상 듣기평가 문항, 2019년 이후 고등학교 2학년 대상 듣기평가 문항, 2020년 이후 시행된 고3 대상 듣기평가 문항을 대상으로 교육과정 설정 기본어휘의 준수 여부를 분석하였다. CSAT은 영어Ⅰ, 영어Ⅱ 과목의 어휘와 이와 유사한 수준의 빈도 높은 어휘를 바탕으로 출제되고 있고, 영어Ⅰ, 영어Ⅱ 과목은 고등학교 일반선택 교과에 해당하므로 기본어휘 2수준까지 분석하였다.

Table 10. Analysis of base words in 2015 revised national English curriculum     Tokens(%)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T10.png

Table 10에서 보듯이, 2015 개정 교육과정이 적용된 시기의 듣기평가 중 GSAT2의 평가 문항의 지문에 사용된 어휘가 교육과정이 정한 기준을 초과하여(11%) 교육과정 설정 기본어휘를 벗어난 어휘를 사용하고 있는 것을 제외하고, 모든 학년, 모든 종류의 평가에서 교육과정이 허용한 10% 이내(7%)의 어휘를 사용하였다. 이는 2015 개정 교육과정 이후 듣기평가에 사용되는 어휘에 대한 적절한 통제가 출제 과정에서 이루어지고 있다는 것을 시사한다.

Analysis of Single Words

고등학교 3학년 대상 듣기평가의 문항에 사용된 어휘를 표제화(lemmatize)하여 단일어 사용 양상을 분석한 결과 상위 10개의 고빈도 어휘는 다음 Table 11과 같다.

Table 11. Top 10 single word in listening tests for high school third grade     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T11.png

CSAT 듣기 문항의 고빈도 어휘는 good이 121번 사용되어 최고빈도로 사용된 어휘이고, look, think, right, go가 고빈도로 출현하였다. CSAT에서 최빈도 어휘가 good인 것은 질문 기능(inquiry function)의 말뭉치가 많이 사용되어 이에 대한 대답 표현(e.g. Sounds good, That’s a good idea.)과 관련이 있다. GSAT에는 go, like, good이 고빈도 출현 어휘이고, GLT의 경우 go, like, think의 순서로 고빈도로 출현하였다. GSAT, GLT의 최고빈도 어휘가 go인 것은 수능의 듣기와 읽기 지문 모두에서 최고빈도의 단일어가 go라는 것을 밝힌 선행연구(Song&Jung, 2011)의 결과와 유사하다.

Table 12. Top 10 single word in GSAT1-GSAT    Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T12.png

GSAT의 학년별 듣기 문항에 사용된 어휘의 단일어 고빈도 어휘는 위 Table 12와 같다. 표에서 보듯이, GSAT의 학년에 따라 제시된 고빈도 어휘의 양상에 큰 차이가 없는 것으로 나타났다. 모든 학년의 평가 문항에서 go가 최빈도 어휘이고, like, good, look 등의 어휘가 고빈도로 사용되었다.

GLT의 학년별 단일어 고빈도 어휘는 Table 13과 같다. 표에서 보듯이, GLT 최고빈도 출현 어휘는 모든 학년에 걸쳐 go이다. GLT1의 고빈도 어휘에 really, right, good 등이 상위 고빈도 어휘인데 이는 고빈도 뭉치말의 사용과 밀접한 관계가 있다.

Table 13. Top 10 single word in GLT1-GLT     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T13.png

Analysis of Lexical Bundles

본 연구는 연구 대상의 뭉치말을 Biber et al. (2004), Biber&Barbieri (2007), Siricharoen&Wijitsopon (2020)의 뭉치말의 기능 분류에 따라 분석하였다. 특수목적(special purpose) 항목의 hedge 기능 항목은 Simpson-Vlach&Ellis (2010)에 따라 본 연구에 추가하여 분석하였다. 4단어 뭉치말 중 출현 범위(Range) 10% 이상의 텍스트에서 3번 이상 출현 빈도를 보이는 뭉치말을 분석하였다. 출현한 뭉치말 중 듣기평가 문항의 특성에 따라 반복 출현하는 뭉치말(most likely to say, in this situation what), 겹치는 뭉치말(anything I can help, there anything I can) 등은 분석에서 제외하였다.

Functions of Lexical Bundles

본 연구는 뭉치말의 기능을 양태(stance), 담화조직자(discourse organizer), 지시(referential), 특수목적(special purpose)으로 분류하여 듣기 평가별, 학년별 뭉치말 사용 양상을 비교 분석하였다. 듣기 평가별 문항에 나타난 뭉치말의 기능에 따른 분석 결과는 Fig. 1과 같다.

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Fig_BDL_11_03_04_F1.png

Fig. 1. Analysis of lexical bundle’s functions by tests

듣기평가 문항의 특성상 질문 기능(inquiry function)을 수행하는 뭉치말의 사용 빈도가 높아 특수목적(special purpose)의 뭉치말 사용 비율이 높게 나타난 CSAT을 제외하고, 양태 기능(stance function)을 수행하는 뭉치말의 사용이 가장 많은데, 이는 선행연구의(Conrad&Biber, 2005; Kang&Lee, 2016) 결과와 동일하다. 학년별 GSAT, GLT의 듣기 문항의 뭉치말 사용 분석 결과는 Fig. 2와 같다.

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Fig_BDL_11_03_04_F2.png

Fig. 2. Analysis of lexical bundle’s functions by school grade

Fig. 2에서 처럼 GSAT, GLT에서 학생들의 학년이 높아질수록 양태 기능의 뭉치말의 빈도는 증가하고, 특수목적 뭉치말의 빈도가 감소하는데, 이는 특수목적 뭉치말 중 질문 기능(inquiry function)을 수행하는 뭉치말의 사용 빈도가 감소하기 때문이다. 듣기평가 종류별, 학년별 뭉치말의 세부 기능에 따른 분석 결과는 부록에 별첨하였다.

CSAT, GSAT, GLT에서 양태 기능의 뭉치말 중 화자의 의도(intention)를 나타내는 뭉치말이 세 종류 듣기평가에 공통으로 가장 높은 빈도로 사용되었고, 특수목적 뭉치말 중에는 질문(inquiry) 기능 뭉치말의 사용 빈도가 가장 높았는데, 이는 Kang&Lee (2016)의 연구 결과와 같다. 그러나 질문기능 뭉치말이 특수목적 뭉치말 중 20% 이상 사용되고 있는 결과는 Siricharoen&Wijitsopon (2020)와 An (2020)의 연구 결과와 다소 차이가 있다. Siricharoen&Wijitsopon (2020)과 An (2020)은 Business Email을 코퍼스로 구축하여 뭉치말의 기능을 분석하였는데 특수목적 뭉치말 중 요청(request) 기능, 기대(expectation) 기능의 뭉치말이 빈도 높게 사용되었다. 본 연구의 분석대상 코퍼스가 듣기평가 지문으로 위 연구들의 대상 코퍼스와는 서로 텍스트의 특성이 다르므로 인해 발생하는 차이에 기인한다고 볼 수 있다.

Delexical Verb Collocations

Analysis of Delexical Verb Collocations by Tests

CSAT, GSAT, GLT의 듣기 문항에 사용된 탈어휘 동사 make, have, take의 연어 사용 양상 분석 결과는 다음 Table 14와 같다.

Table 14. Frequency of delexical verbs

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T14.png

듣기평가별 탈어휘 동사 연어 분석 결과 CSAT의 듣기 문항에서는 take+명사 연어 표현이 가장 많이 사용되었고, GSAT, GLT에서는 make+명사 표현이 가장 많이 사용되었다. CSAT, GLT의 경우 make, take 동사는 사용된 동사의 25% 이상이 탈어휘 동사 연어 표현으로 사용되고 있음을 알 수 있다. 세 종류의 평가 중에 GSAT의 듣기 문항에서 탈어휘 동사 연어 표현의 사용이 상대적으로 적고, 특히 have의 연어 표현은 전체 출현한 have 동사의 9% 미만이 사용되고 있는 것으로 나타났다.

다음은 각 탈어휘 동사와 연어 구조를 이루는 고빈도 명사를 분석한 결과이다. 선행연구(Park, 2020)의 방법에 따라, 탈어휘 동사와 결합하는 명사의 고빈도 명사를 상위 10개까지 분석하였다.

Make + Noun Collocation

고등학교 3학년 학생 대상 듣기평가별 make+명사의 연어 구조에 고빈도로 사용된 상위 10개의 명사는 다음 Table 15와 같다. 빈도가 같은 경우 AntConc에서 계측된 make와 함께 연어로 사용될 개연성(probability)이 높은 어휘를 선정하였다.

Table 15. Top 10 make + noun collocations     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T15.png

Note: Same frequency words rank differently by the probability of collocations.

Table 15에서 보듯이, make+명사 연어 구조에 사용된 명사 중 sense, reservation이 CSAT, GSAT, GLT에 공통으로 고빈도로 사용되었다. CSAT에서 sense는 모두 상대방의 진술에 대한 응답에서 ‘That makes sense.’의 형태로 사용되었다. 이는 선행연구(Park, 2020)의 British National Corpus에서 make와 연어를 이루는 최고빈도 명사가 sense인 것과 같은 결과이다. reservation이 고빈도로 출현한 것은 듣기 문항의 소재가 여행, 회의 등이 많고, 세부사항에 대한 이해 정도를 측정하는 문항 유형이 많기 때문으로 판단된다.

Take + Noun Collocation

고등학교 3학년 대상 듣기 평가별 take+명사의 구조에 고빈도로 사용된 상위 10개의 명사는 다음 Table 16과 같다. 표에서 보듯이, 세 종류 듣기평가에 공통으로 출현한 명사는 look, pictures이다. GLT에 take와 연어 표현을 이루는 명사 중 수업과 관련된 어휘(notes, class, courses) 등이 높은 빈도로 출현하는 특징을 보였다.

Table 16. Top 10 take + noun collocations     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T16.png

Note: Same frequency words rank differently by the probability of collocations.

Have + Noun Collocation

연구 대상 탈어휘 동사 make, take, have + 연어 표현 중 have+명사가 가장 빈도가 낮게 사용된 것으로 나타났다. 특히 GSAT 듣기 문항에서 have는 1480번 출현하였으나 탈어휘 동사로 사용되어 연어를 이루어 사용되고 있는 것은 전체 출현한 have의 9%로 매우 낮은 비율이었다. have+명사의 연어에 사용된 고빈도 상위 10개의 명사는 다음 Table 17과 같다.

Table 17. Top 10 have + noun collocations     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T17.png

Note: Same frequency words rank differently by the probability of collocations.

세 종류의 듣기평가에서 have+명사 구조에 공통으로 사용된 명사는 time과 look이다. 이 결과는 대화체에서 time, look이 have와 연어를 이루는 고빈도 명사임을 밝힌 연구들 (Biber et al., 1999; Park, 2020)의 결과와 같다. GLT에서 have+명사 구조의 연어 표현이 92종류로 가장 다양한 표현이 사용되고 있음을 알 수 있었다.

Analysis of Delexical Verb Collocations by School Grade

GSAT, GLT에 사용된 탈어휘 동사 연어 표현의 학년에 따른 사용 양상 분석 결과는 다음 Fig. 3과 같다.

Fig. 3에서 보듯이 GLT 문항이 GSAT 듣기 문항보다 다양한 탈어휘 동사 연어 표현을 사용했다. GAST 듣기 문항에서는 모든 탈어휘 동사 연어 표현의 사용이 고등학교 1학년 학생들을 대상으로 시행한 GSAT1 문항에서 보다 감소했다. 특히 have+명사의 연어 표현은 고등학교 2학년 대상 평가인 GSAT2에서 최소의 출현을 보였다.

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Fig_BDL_11_03_04_F3.png

Fig. 3. Delexical verb collocation by school grade

Make+Noun Collocation by School Grade

학년에 따른 GSAT 듣기 지문에 사용된 make와 연어를 이루는 명사 중 상위 10개의 명사는 Table 18과 같다. 표에서 보듯이, 전 학년 듣기 지문에서 make+명사 연어 표현에서 공통으로 사용된 명사는 sense, reservation이고, GSAT1, GSAT2에 공통으로 사용된 명사는 sense, reservation, plan, mistake이다. 이는 GSAT의 문항 유형과 소재가 CSAT을 기준으로 비슷한 소재를 다룬 지문으로 출제되고 있고, GSAT1, GSAT2 또한 CSAT의 출제지침과 방향에 따라 문항이 제작되어 시행되고 있기 때문으로 판단된다.

Table 18. Top 10 make + noun collocations     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T18.png

Note: Same frequency words rank differently by the probability of collocations.

학년에 따른 GLT 듣기 지문에 사용된 make + 명사 연어 표현 중 상위 10개의 명사는 Table 19와 같다.

Table 19. Top 10 make + noun collocations     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T19.png

Note: Same frequency words rank differently by the probability of collocations.

GSAT과 달리 GLT의 make 연어 표현에 공통으로 등장하는 명사는 없고, 다양한 make+명사의 표현이 듣기평가에 사용되고 있었다. 이는 GLT 문항이 CSAT, GSAT과는 달리 20문항이 출제되고, 선발을 목적으로 하는 CSAT, GSAT과는 달라 문항 유형과 소재의 선정이 상대적으로 자유로운 점에 기인하는 것으로 추측할 수 있다.

Take+Noun Collocation by School Grade

GSAT의 듣기 지문에 사용된 take+명사 연어 표현의 분석 결과는 Table 20과 같다. GSAT1, GSAT2에서 take와 연어를 이루는 명사로 공통 출현한 동사는 look, time, classes, course, 모든 학년에 공통으로 take와 함께 사용된 명사는 look, time, course이다.

Table 20. Top 10 take+noun collocations in GSAT     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T20.png

Note: Same frequency words rank differently by the probability of collocations.

GLT의 듣기 지문에 사용된 take+명사 연어 표현의 분석 결과는 Table 21과 같다. GLT1, GLT2에 공통으로 take와 함께 출현한 명사는 classes, look, picture(s)이고 모든 학년에 공통으로 take와 함께 사용되어 출현한 명사는 look, picture(s)이다.

Table 21. Top 10 take+noun collocation in GLT     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T21.png

Note: Same frequency words rank differently by the probability of collocations.

Have+Noun Collocation by School Grade

본 연구에서 분석한 GSAT 듣기 지문에 사용된 have+명사 연어 표현의 학년별 고빈도 상위 명사는 Table 22와 같다. 전 학년의 듣기 지문에서 have+명사 연어 표현에 공통으로 사용된 명사는 time이다. GSAT1, GSAT2의 have+명사 연어 표현에 공통으로 사용된 고빈도 명사는 time, problems, options. plans, right이다.

GLT의 학년별 듣기 지문에 사용된 have+명사 연어 표현의 고빈도 출현 어휘는 다음 Table 23과 같다. 표에서 보듯이, GLT 전 학년의 듣기 지문에서 have+명사 연어 표현에 공통으로 출현한 명사는 time이다. 고3 대상 듣기평가의 지문 분석 결과와 같이 GLT1, GLT2 지문에서도 다양한 명사가 have+명사 연어 표현에 사용되고 있음을 알 수 있는데, 이는 Goh&Chung (2015)의 연구 결과처럼 듣기평가 문항이 구어적 특성을 잘 반영하고 있음을 나타내고, Lee&Kim (2020)의 연구와 같이 고등학생 대상 듣기평가인 GLT1, GLT2에서도 time, lunch가 공통으로 빈도 높게 have와 결합하여 사용됨을 알 수 있다.

Table 22. Top 10 have+noun collocation in GSAT     Word(Freq)

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Table_BDL_11_03_04_T22.png

Note: Same frequency words rank differently by the probability of collocations.

Conclusions and Implications

본 연구는 2011-2020년까지 시행된 고교영어듣기평가(CSAT, GSAT, GLT)의 문항을 분석하여 교육과정 성취기준 반영 정도, 단일어 및 뭉치말(lexical bundle)의 사용 양상과 탈어휘 동사 연어(delexical verb collocations)의 양상을 듣기평가 종류별, 학년별로 비교 분석하였다. 기존 연구와는 달리 본 연구에서는 고등학생을 대상으로 시행된 지난 10년 동안의 모든 전국 단위 듣기평가를 종합적으로 분석하였다는 점에서 그 의의를 찾을 수 있다.

연구 결과로 첫째, 모든 고등학교의 듣기평가 문항은 교육과정의 영역별 성취기준을 고르게 반영하고 있었다. 다만 교육과정이 설정한 말하기 영역의 다양한 성취기준이 반영된 간접 말하기 평가 문항의 개발이 필요하며, 나아가 직접적인 말하기 평가 방안을 구상하여 시행할 필요성도 제안할 수 있다.

둘째, 듣기 문항의 단일어 분석 결과 2015 개정 교육과정이 적용된 후(고1 2018년, 고2 2019년, 고3 2020년) 시행된 듣기평가의 문항은 교육과정이 설정한 기본어휘 및 예외 범위를 준수하고 있으나, 2009 개정 교육과정 적용기의 듣기 문항은 CSAT을 제외하고 학년에 관계없이 사용한 어휘의 16-20%까지 기본어휘를 벗어난 어휘를 사용하여 학생들에게 학습 부담을 주는 것으로 나타났다.

셋째, 뭉치말 분석 결과 양태 기능의 말뭉치 사용 빈도가 높고, 평가의 특성을 반영하여 질문 기능의 말뭉치 사용 빈도 또한 높았다. 또한 GSAT, GLT에서 학년이 높아질수록 특수목적의 뭉치말 빈도는 감소하고 양태의 뭉치말 사용이 증가하는 특징을 보였다.

넷째, 탈어휘 동사 연어 구조를 분석한 결과, 2000-2010년 기간 동안 시행된 CSAT에 사용된 탈어휘 동사를 분석한 선행연구(Song&Jung, 2011)의 결과와 같이 10년이 지난 후의 듣기평가 지문에서도 make+명사 연어 표현이 듣기 지문에 가장 높은 빈도로 사용되고 있었다. 또한 have+명사의 연어 표현이 모든 학년, 모든 평가에서 가장 낮은 빈도로 사용되고 있었다. 이는 선행연구(Biber et al, 1999)와 같이 have+명사 연어 표현에 사용되는 명사가 make, take와 비교했을 때 상대적으로 적기 때문이다. 학년별로 탈어휘 동사 연어의 사용 양상을 분석한 결과 GSAT과 달리 GLT의 경우 학년에 따라 공통으로 사용된 명사가 take의 경우 상대적으로 적고, make의 경우는 거의 없는데 이는 시험의 목적과 성격이 다르기 때문이다. GLT 지문이 다양한 탈어휘 동사 연어표현을 제시하여 학습자로 하여금 진정성(authenticity)이 있는 다양한 영어 표현을 학습할 기회를 제공하고 있는 측면도 있다. 그러나 학년별 위계나 연계 없이 탈어휘 동사 연어 표현이 듣기 문항에 사용되고 있다는 점은 재고할 필요가 있다.

본 연구는 영어Ⅰ, 영어Ⅱ 과목의 교과서에 출현한 탈어휘 동사 연어 표현을 분석하여 듣기평가에 사용된 탈어휘 동사 연어 표현의 학년별 연계나 위계와 관련된 내용에 대해 직접 비교하지 못한 제한점이 있다.

본 연구 결과를 바탕으로 고등학교 현장의 영어교사 및 듣기평가 문항 개발자들이 탈어휘 동사 연어 및 말뭉치에 대한 중요성을 새롭게 인식하는 계기가 되고, 영어 교실에서 말뭉치 및 탈어휘 동사의 연어 표현을 학습할 기회를 충분히 제공할 필요가 있다는 시사점을 얻었다. 아울러 말뭉치 및 탈어휘 동사에 대한 다양한 방법으로 이루어지는 학습이 듣기 능력 향상에 미치는 효과에 관한 연구도 수행되기를 기대한다.

Authors Information

Park, Myungho: Incheon Shinhyeon High School, Teacher, First Author

ORCID: https://orcid.org/0000-0002-0770-1657

Lee, Dong Ju: Korea National University of Education, Professor, Corresponding Author

ORCID: https://orcid.org/0000-0002-9906-835X

Appendix

Appendix Table 1. Analysis of specified functions of lexical bundles by tests

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Appendix_BDL_11_03_04_A1.png

Appendix Table 2. Analysis of specified functions of lexical bundles by school grade

http://dam.zipot.com:8080/sites/BDL/images/N0230110304_image/Appendix_BDL_11_03_04_A2.png

References

1 An, J. H. (2020). A corpus-based classification of lexical bundles in business email. Language Science, 27 147-166.  

2 Anthony, L. (2020). AntConc 4.0: Freeware corpus analysis toolkit. Retrieved from https://www.laurenceanthony.net/software.html  

3 Biber, D.,&Barbieri, F. (2007). Lexical bundles in university spoken and written registers. English for Specific Purpose, 26, 263-286.  

4 Biber, D., Conrad, S.,&Cortes, V. (2004). If you look at: Lexical bundles in university teaching and textbooks. Applied Linguistics, 25, 371-405.  

5 Biber, D., Johansson, S., Leech, G., Conrad, S.,&Finegan, E. (1999). Longman Grammar of Spoken and Written English. New York: Longman.  

6 Choi, M. S.,&Lee, D. J. (2020). A corpus-based analysis of the vocabulary in national English curriculum, college scholastic ability test, and EBS textbooks. Brain, Digital,&Learning, 10, 257-270.  

7 Choi, W. K. (2019). A corpus-based study of “Delexical Verb+Noun” collocations made by Korean learners of English. The Journal of Asia-TEFL. 16, 279-293.  

8 Conrad, M.,&Biber, D. (2005). The frequency and use of lexical bundles in conversation and academic prose. Lexicographica: International Annual for Lexicography, 20, 56-71.  

9 Cortes, V. (2004). Lexical bundles in published and student disciplinary writing: Examples from history and biology. English for Specific Purposes, 23, 397-423.  

10 Cortes, V. (2013). The purpose of this study is to: Connecting lexical bundles and moves in research article introductions. Journal of English for Academic Purposes, 12, 33-43.  

11 Ellis, N. C. (2012). Formulaic language and second language acquisition: Zipf and phrasal teddy bear. Annual Review of Applied Linguistics, 32, 17-44.  

12 Goh, G. Y.,&Chung, Y. H. (2015). On the variation of English light verbs have and take: A corpus-based analysis. English Language and Linguistics, 21, 1-27.  

13 Howarth, P. (1996). Phraseology in English Academic Writing: Some Implications for Language Learning and Dictionary Making. Tubingen: Niemeyer.  

14 Hyland, K. (2008). As can be seen: Lexical bundles and disciplinary variation. English for Specific Purposes, 27, 4-21.  

15 Jang, H. K.,&Jang, W. H. (2018). Corpus-based lexical analysis of reading and listening data of high school English textbooks. The Journal of Studies in Language, 34, 261-286.  

16 Jeon, S. A. (2012). A study on the improvement of the test items in Korean scholastic ability test (English test). English Language&Literature Teaching, 18, 189-211.  

17 Kang, J. E.,&Lee, D. J. (2016). A corpus analysis of lexical bundles in high school English listening texts: Textbooks, CSATs, and EBS books. Journal of Learner-centered Curriculum and Instruction, 16, 271-294.  

18 Korea Institute for Curriculum and Evaluation. (2020). A report on 2021 college scholastic ability test. Retrieved from https://www.suneung.re.kr/boardCnts.  

19 Kim, D. Y. (2020). A comparison of listening activities in middle school English textbooks and national English listening comprehension tests. Studies in Linguistics, 54, 407-427.  

20 Kim, M. J. (2019). Analyzing the characteristics of subject competence reflected in the 2015 revised English curriculum achievement standards. Journal of Research in Curriculum&Instruction, 23, 108-117.  

21 Kim, T. H.,&Choi, I. H. (2018). A comparative analysis of middle school English listening tests developed by EBS and Seoul secondary English teachers’ association. English Language Assessment, 13, 41-82.  

22 Lee, B. C. (2018). Comparative analysis of achievement standards in English subject assessment. Secondary English Education, 11, 127-146.  

23 Lee, D. J.,&Kim, N. E. (2020). A corpus-based research on high frequency delexical verb collocations: English textbooks and national English listening tests. Brain, Digital,&Learning, 10, 177-191.  

24 Lee, S. M., Scott, M.&Shin, D. K. (2018). A Practical Approach to Corpus-Based Analysis: Introducing Wordssmith Tools, Range, and Other Packages. Seoul: Hankookmunhwasa.  

25 Mun, J. H.,&Lee, H. K. (2007). A study on the relationship between the listening activities in the high school English textbooks and nationwide listening comprehension tests. Foreign Languages Education, 14, 233-256.  

26 Nation, I. S. P.,&Heatley, A. (1994). Range: A program for the analysis of vocabulary in texts. Retrieved from http://www.victoria.ac.nz/lals/staff/paul-nation/nation.aspx  

27 Park, M. S. (2020). Comparative study of delexical verbs in an EFL learner corpus. Studies in Linguistics, 56, 195-216.  

28 Ryu, J. Y.,&Kim, H. D. (2020). Analysis of the speech rate and linguistic features of CSAT English listening test items between 1994-2018. English Language and Literature 21, 33, 105-127.  

29 Scott, M. (2020). WordSmith 8.0. Lexical Analysis software.  

30 Shin, D. K. (2014). 2009 English curriculum basic vocabulary analysis program. Retrieved from: http://cafe.daum.net/sdhera/MGXe/142.  

31 Shin, D. K. (2015). 2015 English curriculum basic vocabulary analysis program. Retrieved from: http://cafe.daum.net/sdhera/MGXe/177.  

32 Shin, D. K.,&Nation, P. (2007). Beyond single words: The most frequent collocations in spoken English. ELT Journal, 64, 339-348.  

33 Simpson-Vlach, R.,&Ellis, N. (2010). An academic formulas list: New methods in phraseology research. Applied Linguistics, 31, 487-512.  

34 Sinclair, J. M. (1990). Collins COBUILD English Grammar. London: Harper Collins.  

35 Siricharoen, R.,&Wijitsopon, A. (2020). A corpus-based comparative study of lexical bundles in authentic and textbook English business emails. Language Education and Acquisition Research Network, 13, 41-63.  

36 Song, S. H.,&Jeong, Y. S. (2011). A corpus based study of make, get, and take collocations on the Korean college scholastic ability test of English. The Journal of Humanities Studies, 85, 223-251.  

37 Woo, S. J. (2019). Lexical bundles in the spoken discourse of native and nonnative speakers of English. Journal of Linguistics Studies, 24, 47-68.