Brain Connectivity Related to Motivation, Immersion, Sociality, Addiction, and Dizziness in VR and Book-Type Life Science Learning - An fMRI Study

Research Article
장 은영  Eun-Young Jang1권 승혁  Seung-Hyuk Kwon2권 용주  Yong-Ju Kwon3*

Abstract

The purpose of this study is to compare and analyze the brain connectivity in virtual reality (VR) and book-type learning in life science. Twenty-four types of life science VR contents were composed and the same contents were devised as a printed matter. The results of analyzing the functional connectivity of the brain in VR based learning higher than book based learning are as follows. The motivation factors have increased left and right hemispheres of the orbital prefrontal cortex, inferior frontal cortex, and putamen. The immersion factors have increased the functional connectivity of the orbital prefrontal cortex and inferior frontal gyrus The social factors have increased the functional connectivity of temporal pole, inferior parietal lobule and angular. The addiction factors have increased the functional connectivity of amygdala and putamen. The dizziness factors have increased the functional connectivity of inferior temporal gyrus and rolandic operculum. Based on the results of the above research, when conducting classes with VR, utilizing differences in brain functional connectivity between VR and book-type learning, the direction of class application can be presented that is specific for teaching-learning purposes and effectively reflects the characteristics of VR and book-type learning.

Keyword



Introduction

코로나 19 팬데믹은 전 세계적으로 교육 방식에 중대한 변화를 가져왔고, 온라인 참여와 새로운 교육 및 평가 양식이 필요하다. 가상현실(virtual reality, VR)은 사용자가 가상 세계와의 상호작용을 통해 실제 환경과 유사한 간접체험을 할 수 있게 만들어진 기술을 의미한다. VR 기술은 다양한 교육 과목에 적용되었으며, 학생들의 학습동기나 몰입감, 사회적 능력의 향상 등 학습에 대한 긍정적인 영향을 미친다(Grantcharov et al., 2003; Kwon et al., 2018; Ligorio & Van Veen, 2006; Smith & Ericson, 2009; Tuzun et al., 2009). VR의 핵심 기능은 시각화되는 공간과 다중 감각 상호작용을 허용하는 것으로 이러한 조합은 VR이 학습에 효과적으로 작용하고, 학생들의 경험을 통한 능동적 학습을 제공한다(Christou, 2010). VR은 학생이 상황을 상상하기보다는 경험할 수 있는 환경을 제공함으로써 교육에 도움이 된다. 실제 VR을 활용한 생명과학 학습은 가상 실험을 통해 생물학적 이해도를 높이고, 분자, 세포, 생화학 반응 등 복잡한 시스템을 모델링할 수 있게 해준다(Desmeulles et al., 2006). 이렇게 학습 동기 향상, 몰입, 현존감, 행위 주체성 등 다양한 장점이 주목받고 있음에도 VR은 아직 교실 환경에 확산과 보급이 되지 못하고 있다(Bricken, 1991; Smith & Ericson, 2009). 이는 VR에 대한 구체적인 특성과 교육에서의 효과성에 대한 심층적인 분석과 실제적인 실험 연구가 충분히 이루어지고 있지 않기 때문일 것이다.

그동안 VR을 교육에 적용한 연구는 주로 VR 콘텐츠에 대한 학습의 영향을 설문지, 지필평가, 면담 등으로 파악하는 등 행동적 결과를 살펴보았다(Kim et al., 2003). 최근 인지신경과학 분야에서 복잡한 인간 행동에 내재한 생물학적 기제를 제시하기 위해 뇌전도(EEG)와 기능적 자기공명영상(fMRI, functional magnetic resonance image)의 측정이 수행되었다. VR 콘텐츠에 대한 학습의 영향에 대한 두뇌 수준에서 연구가 수행되고 있는데, Makransky et al. (2017)은 VR 콘텐츠와 멀티미디어 학습을 비교하였을 때 학습자에게 미치는 영향을 뇌전도(EEG)로 확인하였으며, Choi et al. (2018)은 대학생을 대상으로 VR 콘텐츠 유형에 따른 뇌 기능적 연결성과 영역을 규명하였고, Kwon et al. (2018)은 VR 콘텐츠에 따른 EEG 특성을 분석하였다. 최근 Seol et al. (2019)는 고등학생을 대상으로 VR 콘텐츠 기반 학습을 통해 뇌의 기능적 연결성과 피질 두께 변화를 연구하였다. Park et al. (2020)의 연구에서는 VR활용 학습에서 전전두엽의 활성을 보고하기도 하였다.

신경 활동에 의해 소모되는 혈류산소수준(BOLD) 신호를 측정하는 fMRI에서 두뇌 영역들 간 상호 교류를 의미하는 기능적 연결성은 해부학적 뇌 영역들에서 동기화된 활동을 보이는 것으로 정의된다(Frinston et al., 1993). 휴지상태(resting state) fMRI는 특정 과제를 수행하지 않는 휴지기(resting period) 동안 fMRI 신호를 이용한 연구법으로 높은 신뢰도가 보고되었으며 지속적으로 학습을 수행했을 때 두뇌의 기능적 연결성이 증가하였다(Horowitz et al., 2015).

따라서 본 연구에서 휴지 상태 fMRI를 활용하여 교육 현장에서 학습자가 주로 사용하는 서책형 학습과 VR 콘텐츠 기반 학습을 장기간 수행하였을 때 나타나는 학습동기, 몰입, 중독, 어지러움과 관련된 뇌의 기능적 연결성을 비교하는 연구를 진행하고자 하였다. 이를 통해 생명과학 VR 학습과 서책형 학습이 학습자에게 미치는 영향을 교육 신경학적으로 비교 분석하고자 하였다.

Reseach Method

Subjects

생명과학 VR과 서책형 학습 콘텐츠에 대한 뇌의 기능적 연결성을 분석하기 위해 중부권 소재 A 고등학생 1, 2학년 33명(평균=16.25세, 표준편차=0.60)을 선정하였다. 성별 및 손우세성, 중독 여부에 따른 두뇌 활성 차이를 낮추고자 연구 대상자 표집과정에서 손 우세성 검사(Oldfield, 1971)를 통해 오른손잡이 남학생만을 선정하고, 인터넷게임, 스마트폰 중독 검사(Seol et al., 2019)를 수행하여 고위험 중독자가 아닌 학생을 대상으로 연구를 진행하였다.

모든 연구 대상자들은 사전에 연구의 목적, 연구 절차와 fMRI 측정 방법, 수집 자료, 결과 활용방안, 개인정보보호에 관한 사항, 개인정보 수집 및 폐기, 연구동의 철회에 관한 사항에 관한 내용을 상세하게 전달받고 연구 대상자와 보호자가 연구 참여 동의서를 자발적으로 작성하여 제출하였다. 한국 기초과학지원연구원에서 제공하는 설문지를 통해 fMRI 측정 적합 여부를 확인하여 체내 금속 물질의 여부, 약물 복용 여부, 폐소 공포증 여부, 부상과 수술 여부 등을 조사하여 신경학적 이상이 없는 연구대상을 최종 선정하였다. 연구 대상자들은 fMRI 측정 연구 참여 과정에 대한 설명과 측정에 대한 유의점을 안내하였으며 측정 과정 중에서 나타날 수 있는 연구 대상자의 불안감을 최소화하였고, 연구의 전 과정은 연구자의 소속 기관 내 생명윤리심의위원회(IRB)의 승인을 받았다(KNUE-2017-H-00217).

연구 대상자는 실험집단인 VR 학습과 비교집단인 서책 학습으로 구분하였으며, 4주간 주 4회(총 16회, 회당 40분)의 생명과학 학습을 수행하였다. 실험집단 16명은 VR 콘텐츠 기반 생명과학 학습을, 비교집단 17명은 VR 콘텐츠와 동일한 내용으로 구성된 서책형 학습을 수행하였다. 두 집단은 연령 및 생명과학 콘텐츠, VR 측정변인인 멀미, 학습 동기, 몰입, 중독, 사회성 등에서 동질성을 확보하였다.

Learning Contents of Life Science

본 연구에서 생명과학 VR 학습 콘텐츠는 유튜브(Youtube)와 오큘러스(Oculus)에서 제공되는 콘텐츠 중 과학과 교육과정에 따른 생명과학 I·Ⅱ를 고려하여 선정하였다(Seol et al., 2019). 선정된 생명과학 학습 콘텐츠는 유튜브의 360° 동영상 콘텐츠가 13종, 오큘러스 콘텐츠가 11종으로 총 24종이 선정되었다. 연구대상자의 흥미를 가지고 학습활동에 참여할 수 있는 20분 이내 콘텐츠를 기준으로 선정하였다. 선정의 타당성 검증은 디지털 콘텐츠를 활용하여 생명과학 학습 연구를 수행한 생명과학교육 전문가 2인과 이들 연구에 참여한 경력이 있는 생명과학 교사 3인에 의해 학습 목적의 타당성이 모두 인정되는 콘텐츠로 선정하였다. 선정된 생명과학 VR 학습 콘텐츠의 학습 내용은 Table 1과 같다.

생명과학 VR 학습과 서책형 학습의 뇌의 기능적 연결성을 비교하기 위해 학습 내용을 통제하며, 전통적인 학습 방법인 서책형 학습의 특성을 반영하여 24종 선정된 VR 학습 콘텐츠에서 학습자가 학습하는 모든 삽화와 해설 내용을 서책형 학습 콘텐츠에 제시하였다. 생명과학 서책형 학습 콘텐츠는 VR 학습의 형태와 동일한 1일 학습 시간 및 학습 유형에 따라 번갈아 배치하여 16차시의 생명과학 학습에 수행되었다.

Table 1. VR learning and book-type learning title and contents for life science

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T1.png

Data Collection

4주간 주 4회의 두뇌 연결성의 변화를 확인하기 위해 각 집단은 사전 휴지상태 fMRI 측정, 학습 수행, 사후 휴지상태 fMRI 측정 순으로 연구가 진행되었다. 각 집단은 사후 검사를 마친 후 학습과 관련하여 정의적 측면인 만족도와 인지적 측면인 개념이해에 대한 인터뷰를 수행하였다.

사전·사후 휴지상태 fMRI 측정 사이 집단별로 선정된 콘텐츠에 대한 학습이 4주간 주 4회, 1회당 40분이 수행되었으며, 학습이 수행되는 동안 연구 대상자들의 학습 콘텐츠 활용 외 다른 디지털 기기 사용은 제한하였고, 비교 집단에도 따로 필기도구가 제공되지 않았다. 선정한 24종의 학습 콘텐츠를 학습 시간과 유형에 따라 총 20분, 16차시로 구성하였으며, 연구 대상자들은 1일 2차시의 콘텐츠를 학습하였으며, 학습자의 안전을 위해 1차시 학습 후 10분의 휴식이 제공되었다. 16차시의 학습 콘텐츠는 총 2회 반복되었다. 학생들은 매일 학습 직후 선택형 문제를 해결하는 과정을 통해 학습 여부를 확인하였다.

fMRI는 한국 기초과학지원연구원 오창캠퍼스 3.0T MR Scanner (Philips Achieva 3.0 TX)를 이용하여 측정하였으며, 연구 대상자들은 fMRI 측정 동안 움직임과 사고활동을 제한하도록 지시받았으며, 측정 과정에서 연구자에게 의사를 표현할 수 있는 안전장치를 마련하였다. 기능적 영상은 Gradient Echo-Planar Imaging (EPI) 프로토콜을 이용하였으며, 에코시간(echo time)은 30ms, 반복시간(repeated time)은 2,000ms, 플립 각도(filp angle)는 90°, 이미지 매트릭스(image matrix)는 64 × 64, 영상 범위(field of view)는 240mm, 영상 절편 두께(slice thickness)는 4 mm로 설정하였다. 기능적 영상의 촬영은 총 240scans으로, 총 스캔 시간은 8분, 측정 소요되는 시간은 약 15분 정도이다.

Data Analysis

본 연구에서 생명과학 VR 학습 콘텐츠와 서책형 콘텐츠에 대한 뇌의 기능적 연결성을 분석하고자, 휴지상태 fMRI 기능적 영상은 Matlab 2015에서 실행된 CONN 17 (https://web.conn-toolbox.org/)을 사용하여 분석하였다. 이에 대한 전처리과정으로 연구 대상자의 움직임을 재조정(Realignment)하는 단계와 시간 차이를 바로잡는 Slice-timing 과정이후 개인별 해부학적 영상 자료(T1 영상)와 상관 정렬(Coregistration) 단계, 공간적 편평화(Smoothing) 단계가 이루어졌다. 두뇌의 회백질, 백질 및 뇌척수액(CSF) 등 뇌의 각 구역을 구분하는 분절화(Segmentation) 단계와 뇌를 MNI 좌표계에 정렬시켜 공간적으로 표준화(Normalization)하는 단계, 잡음을 최소화하기 위해 공간적 편평화(Smoothing)를 수행하여 Signal-to-noise ratio를 높였다. 추가적으로 뇌 활성 신호 이외의 호흡과 심장 운동, 머리 움직임, 백질 및 뇌척수액(CSF)에 의한 잡음 신호를 통계적으로 제거하는 과정(Denoising)이 이루어졌다.

기능적 연결성의 확인은 전처리 과정을 마친 후, 우선 seed-to-voxel 분석을 통해 뇌 부피 구성단위인 voxel을 기준으로 관심 영역 seed와 다른 voxel 사이 상관관계를 분석하였다. ROI 사이의 상관관계의 분석은 생명과학 VR 학습 관련 뇌 영역을 ROI로 설정하여 ROI-to-ROI 분석을 수행하였다(Choi et al., 2018). 생명과학 VR 학습과 서책형 학습을 수행한 집단별, 사전-사후 상관계수의 변화를 비교하여 분석하였으며, ROI 상관계수는 유의수준 p값으로 0.05를 적용하여(p<0.05) 기능적 연결성이 나타나는 영역을 분석하였다.

Results and Discussions

Brain Connectivities Related to Learning Motivation

학습 동기와 관련된 뇌 영역인 안와전두피질(OFC), 창백핵(Pall), 조가비핵(Put)을 ROI로 설정하였을 때, 유의 수준 0.05 이하에서 생명과학 VR 학습 집단에서는 2쌍의 유의미한 기능적 연결성의 변화를 확인하였고, 서책학습 집단에서 3쌍의 유의미한 연결성의 변화를, 그리고 각 두 집단을 비교하였을 때, 서책학습 집단보다 VR학습 집단에서 2쌍의 유의미한 기능적 연결성의 변화를 확인할 수 있었다(Table 2, Fig. 1). VR 학습 집단에서는 안와전두피질 좌우 반구간, 안와전두피질과 조가비핵의 연결성이 증가하였고, 서책학습 집단에서는 안와전두피질과 조가비핵, 안와전두피질과 창백핵, 조가비핵 좌우 반구간 연결성이 증가하였다. 서책학습 집단보다 VR 학습 집단에서 안와전두피질과 조가비핵, 안와전두피질 좌우 반구간 부위에서 기능적 연결성이 증가하였다.

Table 2. Average changes of correlation coefficient related to motivation

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T2.png

(L : left, R : right, OFC : orbitofrontal cortex, Put : putamen, Pall : pallidum, p<0.05)

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Fig_BDL_12_01_01_F1.png

Fig. 1. Brain functional connectivity related to motivation by comparing in VR learning and book-type learning

안와전두피질은 학습 및 의사 결정에서 감각, 정서, 즐거움과 관련된 경험 등 외부 자극에 대한 행동 반응을 조절하는 보상회로와 감각을 통합하는데 핵심적인 기능을 하는 영역이다(O’Doherty et al., 2001; Tremblay & Schultz, 1999). 창백핵은 도파민을 중심으로 동기보상체계에 관여하며, 즐거움을 느끼는데 관련 이 있는 것으로 보고되었다(Smith & Kieval, 2000). 조가비핵은 행동 결정 중심 사고와 인지 과정에 따른 보상과 관련된 영역으로서 도파민 작용과 관련된 높은 조가비핵의 활성은 보상 감도를 증가시키고 학습동기를 증가시키며, 학습자는 학습 활동을 통해 즐거움을 느낀다(Kwon et al., 2010). 반구 간 연결성의 강화는 평소 경험하지 않았고 익숙하지 않은 다양한 경험들이 제시될 때 활성화된다. 또한 왼쪽 및 오른쪽 후방 내측 안와전두피질은 동기 부여 처리와 관련하여 다른데, 왼쪽 안와전두피질은 일반적으로 목표 지향적 행동 의 동 기적 통제를 중재하는데, 오른쪽 안와전두피질은 두드러진 사건의 처벌적인 측면 처리에 관여하며, 오른쪽 안와전두피질보다 왼쪽 안와전두피질이 긍적적인 감정에 더 잘 반응한다(Adolphs, 2002).

이러한 선행연구와 이 연구의 측정 데이터를 바탕으로 해석할 때, VR기반 생명과학 학습은 서책학습보다 연구 대상자에게 평소 익숙하지 않은 다양한 경험을 바탕으로 긍정적 보상과 즐거움을 제공한 것으로 보인다. 좌측 안와전두피질과 좌측 조가비핵의 기능적 연결성의 증가로 보아 학습에 대한 긍정적인 감정은 도파민 작용과 관련하여 보상감도를 증가시키고, 연구 대상자가 학습동안 즐거운 감정을 느끼는 감정처리 과정이 강화되었으며 이는 학습 동기를 증가시켰을 것으로 보인다. 안와전두피질의 반구간 좌‧우측의 연결성이 강화는 평소 경험하지 않은 다양한 콘텐츠들을 바탕으로 연구 대상자가 VR 생명과학 학습 정보를 통합함으로써 쾌락적 경험 처리 과정이 강화되었기 때문이라고 판단된다. 서책 기반 생명과학 학습은 학습자들에게 익숙한 서책형 학습 콘텐츠를 통한 학습은 스스로 학습을 성공했다는 보상을 통해 동기가 유지된다고 보인다. 이는 학습에 대한 동기로 작용하여 안와전두피질과 조가비핵, 창백핵과 안와전두피질의 기능적 연결성을 증가시킨 것으로 판단된다(Choi et al., 2018; McClure et al., 2004).

Brain Connectivities Related to Learning Immersion

몰입과 관련된 뇌 영역인 중측두이랑(MTG), 안와전두피질(OFC), 대상피질(CC), 해마옆이랑(PHG), 하전두이랑(IFG), 시상(Tha)을 ROI로 설정하였을 때, 유의 수준 0.05 이하에서 생명과학 VR 학습 집단에서는 2쌍의 유의미한 기능적 연결성의 변화를 확인하였고, 서책학습 집단에서 3쌍의 유의미한 연결성의 변화를, 그리고 각 두 집단을 비교하였을 때, 서책학습 집단보다 VR학습 집단에서 5쌍의 유의미한 기능적 연결성의 변화를 확인할 수 있었다(Table 3, Fig. 2). VR 학습 집단에서는 안와전두피질 하전두이랑, 하전두이랑 좌우 반구간의 연결성이 증가하였고, 서책학습 집단에서는 시상과 하전두이랑, 중측두이랑과 전대상피질의 연결성이 증가하였다. 서책학습 집단보다 VR 학습 집단에서 기능적 연결성이 증가한 부분은 안와전두피질과 하전두이랑, 안와전두피질 좌우 반구간, 하전두이랑 좌우 반구간, 우측 중측두이랑과 전대상피질, 중대상피질였다.

Table 3. Average changes of correlation coefficient related to immersion

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T3.png

(L : left, R : right, OFC : orbio frontal cortex, IFG : inferior frontal cortex, MTG : Middle temporal gyrus, ACC: Anterior cingulate cortex, Tha: Thalamus, MCC : midcingulate cortex, p<0.05)

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Fig_BDL_12_01_01_F2.png

Fig. 2. Brain functional connectivity related to immersion by comparing in VR learning and book-type learning

중측두이랑은 시각적인 운동성과 관련되며 공간적인 주의집중을 담당하는 영역이다(Köhler et al., 1995). 하전두이랑은 주의력, 행동과 언어의 통제에 관여하여(Hampshire et al., 2010), 하전두이랑 안와부의 안와전두피질은 정보의 통합과 행통의 통제 과정에 관여한다(Kwon et al., 2021; O’Doherty et al., 2001). 중대상피질은 감각과 운동의 통제와 주의를 통제하고 과제에 집중하고, 전대상피질은 공감, 충동 통제, 감정 및 의사결정과 같은 여러 복잡한 인지 기능과 관련한다(Bush et al., 1999; Bush et al., 2000). 시상은 시각적 주의 집중과 정보에 대해 선택적으로 인식하는데 활성이 나타난다(Kastner et al., 2004).

이러한 선행연구와 이 연구의 측정 데이터를 바탕으로 해석할 때, VR기반 생명과학 학습을 통해 연구 대상자에게 관찰되는 안와전두피질과 하전두이랑의 증가는 시각적 자극에 대해 주의 집중하여 외부 자극에 대해 행동을 통제하는 결정을 통해 학습과정에서 몰입을 경험한 것으로 보인다. 서책기반 학습 과정에서 하전두이랑과 시상의 기능적 연결성 증가는 생명과학 서책형 학습 내용에 대한 주의가 통제되고, 시각적 주의집중이 일어났다는 것을 의미하고, 중측두이랑과 전대상피질의 기능적 연결성의 증가는 학습자가 서책형 생명과학 내용을 학습하는 과정에서 공간정보처리를 하며 주의를 기울이고 학습이 일어남을 의미한다. 서책형 학습은 익숙한 방식이지만 VR 기반 콘텐츠 내용이 텍스트로 제시되었기 때문에 서책형 생명과학 내용은 일반 생명과학 교과서의 내용보다 흥미로우며, 스토리 중심으로 구성되어 있기에 학습자는 학습 과정에서 콘텐츠 관련 사진을 보면서 관련 내용을 상상하면서 학습 과정에서 몰입을 경험한 것으로 판단된다.

서책학습 집단보다 VR 학습 집단에서 VR 기반 생명과학 학습은 연구 대상자에게 시각과 청각으로 제시된 자극에 대해 반복적으로 주의 집중하고, 관련 기억에 대한 의미를 탐색하며 과제에 집중하기 위해 학습자가 행동을 통제하여 학습 과정을 몰입하는 것으로 보인다. 이는 학습에 대한 몰입으로 작용하여 안와전두피질과 하전두이랑, 하전두이랑과 좌우 반구간, 안와전두피질 좌우 반구간, 우측 중측두이랑과 전대상피질, 중대상피질 기능적 연결성이 증가시킨 것으로 판단된다.

Brain Connectivities Related to Sociality

사회성에 관련된 뇌 영역인 각회(Ang), 하두정소엽(IPL), 후대상피질(PCC), 측두극(TP)을 ROI설정하였을 때, 유의 수준 0.05 이하에서 생명과학 VR 학습 집단에서는 4쌍의 유의미한 기능적 연결성의 변화를 확인하였고, 서책학습 집단에서 유의미한 기능적 연결성을 관찰할 수 없었으며, 각 두 집단을 비교하였을 때, 서책학습 집단보다 VR학습 집단에서 5쌍의 유의미한 기능적 연결성의 변화를 확인할 수 있었다(Table 4, Fig. 3). VR 학습 집단에서는 안와전두피질 좌우 반구간, 안와전두피질과 조가비핵의 연결성이 증가하였고, 서책학습 집단에서는 안와전두피질과 조가비핵, 안와전두피질과 창백핵, 조가비핵 좌우 반구간 연결성이 증가하였다. 서책학습 집단보다 VR 학습 집단에서 안와전두피질과 조가비핵, 안와전두피질 좌우 반구간 부위에서 기능적 연결성이 증가하였다.

Table 4. Average changes of correlation coefficient related to social interaction

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T4.png

(L : left, R : right, Ang:Angular, IPL :Inferior parietal lobule, TP : Temporal pole, p<0.05)

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Fig_BDL_12_01_01_F3.png

Fig. 3. Brain functional connectivity related to social interaction by comparing in VR learning and book-type learning

측두극은 사회적 인식과 관련된 영역으로 사회적 행동의 조절과 관련하며(Adolphs, 2002), 각회는 감정이입을 통한 상황 판단과 기분과 관련된다. 타인의 관점에 대한 공감, 감정적 의미 처리 그리고 사회적 상호작용이 있을 때 나타나는 영역이다(Maddock, 1999; Tang & Posner, 2012). 또한 감정적 의미를 지닌 시각적 자극 처리와 감정 이입을 통한 정보를 탐색하는데 관여하고 사회적 상호작용이 있는 대화형 게임에서 활성패턴이 나타난다.(Lisofsky et al., 2014; Waler et al., 2005). 하두정소엽은 안구의 운동과 주의력에 관여하는 영여긍로 시각, 청각, 촉각 자극을 조절한다(Culham & Kanwisher, 2001).

이러한 선행연구와 이 연구의 측정 데이터를 바탕으로 해석할 때, VR기반 생명과학 학습에서 연구 대상자가 가상현실 내 자기 자신을 투영하여 정보의 흐름을 파악하였으며, 가상인물의 관점에서 시각적 자극 처리와 감정이입을 통해 사회성의 증가가 일어났음을 의미한다. 각회와 하두정소엽의 연결성 증가는 연구 대상자에게 VR 학습을 통해 시각, 청각 자극이 일어났으며, 학습하는 동안 주도적인 상호작용이 일어나는 영역으로 VR 학습 콘텐츠를 통해 사회적인 관계를 형성하고 상호작용이 활발히 이루어졌음을 의미한다. 또한 시각, 청각, 촉각 자극의 조절에 관여하는 하두정소엽의 좌우 연결성 증가는 안구 운동과 같이 시각계의 활동을 조절하는 영역으로 주의력이 증가됨을 의미한다(Culham & Kanwisher, 2001). 생명과학 VR 학습을 수행한 집단은 서책형 학습을 수행한 집단보다 측두극, 하두정소엽, 각회의 기능적 연결성이 증가하였는데, 이는 연구대상자에게 VR학습을 통해 시각, 청각 자극이 일어났으며, 학습하는 동안 연구 대상자의 능동적인 상호작용이 일어났음을 의미한다. 또한, 생명과학 VR 콘텐츠를 활용한 학습에서 학습자가 가상현실 내에 자기 자신을 투영하여 정보의 흐름을 파악하며, 가상인물의 관점에서 시각적 자극 처리와 감정이입을 하였음으로 사회성의 증가를 야기한 것으로 보인다.

Brain Connectivities Related to Addiction

중독과 관련된 뇌 영역인 창백핵(Pal), 조가비핵(Put), 편도체(AMY), 후각피질(OC), 전대상피질(ACC)을 ROI로 설정하였을 때, 유의 수준 0.05 이하에서 생명과학 VR 학습 집단에서는 3쌍의 유의미한 기능적 연결성의 변화를 확인하였고, 서책학습 집단에서 3쌍의 유의미한 연결성의 변화를, 그리고 각 두 집단을 비교하였을 때, 서책학습 집단보다 VR학습 집단에서 3쌍의 유의미한 기능적 연결성의 변화를 확인할 수 있었다(Table 5, Figure 4). 생명과학 학습 콘텐츠를 수행하면 창백핵과 편도체, 편도체와 조가비핵 기능적 연결성이 증가하였고, 서책형으로 제시된 생명과학 학습 콘텐츠를 수행하면 후각피질과 전대상피질, 후각피질과 창백핵, 조가비핵 좌우 반구간 사이의 연결성이 증가하였다. 서책학습 집단보다 VR 학습 집단에서 후각피질 좌우 반구간, 후각피질과 전대상피질, 편도체와 조가비핵 기능적 연결성이 증가하였다.

Table 5. Average changes of correlation coefficient related to addiction

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T5.png

(L : left, R : right, Pal :Pallidum, Put : Putamen; Put, AMY :Amygdala, OC : Olfactory cortex, ACC : Anterior cingulate cortex, p<0.05)

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Fig_BDL_12_01_01_F4.png

Fig. 4. Brain functional connectivity related to addiction by comparing in VR learning and book-type learning

창백핵은 동기보상체계와 도파민에 의한 즐거움과 관련있으며, 학습하는 동안 두려움, 불안과 같은 부정적 감정에 관여한다(Smith & Kieva, 2000). 전대상피질은 인지와 감정 작업에서 활성이 나타나며 충동적 행동의 조절에 관여된다(Ko et al., 2009). 조가비핵은 도파민 작용과 관련하여 동기의 중시역할을 하지만, 중독에도 관여한하여 보상 감도를 증가시키고 행동의 지속을 증가시키며, 학습자는 활동을 통해 즐거움을 느낀다(Kwon et al., 2009).

이러한 선행연구와 연구의 측정 데이터를 바탕으로 해석할 때, VR기반 생명과학 학습에서 연구 대상자에서 나타나는 조가비핵, 창백핵과 편도체의 기능적 연결성 증가는 VR 학습 콘텐츠가 단순한 학습이 아닌 새롭고 흥미로운 자극들이 많이 제시되어 있기에 학습자들이 과한 즐거움을 느꼈음을 제시한다. 또한 외부와의 단절과 자신이 실제로 바다나 세포에 들어가 있는 상황에서 느낄 수 있는 감정들을 의미한다(Ko et al., 2009; Yeshurun & Sobel, 2010). 중독에서 주로 편도체와 전대상피질의 연결성을 증가시키는 경향성이 주로 나타나는데, 생명과학 VR 학습을 수행한 집단은 서책형 학습을 수행한 집단과 비교햇을 때, 상대적으로 유의미한 연결성을 파악하기 어려운 데이터를 바탕으로 VR 콘텐츠에 대해 의존적 행동과 집착성 행동이 나타나지는 않는다고 판단할 수 있다.

Brain Connectivities Related to Dizziness

어지러움과 관련된 뇌 영역인 중측두이랑(MTG), 하측두이랑(ITG), 중심전이랑(PrCG), 중심방소엽(PaL), 중심후방판개(RO)을 ROI로 설정하였을 때, 유의 수준 0.05 이하에서 생명과학 VR 학습 집단에서는 1쌍의 유의미한 기능적 연결성의 변화를 확인하였다. 서책학습 집단보다 VR학습 집단에서 2쌍의 유의미한 기능적 연결성의 변화를 확인할 수 있었다(Table 6, Fig. 5). 시각적인 정보와 운동정보의 차이에서 발생하는 증상으로 시각적 운동의 처리에 관여하는 중측두이랑과 하측두이랑과 관련된다.(Toschi et al., 2017).

Table 6. Average changes of correlation coefficient related to dizziness

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Table_BDL_12_01_01_T6.png

(L : left, R : right, ITG :Inferior temporal gyrus, RO : Rolandic Operculum-, p<0.05)

http://dam.zipot.com:8080/sites/BDL/images/N0230120101_image/Fig_BDL_12_01_01_F5.png

Fig. 5. Brain functional connectivity related to dizziness by comparing in VR learning and book-type learning

하측두이랑의 기능적 연결성은 VR 생명과학 학습이 시각적 자극과 신체 운동 감각의 처리에 대해 반복적으로 자극이 되었으며, 시각적 자극에 따라 뇌에서는 움직이고 있으나 실제로 신체에서 동일한 움직임이 발생되지 않아 괴리감이 일어나 어지러움과 같은 멀미의 증상을 느낀 것으로 판단된다. 중심후방판개는 대상의 움직임을 코딩하거나 신체 운동처리를 담당하는 운동감각 영역으로 서책 학습과 비교해서 VR학습을 통해 신체적 운동감각과 관련된 영역이 나타났으며, 다양한 조작이 일어남으로 판단된다(Bekrater-Bidmann et al., 2014; Ebisch et al., 2008; Toschi et al., 2017). 생명과학 VR의 특성에 따라 움직이는 대상을 관찰하면서 시각적 움직임과 신체의 움직임에 괴리가 있어 어지러움을 느낄 수 있지만, 개인의 멀미 민감성에 따라 다르게 나타날 수 있다.

Conclusions and Implications

이 연구는 생명과학 VR 학습과 서책 학습을 각각 4주간 수행하였을 때, 뇌의 기능적 연결성을 확인하고자 하였다. 획득한 영상 자료를 선행연구에서 제시한 ROI를 기반으로 분석하여 뇌의 기능적 연결성을 규명하였다. 생명과학 VR 학습과 서책 학습에 의한 뇌의 기능적 연결성의 변화로부터 얻은 결론은 다음과 같다.

생명과학 서책 학습보다 VR 학습에서 증가된 뇌의 연결성은 학습 동기 요인인 안와전두피질의 좌우 연결성, 조가비핵과 안와전두피질, 몰입 요인으로 하전두이랑과 안와전두피질, 하전두이랑의 좌우 반구, 안와전두피질의 좌우 반구이다. 몰입감과 현존감에 의해 익숙하지 않은 가상현실을 체험한 학습자들은 다른 자극과 콘텐츠 제안 방식을 습득하게 되며, 이는 학습자의 주의 집중과 즐거움을 향상시킴을 알 수 있다. 사회성 요인으로 서책에서 좌측 하두정소엽 뇌 기능적 연결성 감소가 나타났는데, 서책은 지시사항이 서술되어 있는 반면, VR 콘텐츠는 가상의 인물이 존재하고 지시사항을 듣고 행동하는 포인트가 존재하기에 서책에서 사회적 상호작용이 낮아졌을 것이라 판단된다. 또한 감정이입과 공감을 나타내는 각회와 측두극, 하두정소엽 좌우 반구에서 뇌 연결성의 증가는 학습자가 대화형 게임이나 게임에서 시각적 자극과 함께 가상 인물의 관점으로 이입되는 몰입감을 경험했음을 알 수 있다. 중독 요인으로 조가비핵과 편도체, 어지러움의 요인으로 중심후방판개와 하측두이랑의 기능적 연결성이 증가하였다. 중심후방판개는 대상의 움직임을 코딩하고 신체 움직임을 담당하는 영역으로 서책 콘텐츠에 비해 VR 학습이 신체적 움직임이 일어남을 알 수 있다.

이상의 결론을 통해 본 연구에서 다음과 같은 교육적 함의를 제시할 수 있다. VR과 서책형 생명과학 학습을 지속적으로 수행하였을 때 변화를 두뇌 수준에서 규명하였다. 선행 연구에서 제시된 VR 콘텐츠의 즐거움과 몰입 이외에도 서책 콘텐츠를 통해 얻을 수 있는 긍정적인 학습요인이 존재한다. VR 학습을 통해 학습자는 생명과학을 긍정적인 보상으로 인식하고 학습 상황 동안 즐거운 감정을 느끼는 감정처리 과정이 강화됨으로써 학습동기가 향상되었다. VR학습은 실제와 같은 환경을 제공하는 가상현실 VR 콘텐츠의 제공으로 몰입이 향상된다. 전통적으로 서책이 익숙한 환경에서 학습자는 서책을 통해 학습에 대한 이해도를 높이고 긍정적으로 스스로 학습에 성공했다고 보상함으로써 주의 집중하기 쉽다. 연구 결과를 기반으로 VR이 서책과 병행된 학습프로그램이 구성된다면, 교육현장에서 더욱 교육적 활용도가 높으며 학습효과가 향상하는 결과를 기대할 수 있을 것이다. 사회성의 경우 제시된 학습 콘텐츠가 동일한 VR과 서책에서 VR에서만 증가된 영역을 관찰할 수 있었다. VR학습이 사회성을 감소시킬 것이라는 우려와는 달리 일부 사회성 영역에서 뇌의 연결성이 증가함을 알 수 있었다. 이러한 이유는 학습자가 생명과학 VR 콘텐츠를 활용하여 몰입감 높은 가상현실 내에 자기 자신을 투영하여 정보의 흐름을 파악하고, 가상 인물의 관점에서 시각적 자극 처리와 감정이입이 되었기 때문이다. 사회성에 따른 뇌의 연결성은 VR의 콘텐츠 특성에 따라 다른 결과를 보여준 것으로 판단된다. VR에 대해 중독과 반사회적 행동과 어지러움이 높게 나타날 것이라는 우려와 달리 4주간 생명과학 VR을 활용한 학습에 부정적인 면담 결과는 나타나지 않았다. 그러나 본 연구는 고등학생을 대상으로 정해진 프로그램 하에서 진행되었기에 더 낮은 연령의 학생들에게 제공될 때는 주의가 필요할 수 있다.

Authors Information

Jang, Eun-Young: Daejeon Science-Gifted High School, Teacher, First Author

Kwon, Seung-Hyuk: Gongju National University of Education, Professor, Co-corresponding Author

ORCID: https://orcid.org/0000-0001-9202-447X

Kwon, Yong-Ju: Korea National University of Education, Professor, Co-corresponding Author

ORCID: https://orcid.org/0000-0002-8283-1574

References

1 Adolphs, R. (2002). Recognizing emotion from facial expressions: Psychological and neurological mechanisms. Behavioral and Cognitive Neuroscience Reviews, 1, 21-62.    

2 Bekrater-Bidmann, R., Foell, J., Diers, M., Kamping, S., Rance, M., Kirsh, P., Trojan, J., Fuchs, X., Bach, F., Cakmak, H. K., Maab, H., & Flor, H. (2014). The importance of synchrony and temporal order of visual and tactile input for illusory limb ownership experiences – An fMRI study applying virtual reality. PLos ONE, 9, e87013.      

3 Biswal, B. B. (2012). Resting state fMRI: A personal history. NeuroImage, 62, 938-944.    

4 Bowman, D. A., & McMaban, R. P. (2007). Virtual reaity: How much immersion is enough? Computer, 40, 36–42.  

5 Bricken, M. (1991). Virtual reality learning environments: Potentials and challenges. Computer Graphics, 25, 178-184.  

6 Buckner, R. L., Andrews-Hanna, J. R., & Schacter, D. L. (2008). The brain's default network: anatomy, function, and relevance to disease. Annals of the New York Academy of Sciences, 1124, 1-38.    

7 Bush, G., Frazier, J. A., Rauch, S. L., Seidman, L. J., Whalen, P. J., Jenike, M. A., Rosen, B. R., Biederman, J. (1999). Anterior cingulate cortex dysfunction in attention-deficit/ hyperactivity disorder revealed by fMRI and the counting stroop - A functional magnetic resonance imaging probe of the anterior cingulate affective division. Biological Psychiatry, 45, 1542-1552.  

8 Bush, G., Luu, P., & Posner, M. I. (2000). Cognitive and emotional influences in anterior cingulate cortex. Trends in Cognitive Sciences, 4, 215-222.  

9 Byeon, J. H., Lee, J. K., & Kwon, Y. J. (2009). Brain activation pattern and functional connectivity network during classification on the living organisms. Journal of the Korean Association for Research in Science, 29, 751-758.  

10 Choi, S., Kwon, S., & Kwon, Y. (2018). College student’s brain connectivities in life science learning with VR contents - Resting state fMRI approach. Biology Education, 46, 71-79.  

11 Christou, C. (2010). Virtual reality in education. In A. Tzanavari, & N. Tsapatsoulis (Eds.), Affective, Interactive and Cognitive Methods for E-Learning Design: Creating an Optimal Education Experience (pp. 228-243). IGI Global.  

12 Cole, M. W., Bassett, D. S., Power, J. D., Braver, T. S., & Petersen, S. E. (2014). Intrinsic and task-evoked network architectures of the human brain. Neuron, 83, 238- 251.      

13 Desmeulles, G., & Redou, P. (2006). The Virtual Reality applied to the biology understanding: the in virtuo experimentation, Expert Systems with Applications. 30, 82-92  

14 Desmeulles, G., Querrec, G., Redou, P., Kerdelo, S., Misery, L., Rodin, V., & Tisseau, J. (2006). The virtual reality applied to biology understanding: The in virtuo experimentation. Expert Systems with Applications, 30, 82-92.  

15 Ebisch, S. J. H., Perrucci, M. G., Ferretti, A., Del Gratta, C., Romani, G. L., & Gallese, V. (2008). The sense of touch: Embodied simulation in a visuotactile mirroring mechanism for observed animate or inanimate touch. Journal of Cognitive Neuroscience, 20, 1611-1623.    

16 Friston, K. J., Price, C. J., Fletcher, P., Moore, C., Frackowiak, R. S. J., & Dolan, R. J. (1996). The trouble with cognitive subtraction. NeuroImage, 4, 97-104.    

17 Grantcharov, T. P., Bardam, L., Funch-Jensen, P., & Rosenberg, J. (2003). Learning curves and impact of previous operative experience on performance on a virtual reality simulator to test laparoscopic surgical skills. The American Journal of Surgery, 185, 146-149.  

18 Hampshire, A., Chamberlain, S. R., Monti, M. M., Duncan, J., & Owen, A. M. (2010). The role of the right inferior frontal gyrus: Inhibition and attentional control. NeuroImage, 50, 1313-1319.      

19 Horowitz-Kraus, T. (2015). Increased resting-state functional connectivity in the cingulo-opercular cognitive-control network after intervention in children with reading difficulties. NeuroImage: Clinic. 10. 619-630.      

20 Kastner, S., O’Connor, D. H., Fukui, M. M., Fehd H. M., Herwig, U., Pinsk, M. A. (2004). Functional Imaging of the Human Lateral Geniculate Nucleus and Pulvinar. Journal of Neurophysiology, 91, 438-448.    

21 Kim, H., Hong,Y., & Lee. W. (2003). Middle school science using virtual reality technology 1 WBI development for each level of ‘material of perception’. Science Education Research, 34, 107-121.  

22 Ko, C. H., Liu, G. C., Hsiao, S., Yen, J. Y., Yang, M. J., Lin, W. C., Yen, C. F., & Chen, C. S. (2009). Brain activities associated with gaming urge of online gaming addiction. Journal of Psychiatric Research, 43, 739-747.    

23 Kwon, S. H., Lee, Y. J., Choi, S. Y., & Kwon, Y. J. (2018). Analysis of components affecting learners in utilization of life science VR contents. Journal of Learner-Centered Curriculum and Instruction, 18, 585-605.  

24 Kwon, S. H., Park, J. S., & Kwon, Y. J. (2021). Analysis of Korean children’s developmental pattern on the social brain related to mentalization ability: An fNIRS study. Brain, Digital, & Learning, 11, 703-712.  

25 Kwon, S. H., Park, S. H., Park, J. S., Hwang, N. R., & Kwon Y. J. (2020). Identification of fNIRS brain acitivity and exploration of deep learning-based predictive model in self-regulation process taking mirror task. Brain, Digital, & Learning, 10, 365-376.  

26 Kwon, S. W., Kwon, S. H., & Kwon, Y. J. (2018). Electroencephalographic characteristics of virtual reality (vr)-based life science contents. Journal of Learner-Centered Curriculum and Instruction, 18, 355-366.  

27 Kwon, Y., Lee, J., Shin, D., & Jeong, J. (2009). Changes in brain activation induced by the training of hypothesis generation skills: An fMRI study. Brain &Cognition, 69, 391-397.    

28 Lee, H., & Ahn, C. (2002). Development of diagnostic scale for internet game addiction. Korean Journal of Health Psychology, 7, 211-239.  

29 Lee, I., & Kwon, Y. (2016). Study on brain plasticity through the learning model for improvement of biology learning motivation. International Journal of Knowledge & Learning, 11, 264-272.  

30 Ligorio, M. B., & Van Veen, K. (2006). Constructing a successful crossnational virtual learning environment in primary and secondary education. AACE Journal, 14, 103-128.  

31 Lisofsky, N., Kazzer, P., Heekeren, H. R., & Prehn, K. (2014). Investings socio-cognitive processes in deception: A quantitative meta-analysis of neuroimaging studies. Neuropsychologia, 61, 113-122.    

32 Maddock, R. J. (1999). The retrosplenial cortex and emotion: new insights from functional neuroimaging of the human brain. Trends in Neurosciences, 22, 310-316.  

33 Makransky, G. T., Thomas, S., Terkildsen., Richard & Mayer, E. (2017). Adding immersive virtual reality to a science lab simulation causes more presence but less learning. Learning and Instruction, 60, 225-236.  

34 McClure, S. M., Li, J., Tomlin, D., Cypert, K. S., Montague, L. M., & Montague, P. R. (2004). Neural correlates of behavioral preference ofor culturally familiar drinks. Neuron, 44, 379-387.    

35 Moscovitch, C., Kapur, S., Köhler, S., & Houle, S. (1995). Distinct neural correlates of visual long-term memory for spatial location and object identity: a positron emission tomography study in humans. Proceedings of the National Academy of Sciences, 92, 3721-3725.      

36 O’ Doherty, J., Kringelbach, M. L., Rolls, E. T., Hornak, J., & Andrews, C. (2001). Abstract reward and punishment representations in the human orbitofrontal cortex. Nature Neuroscience, 4, 95-102.    

37 Ogawa, S., Lee, T. M., Kay, A. R., & Tank, D. W. (1990). Brain magnetic resonance imaging with contrast dependent on blood oxygenation. Proceedings of the National Academy of Sciences of the United States of America, 87, 9868-9872.      

38 Oldfield, R. C. (1971). The assessment and analysis of handedness: The Edinburgh inventory. Neuropsychologia, 9, 97-113.  

39 Park, S. H., Park, J. S., Hwang, N. R., Kwon, S. H., & Kwon, Y. J. (2020). The effect of realistic contents(AR, VR) on the brains of middle school students – Using f-NIRS study. Brain, Digital, & Learning, 10, 157-166.  

40 Saga, Y. Hoshi, E., Tremblay, L. (2017). Roles of multiple globus pallidus territories of monkeys and humans in motivation, cognition and action: An anatomical, physiological and pathophysiological review. Frontiers in Neuroanatomy, 11, 1-12.      

41 Seol, K., Kwon, S., Kwon, Y.(2019). A study on changes of the brain connectivity by using virtual reality contents in learning life science, Biology Education, 47, 187-196.  

42 Smith, S. & Ericson, E. (2009). Using immersive game-based virtual reality to teach fire-satety skills to children. Virtual Reality, Springer London, 13, 87-99.  

43 Smith, Y., & Kieval, J. Z. (2000). Anatomy of the dopamine system in the basal ganglia. Trend in Neurosciences, 23, 28-33.  

44 Szatkowska, I., Szymańska, O., Marchewka, A., Soluch, P., & Rymarczyk, K. (2011). Dissociable contributions of the left and right posterior medial orbitofrontal cortex in motivational control of goal-directed behavior. Neurobiology of Learning and Memory, 96, 385-391.    

45 Toschi, N., Kim, J., Sclocco, R., Duggento, A., Barbieri, R., Kuo, B., & Napadow, V. (2017). Motion sickness increases functional connectivity between visual motion and nauseaassociated brain regions. Autonomic Neuroscience, 202, 108-113.      

46 Tremblay, L., & Schultz, W. (1999). Relative reward preference in primate orbitofrontal cortex. Nature, 398, 704.    

47 Tüzün, H., Yilmaz-Soylu, M., Karakus, T., İnal, Y., & Kizilkaya, G. (2009). The effects of computer games on primary school students' achievement and motivation in geography learning. Computers & Education, 52, 68-77.  

48 Walker, M. P., Stickgold, R., Jolesz, F. A., & Yoo, S. S. (2005). The functional anatomy of sleep-dependent visual skill learning. Cerebral Cortex, 15, 1666-1675    

49 Yeshurun, Y. & Sobel, N. (2010). An odor is not worth a thousand words: From multidimensional odors to unidimensional odor objects. Annual Review of Psychology, 61, 219-241.