Scopus/SciVal과 THE 세계 대학 순위 (WUR)
대학평가 순위에는 어떤 데이터가 사용되나요?
많은 글로벌대학 평가 순위 기관이 있습니다. 대학평가 순위는 잡지사, 신문사, 웹사이트, 학계, 정부 등 다양한 기관에서 발표합니다. 발표 주체 중에는 글로벌 순위만을 다루는 곳도 있고 국가나 지역 순위에 초점을 두는 곳도 있습니다. 일부는 두 가지 모두를 다룹니다. 대표적인 7개 대학순위 평가 기관에 대한 이해를 위해 대학평가 순위 개요 새 탭/창에서 열기를 확인하여 보십시오.
순위 산정 방법은 다양한 외부 리소스의 데이터 입력에 의존합니다. 여기에는 대학 및 연구자 데이터, 인사, 교무, 재정 관련 데이터, 평판 조사 데이터 등이 포함되는데, 틈새 순위나 초점 영역이 무엇이냐에 따라 리소스는 달라집니다. 본 가이드는 타임스고등교육(Times Higher Education, THE)에서 발표하는 세계 대학 순위(WUR)에 사용되는 서지 데이터의 통계에 중점을 두고 있습니다. 대학 순위에 대한 더 자세한 내용은 대학평가 순위 가이드(Guide to University Rankings)를 참조하십시오.
서지 데이터세트
대부분의 기관에서 평가 방법에 사용되는 데이터세트 중 하나가 서지 데이터입니다. 이 데이터는 연구자들이 연구 결과를 공유하기 위해 발표하는 논문 또는 출판물(용어 참조)과 연관되어 있습니다. 서지 데이터세트를 통해 아래와 같은 몇 가지 정보와 인사이트를 얻을 수 있습니다.
● 대학 소속 연구자들이 발표한 출판물이 받은 인용 횟수
● 대학 소속 연구자들이 발표한 출판물 건수
● 연구자 및 대학의 공동 연구 상황. 특히 국제 협력
● 연구자들의 소속 기관
평가 기관은 권위 있는 출처의 엄선된 서지 데이터세트를 사용함으로써 각 대학의 연구 성과를 정량적이고 일관되며 비교 가능한 방식으로 수월하게 파악할 수 있습니다.
순위 산정에 사용되는 서지 데이터세트와 관련해 대학은 어떤 애로사항이 있나요?
순위 산정에 사용되는 실제 서지 데이터를 이해하고 확보하는 일은 까다롭습니다. 이 때문에 자신의 대학이 순위 전략을 계획하는 경우 정확한 정보가 아닌 추정치에 기반한 대체 정보 생성으로만 그칠 수 있기에 계획의 전략적 가치가 제한될 수 있습니다.
이 문제를 해결하는 데 도움이 되는 두 가지 방법은 다음과 같습니다.
순위 산정 방법을 이해하고 매년 변경되는 사항에 유의하기
수동 큐레이션 및 대체 지표 개발의 필요성에서 벗어나기
본 가이드에서는 먼저 THE 세계 대학 순위에서 사용되는 산정 방법을 설명하고, THE WUR의 기반이 되는 서지 데이터 지표를 상세히 소개합니다. 이후 대체 지표 및 수동 큐레이션의 필요성에서 벗어나는 방법을 안내합니다.
THE의 WUR에서 사용되는 순위 산정 방법은 무엇인가요?
THE는 2023년 9월 27일에 발표된 2024년 순위에서 새로운 산정 방법인 WUR 3.0을 도입했습니다. 이번 업데이트에는 확대된 서지 데이터, 개선된 국제 지표, 지식 이전을 위한 역할 증대 등이 포함되었습니다.
THE는 순위 산정을 위해 18개의 성과 지표를 5개 주요 영역으로 분류합니다.
●교육 (학습 환경) 29.5%
●연구 환경 (연구 규모, 수입, 평판) 29%
●연구 품질 (인용 영향력, 연구 강도, 연구 우수성 및 연구 영향력) 30%
●국제적 전망 (교원, 학생, 연구자) 7.5%
●산업적 측면 (수입, 특허) 4.0 %
THE 웹사이트 새 탭/창에서 열기, 2023년 9월 28일 기준
THE가 WUR 산정에 사용하는 18개 성과 지표에 적용되는 가중치 분포 (참고: 유학 관련 지표는 18번째로 추가될 예정). THE 웹사이트 자료 활용 새 탭/창에서 열기. 자세한 내용은 아래에서 확인하십시오.
엘스비어 데이터는 THE WUR에 어떻게 기여하고 있나요?
엘스비어는 대학의 연구에 필요한 서지 데이터세트를 제공함으로써 순위 산정 과정을 지원하고 있습니다. WUR에 궁극적으로 사용되는 산정 방법은 THE에서 결정합니다. 엘스비어는 평가 기관 및 연구 기관과 협력해 서지학과 데이터 과학에 대한 전문 지식과 더불어 객관적이고 권위 있는 서지 데이터세트를 제공합니다.
엘스비어의 서지 데이터세트와 측정지표는 WUR 산정 방법과 전체 순위 점수의 40%에 기여합니다. 여기에는 WUR 2024부터 적용된 새로운 지표인 연구 강도(Research Strength), 연구 우수성(Research Excellence), 연구 영향력(Citation impact), 특허 피인용 횟수 등이 포함됩니다.
THE의 코멘트
엘스비어의 서지 데이터는 각 대학이 인류 지식의 총합에 얼마나 기여하고 있는지를 측정하는 데 도움이 됩니다. 이러한 데이터는 누구의 연구가 두드러지고, 누구의 연구가 동료 학자에 의해 인용되는지를 보여줍니다. 가장 중요한 것은 학문 분야에 관계없이 인류에 대한 이해를 넓히기 위해 누구의 연구가 글로벌 학계에서 공유되고 있는지를 알 수 있다는 점입니다. (THE 순위 산정 방법 새 탭/창에서 열기, 2023년 9월 28일 기준)
THE에서 Scopus® 데이터를 사용하는 이유는 무엇인가요?
Scopus®는 여러 대학평가 기관이 의존하는 연구 출판물 및 서지 데이터의 출처입니다. THE는 2014년 연구 출판물과 서지 데이터의 출처로 Scopus를 채택했습니다. 당시 THE의 대표였던 트레버 배럿(Trevor Barratt)은 다음과 같이 언급했습니다.
향후 대학 순위 산정을 위한 연구 출판물 데이터는 엘스비어의 Scopus 데이터베이스를 이용할 것입니다. 이러한 새로운 데이터 소스를 통해 현재보다 더 광범위한 규모로 대학들의 연구 현황을 더욱 깊이 분석할 수 있게 될 것입니다. 이러한 데이터에는 전 세계 연구 산출물에서 점점 더 큰 비중을 차지하고 있고 THE의 신뢰받는 글로벌 평가를 원하는 신흥 경제국의 대학들이 포함될 것입니다.
THE는 세계 대학 순위, 영향력 순위(Impact Rankings), 젊은 대학 순위(Young Universities Rankings) 등 여러 순위 산정에 Scopus 데이터를 사용하고 있습니다.
엘스비어 서지 데이터 규모
엘스비어는 WUR 2024를 위해 5년 동안 1650만 건의 학술 논문, 논문 리뷰, 학회 발표집, 도서 및 도서 챕터에 대한 1억3400만여 건의 인용 정보를 조사했습니다. 이 데이터에는 2018년부터 2022년까지 Scopus를 통해 색인된 2만7950여 건의 동료 심사 저널과 색인된 모든 출판물이 포함됩니다. 2018년부터 2023년까지 6년 동안 이루어진 이들 출판물에 대한 인용 정보도 수집되었습니다.
엘스비어 서지 데이터의 기여도
인용 영향력 (총점의 15%)
엘스비어는 2015년부터 THE를 위해 대학별 인용 영향력 점수를 계산했습니다. 이 점수는 상대적 피인용지수(FWCI) 지표에서 도출됩니다.
FWCI는 학문 분야와 출판물 유형에 따라 서로 다른 인용 관행을 감안해 정규화된 인용 지표입니다. 이는 평균치이며, 순위의 경우 대학이라는 주체가 생산한 각 출판물의 실제 인용 횟수를 다른 모든 유사 출판물의 평균 인용 횟수와 비교해 계산됩니다. ‘유사 출판물’이란 Scopus 데이터베이스에 있는 출판 연도, 유형 및 분야가 Scopus 학술지 분류 시스템(ASJC)에서 정의된 것과 동일한 출판물을 말합니다.
따라서 FWCI는 주제 영역 또는 분야, 출판 연도, 출판 유형에 따라 정규화됩니다 (용어 참조). THE WUR에서는 저자가 1000명이 넘는 출판물은 분수 계산(fractional counting) 방식을 사용합니다. FWCI 점수 1.00은 해당 기관(이 경우 대학)에서 생산한 출판물이 유사 출판물의 전 세계 평균과 동등한 수준으로 인용되었음을 나타냅니다.
중요한 점은 THE WUR에서는 FWCI 계산에 5년의 인용 기간을 적용한 반면, SciVal 및 Scopus와 같은 솔루션에 사용되는 표준 FWCI 계산에는 4년의 인용 기간을 적용한다는 점입니다. 또한 국가 정규화가 불가능한 지역의 경우, THE의 데이터 팀이 추가 정규화를 적용해 최종 인용 영향력 점수를 계산합니다.
연구 강도 (총점의 5%)
WUR 2024에 새롭게 추가된 연구 강도 지표는 새로운 연구 품질 지표로 인용 횟수가 매우 높은 출판물의 영향력을 줄이기 위한 것입니다. 이는 5년 FWCI의 75번째 백분위수를 기준으로 하며 최종 순위 점수의 5.0%를 차지합니다.
연구 우수성 (총점의 5%)
THE 3.0의 산정 방법에 새롭게 추가된 연구 우수성은 주제별로 가장 좋은 연구에 대한 대학의 기여도를 인정하기 위해 고안됐습니다. 이 산정법은 전체 FWCI(5년) 출판물 중 순위 대상 대학의 상위 10%에 있는 출판물 수에서 도출되며, 최종 순위 점수의 5.0%를 차지합니다. 이는 대학의 연도, 주제, 교원 수에 따라 정규화됩니다.
연구 영향력 (총점의 5%)
연구 품질(Research Quality) 카테고리에 새로 추가된 세 번째 지표는 총점의 5%를 차지하는 연구 영향력입니다. 이 지표는 영향력 있는 다른 출판물에서 인용될 정도의 우수성을 인정받음으로써 출판물이 미치는 영향력을 “보다 폭넓게 살펴볼 수 있는” 방법을 제시합니다 (THE 웹사이트 참조 새 탭/창에서 열기, 2023년 9월 28일 기준). 이 지표는 출판물과 관련된 인용 네트워크를 살펴보는데, 예를 들어 인용 빈도가 높은 다른 ‘중요한’ 출판물에서 인용되는지를 파악해 출판물이 갖는 영향력 또는 ‘중요성’을 보다 광범위하게 파악합니다. 인용 패턴을 고려해 출판물의 ‘중요도’를 결정하는 동시에 주제 영역 간의 인용 패턴 차이도 고려하는 반복적인 방법을 사용합니다.
엘스비어는 THE의 분석 업무를 지원하기 위해 연구 우수성 및 연구 영향력 지표 모두에 대한 원시 데이터를 제공합니다.
연구 생산성 (총점의 5.5%)
THE의 연구 생산성 지표는 엘스비어의 Scopus 데이터베이스에 색인된 양질의 동료 심사 학술 논문에 발표하는 역량을 통해 연구자의 논문 생산 활동에 대한 통찰력을 제공합니다. 이 지표는 대학의 규모에 맞게 조정되며 주제/분야에 따라 정규화됩니다.
국제 공동 저술 (총점의 2.5%)
국제 공동 저술은 대학의 출판물 중 국외 공동 저자가 최소 한 명 이상 존재하는 출판물의 비율을 측정합니다. 이 지표는 엘스비어의 Scopus 데이터를 기반으로 합니다.
특허 (총점의 2.0%)
WUR 2024의 지표 산정에 처음 도입된 또 하나의 새로운 지표인 특허는 대학의 기술이전을 통한 국가 경제의 기여 정도를 파악하기 위한 것입니다. 이 지표는 대학이 발표한 연구를 인용한 특허 수를 기준으로 산정됩니다. 관련 데이터는 엘스비어에서 제공하며 세계지식재산기구(WIPO), 유럽 특허청(EPO), 미국, 영국, 일본 특허청에서 2018년부터 2022년 사이에 발표된 특허와 연관돼 있습니다.
THE의 평가 방법과 지표 산정에 대한 자세한 내용은 해당 웹사이트 및 평가 방법 가이드 새 탭/창에서 열기에서 확인하실 수 있습니다.
THE 세계 대학 순위에 오르려면 어떻게 해야 하나요?
THE의 세계 대학 순위는 모든 대학의 순위를 매기지 않습니다. 순위 대상 대학을 결정하는 데는 세 가지 주요 기준이 사용됩니다.
1. 논문 출판. 5년 동안 일정한 수 이상의 학술 논문 발표. 현재 기준은 1000편 이상.
2. 학부 과정 운영.
3. 주제의 다양성. 다양한 주제에 걸친 연구 활동.
다른 유형의 순위 산정에는 포함 기준이 다릅니다.
Scopus와 SciVal은 어떠한 상호 연관성을 통해 THE WUR에 기여하나요?
엘스비어는 대학의 일반적 목적은 물론 대학 순위와 관련해 자신의 연구 성과를 평가하는 데 도움을 주기 위해 Scopus, SciVal과 같은 연구 정보 및 분석 솔루션을 제공합니다. 이러한 솔루션은 세계 대학 순위 산정에 사용되는 실제 서지 데이터세트를 분석하거나 대학의 출판물 결과, 인용 영향, 공동 연구 패턴, 기타 순위 결과에 영향을 미칠 수 있는 여러 요인을 분석하는 데 도움을 줄 수 있습니다.
Scopus와 SciVal은 서로 어떤 관련이 있을까요? Scopus는 주요 순위 평가기관이 대학의 평가와 순위 산정에 사용할 정도의 권위 있고 신뢰할 수 있는 서지 데이터베이스입니다. SciVal은 Scopus와 동일한 서지 데이터에 분석력과 유연성을 더한 것으로, 5년 FWCI와 같은 다양한 지표, 분석, 보고서를 함께 제공함으로써 순위에 사용된 서지 데이터의 배경 정보를 심층적으로 이해할 수 있게 합니다.
Scopus 데이터란 무엇인가요?
THE와 같은 순위 산정 기관이 특정 대학의 성과를 정확하게 파악하도록 하려면 순위 산정에서 Scopus의 역할을 이해하는 것이 중요합니다. Scopus는 각자의 분야에서 인정받는 독립적인 주제별 전문가에 의해 엄선된 신뢰할 수 있고 출처 중립적인 초록 및 인용 데이터베이스입니다.
Scopus에 대해 알아야 할 세 가지 사항은 다음과 같습니다.
데이터베이스에 포함된 내용은 무엇이며, 어떤 부분이 THE 세계 대학 순위에 영향을 주는가?
대학 또는 기관 프로필이란 무엇이며, 자신의 프로필은 어떻게 볼 수 있는가?
저자 프로필이란 무엇인가?
Scopus 데이터베이스
Scopus는 포괄적이고 엄선된 초록 및 인용 데이터베이스에 풍부한 데이터 및 연계 학술 콘텐츠를 결합한 것으로 출판물 정보를 구조화한 원천입니다(용어 참조). 이러한 구조에는 저자, 인용, 대학 등의 상호관계를 통해 생성된 데이터가 포함됩니다.
아래 동영상은 THE 대학 순위의 배경을 이해하기 위해 알아야 할 Scopus 데이터의 구성 요소를 설명합니다.
이 동영상을 보면 Scopus에는 수백만 개의 데이터 포인트, 7000여명의 저자, 플랫폼, 출처 정보가 포함돼 있음을 알 수 있습니다. 이러한 데이터 외에도 Scopus는 인공지능(AI)을 이용해 각각의 데이터를 관련 저자와 대학에 연결합니다.
Scopus는 구조화된 방식으로 구성돼 있으므로 사용자(및 THE)는 이를 활용해 자신의 연구에 대한 인사이트를 얻을 수 있습니다. 또한 API를 통해 추가 데이터를 추출하고 타대학의 시스템에서 이를 사용할 수 있습니다.
저자 프로필, 기관 프로필, 소속 계층 구조
순위를 논의할 때는 Scopus 저자 및 기관 프로필과 소속 계층을 함께 논의하는 게 중요합니다. THE는 순위 보고서를 작성할 때 이러한 프로필 정보를 사용해 연구 정보가 해당 대학과 바르게 연결되도록 합니다.
대학은 기관 프로필 마법사(IPW)를 이용해 기관 프로필을 수정하고 조직의 구조를 설정해 기관 프로필을 그룹화하고 Scopus에 올바르게 나타나도록 할 수 있습니다. 순위 산정 기관은 이를 통해 대학의 연구 현황을 명확하게 볼 수 있습니다.
저자는 무료 저자 프로필 마법사(APW)를 통해 Scopus에 나타나는 자신의 저자 프로필을 확인하고 검증할 수 있습니다. Scopus는 저자 프로필에 대한 높은 수준의 정확도와 재현율을 제공하지만, 저자 스스로가 자신의 프로필을 확인하고 검증할 수 있도록 하면 데이터의 정확도와 신뢰도 모두를 향상시킬 수 있습니다.
저자는 무료 APW를 통해 자신의 프로필을 확인할 수 있지만, Scopus를 활용하는 기관에 소속된 연구자들은 자연스럽게 자신의 저자 프로필에 더욱 적극적으로 접근하고 관리하게 됩니다.
SciVal을 통해 우리 대학의 연구 현황과 순위 정보를 더 잘 이해하려면 어떻게 해야 하나요?
SciVal은 Scopus를 통해 전 세계에서 얻은 신뢰할 수 있는 데이터를 기반으로 구축되었으며, 정책 및 특허 데이터와 같은 2차 리소스를 통해 강화됩니다. 첨단 데이터 과학과 AI 기술을 이용해 글로벌 연구 활동에 대한 심도 있는 인사이트를 얻을 수 있도록 분석 역량을 제공합니다.
즉, SciVal은 동료 벤치마크와 새로운 연구 동향에 대한 대학의 연구 활동에 대한 인사이트를 제공하여 전략과 의사결정을 향상시킵니다. 유용한 분석과 유의미한 인사이트를 통해 연구자, 부서, 교원, 대학 차원에서 전문성과 영향력을 평가하고 보여줄 수 있으며 향후 연구 기금 확보를 지원합니다.
SciVal은 순위 분석과 전략에 어떤 도움을 줄 수 있나요? 또 대체 지표 개발의 필요성은 어떻게 제거할 수 있나요?
SciVal의 순위 분석은 수동 큐레이션과 대체 지표 개발에 의존하지 않고도 THE 세계 대학 순위(THE WUR)에 사용된 실제 서지 데이터세트와 QS 세계 대학 순위(QS WUR) 및 THE 영향력 순위에 사용된 서지 데이터세트를 기반으로 조사, 이해, 인사이트 생성을 가능하게 합니다.
THE WUR의 경우, 이는 전체 순위 점수의 40%에 기여하는 실제 서지 데이터세트를 분석하고 이해하며 이를 통해 인사이트를 얻을 수 있다는 의미입니다. 아래 이미지에서 이를 실제로 확인할 수 있습니다.
실제 FWCI 및 인용 점수를 기반으로 분석, 이해, 인사이트 생성
다음은 THE WUR 2024에 사용된 서지 데이터 상의 각 지표에 따른 성과에 대한 자세한 내용 등 대학의 순위 분석에 관한 내용입니다. 2021~2023년도 THE WUR 정보도 함께 제공되기에 2024년에 새로 도입된 지표를 포함해 점수 산정의 배경 요인을 분석할 수 있습니다. 또한 광범위한 지표 가이드를 통해 기존과 새로운 순위 산정 방법을 알아볼 수 있습니다.
순위 분석 기능을 이용해 얻은 인사이트를 통해 자기 대학의 위치와 순위를 결정하는 배경 요인을 더 깊이 이해하고 순위 전략을 수립할 수 있습니다.
Demystify University Rankings: A closer look
순위 평가를 통해 국제 및 업계의 협업 파트너를 발굴하려면 어떻게 해야 하나요?
국제 및 부문 간 협업은 순위 선정 방법뿐만 아니라 자신의 연구 전략과 부서 차원의 계획 전반에 걸쳐 중요한 요소이기에, 협업을 평가하는 일은 매우 중요하다고 할 수 있습니다. SciVal을 사용하면 네 가지 순위 집계(THE 세계 대학 순위, THE 영향력 순위, QS 세계 대학 순위, 상하이 랭킹)의 전체 순위를 포함한 다양한 지표를 기반으로 현재 및 잠재적 협업 파트너를 분석할 수 있습니다.
이 동영상에서는 SciVal의 순위와 협업에 대한 간략한 설명을 볼 수 있습니다.
어떻게 하면 우리 대학을 타대학과 비교해 파악하고, 모니터링하고, 벤치마킹할 수 있나요?
순위 분석의 핵심은 타대학의 성과를 이해하는 것입니다. 예를 들어, 국제 협력에서 자신의 위아래 순위에 위치한 대학과의 비교 분석 외에도 THE 인용 점수 추적에 관심이 있을 수 있습니다. 여기에서 앞으로의 계획을 세우는 데 도움이 되는 주요 인사이트를 발견할 수 있습니다. 순위표에서 자신의 대학과 비슷한 순위에 있는 대학을 쉽게 확인할 수 있지만, 벤치마킹할 대상을 유연하게 정의한 다음 그 순위를 결정하는 주요 요소의 서지 데이터세트를 조사하면 더 명확한 그림을 그릴 수 있습니다.
그렇기 때문에 SciVal의 벤치마킹 모듈에서 평가 기관이 사용하는 서지 지표를 사용하면 추가적인 도움을 얻을 수 있습니다. 세계 대학 순위를 선택하고 자신만의 히트맵을 작성해 추세를 시각화하거나 차트를 만들어 모든 서지학적 배경 요인에 대해 선택한 대학들을 분석할 수 있습니다.
SciVal이 미래의 평가 순위를 예측할 수는 없지만, 특히 많은 요소들이 관련되어 있기 때문에 현재 순위를 알려주는 서지 데이터세트 및 지표와 관련된 질문에 대해 더 현명하게 대처할 수 있게 합니다. 인사이트는 전략 및 개발 계획 전반에 걸쳐 피드백이 될 수 있습니다.
전반적으로, 대학에서의 직위와 역할에 관계없이 대학 순위를 이해해야 하는 경우 SciVal은 다음과 같은 방법으로 도움이 될 수 있습니다.
● 주요 순위 산정에 사용된 서지 기반 데이터에 대한 심층 분석을 바탕으로 경영진 수준의 보고서를 작성
● 순위에 사용된 서지학 전반에 걸쳐 타대학에 대한 벤치마킹 보고서 작성
● 분석을 통해 교원 및 부서 차원의 전략 계획과 출판 전략 개발에 정보를 제공
요약
결론적으로 말하면, Scopus는 정확하고 연결된 서지 데이터세트를 위해 주요 순위 평가 기관이 신뢰하는 권위 있고 포괄적인 데이터베이스입니다. Scopus는 또한 SciVal의 핵심 요소입니다. SciVal의 분석력 및 유연성과 Scopus의 폭넓고 깊이 있는 연결된 서지 데이터를 결합하면 대학 순위와 관련된 질문에 답을 찾는 데 도움이 될 뿐만 아니라 자신의 연구 프로그램과 전략 계획 전반에 적용할 수 있는 인사이트를 발견하는 데 필요한 디지털 컨설턴트로 활용할 수 있습니다.