대학 순위의 투명성과 책임 증진

지난 가을, 저는 워싱턴포스트의 사설 새 탭/창에서 열기을 통해 US News & World Report뿐만 아니라 수 많은 경쟁 기관들이 평가하는 대학 순위는 “대학과 학부모, 또는 학생들이 너무 심각하게 받아들이면 해를 끼치는 약간 어리석은 집착”이라고 주장한 바 있습니다. 

저의 주장이 뉴스로 가치가 있었던 것은 내용이 참신해서가 아니라, 제가 소속된 프린스턴 대학이 지난 11년동안 US News의 대학 순위에서 1위를 차지했기 때문입니다. 칼럼에서 언급하였듯이, 저는 프린스턴의 교육과 연구에 큰 자부심을 가지고 있지만 다른 많은 대학도 존중하며, 마치 경쟁하는 스포츠 팀처럼 순위를 매길 수 있다고 생각하는 것은 어리석은 일이라고 생각합니다. 

여기서 순위에 대한 제 주장을 반복하지는 않겠습니다. 청중을 고려할 때 불필요한 것 같습니다. 대학 순위 평가를 현명한 생각이라고 판단하는 학사 관리자를 만나본 적이 없습니다. (물론 그런 사람이 있을 수도 있습니다.) 제 기고문에 대해 받은 메모와 편지는 한결같이 긍정적이었는데, 교수와 행정가로 30년 넘게 일하면서 이런 반응은 처음이었습니다.

게다가 칼럼을 게재한 이후 짧은 시간 동안 순위 게임에 대한 비난이 계속 쏟아지고 있습니다. 예를 들어, 콜린 다이버(Colin Diver)는 최근 그의 저서 “순위 산업(rankings industry)”에 대한 명쾌하고 포괄적인 비판을 담은 책 “랭킹 파괴: 순위 산업이 고등 교육을 지배하는 방법과 이에 대한 대처 방안 새 탭/창에서 열기”을 출간했습니다. 이 주제를 다룬 그의 글은 훌륭하며, 대학 순위가 좋은 생각인지에 대해 아직 판단을 내리지 못한 독자들에게 추천합니다.

그럼에도 불구하고 순위는 인간 행동의 많은 부분과 마찬가지로, 이론적으로 방어할 수 없고 실제로도 피할 수 없는 것처럼 보입니다. 그 안에 내제된 잘못된 전제와 그로 인한 피해에도 불구하고 다이버의 말처럼 순위는 “계속 유지될 것”입니다. 문제는 순위와 함께 어떻게 잘 살아갈 것이냐 입니다.

방법은 의심할 여지 없이 다양합니다만, 저는 한 가지 아이디어를 강조하고자 합니다. 대학 리더들이 순위에 대한 불합리한 의존도를 줄이려면, 학생이나 학부모가 학교를 선택할 때 사용할 수 있는 대체 지표와 정보 출처를 제공하거나 지원해야 합니다. 

고등 교육 지도자들은 대학이 다양한 사명을 수행하기 때문에 대학 순위는 다소 무의미하고 대학 간에 비교를 할 수 없다며, 이러한 의무에 대해 자주 저항해왔습니다. 이러한 주장은 순위 자체만큼이나 옹호할 수 없는 주장입니다. 예를 들어, 대학 관리자가 자녀에게 대학 진학에 대해 조언할 때 순위를 고려하지 않는 경우는 거의 없다고 생각합니다.

그렇다면 어떤 지표를 이용해야 할까요? 졸업률은 정말 중요합니다. 학생들을 졸업시키지 못하는 대학의 학생들은 정비 점수가 낮은 자동차와 같습니다. 판매할 수 있는 곳이 없는데, 비용만 많이 들인 것이 됩니다.

학생과 그의 가족들, 정책 입안자는 다양한 특성을 가진 학생들이 다양한 학교와 프로그램에서 어떻게 생활하는지에 대한 데이터와 졸업률에 대한 가장 완전한 정보를 알 권리가 있습니다. 

그렇기 때문에 저는 개별 대학과 해당 전문 기관이 연방 정부가 학생 수준의 기관 데이터(일반적으로 “학생 기록부”라고 함)를 수집하여 예비 학생과 그 가족에게 유용한 방식으로 보고할 수 있도록 하는 초당적 대학 투명성 유지법(College Transparency Act) 새 탭/창에서 열기을 지지해야 한다고 강력하게 믿고 있습니다. 예를 들어, 이 법에 따라 퇴역 군인은 뉴저지 내 모든 학교의 퇴역 군인 졸업률을 확인할 수 있게 되었습니다. 하원의원은 2월에 개정된 위 법안 새 탭/창에서 열기을 통과시켰습니다.  

공공 기관은 이미 이러한 공개 요인을 직시하고 있는 반면, 사립 대학들은 대학 투명성 유지법과 그 이전 법안에 이따금씩 저항하고 있습니다.

일반적으로 위 법안에 반대하는 사람들은 정부가 학생들의 개별 학생 데이터를 수집하는 것과 관련하여 학생의 개인 정보 보호를 우려합니다. 일반적인 우려는 타당하지만, 적절한 대응은 법안을 폐기하는 것이 아니라 수집된 데이터를 적절히 보고할 수 있도록 하는 것이어야 합니다. 제 생각에 대학 투명성 유지법에는 이러한 우려를 해결할 수 있는 효과적인 작동 원리나 구조가 포함되어 있습니다.

두 번째 우려사항은 데이터 수집에 대해 대학이 받는 부담감입니다. 투명성 유지 법안의 자문 위원회는 이러한 대학의 부담을 최소화할 수 있도록 합니다. 제 생각에 이 법안으로 학생들이 받을 수 있는 혜택은 대학의 새로운 의무보다 더욱 클 것입니다. 

졸업률에 대해 제기되는 또 다른 문제는 데이터 해석과 관련이 있습니다. 사람들은 교육기관의 졸업률은 교육기관이 제공하는 학생 풀에 따라 부분적으로 달라지기 때문에, 저와 같이 상위 대학에 유리하다고 지적합니다. 대학은 중등 과정 후의 교육에 대한 준비가 덜 된 학생들을 교육함으로써 보다 가치있는 공공재를 제공합니다. 이러한 학생들에게 서비스를 제공하면 학교의 졸업률이 낮아질 수 있다는 점을 인지해야 합니다.

맞습니다. 하지만 해결책은 전체 프로젝트를 포기하는 것이 아니라 위험을 고려하는 것이어야 합니다. 고등 교육 리더들은 교육기관 위원회와 기자들이 졸업률에 대해 다양한 학생 프로필에 따라 긍정적인 형태로 말할 수 있도록 지원해야 합니다. 이는 굉장히 중요합니다: 불우한 배경을 가진 학생들이 학위를 받지 못한 채 빚만 지고 대학을 졸업하는 것은 아예 대학을 다니지 않은 경우보다 종종 상황을 더욱 나쁘게 만들어 놓습니다. 실제로 대부분의 대출 채무 불이행 새 탭/창에서 열기은 부채 수준이 낮고 학위가 없는 학생과 관련이 있고, 학위를 취득한 학생은 거액의 대출금도 상환할 가능성이 더욱 높습니다. 

이를 해결할 수 있는 한 가지 방법은 고등 교육의 하위 부분 내에서 졸업률을 비교하는 것입니다. 예를 들어, 양당이 연합한 ASPIRE 법에 따라 대학이 뒤쳐진 졸업률을 높이도록 인센티브를 제공하고, 졸업률이 가장 낮은 학교에는 수료를 개선할 수 있는 계획을 개발할 수 있도록 자금을 지원하는 것이었습니다. 이 법안에는 교육기관이 공정하게 활용하기 위한 Pell Grant 수혜자 교육 새 탭/창에서 열기도 의무화되어 있습니다. 

위 법안의 메커니즘은 완벽하진 않지만, 기본 원칙은 대학이 학생들을 교육하고 졸업시키는 데 책임을 준수할 수 있도록 정부 자원을 제공하는 방법에 대한 건전한 이해를 반영하였습니다. 바이든 대통령의 Build Back Better 계획 새 탭/창에서 열기에는 저소득층 학생 수가 많은 대학에서 수료 및 유지 비율을 높이기 위해 증거 기반의 접근 방식에 사용되는 기금이 포함되어 있습니다. 

물론 졸업률이 전부는 아닙니다. 저는 워싱턴포스트 칼럼에서 4년제 학위 프로그램을 선택할 때 지원자가 고려해야 할 다른 정보, 즉 졸업 후 결과의 일부 척도, 순비용, 교수진의 질, 학생과 교수진의 상호작용 수준, 다양한 학생 그룹이 열심히 공부하고 서로 교육하는 수준 높은 학습 문화에 지표(예, 평균 학생의 수업 외 학습량 데이터)를 제안했습니다.

오바마 행정부에서 근무한 후 현재 바이든 행정부에서 교육부 차관을 맡고 있는 제임스 크발(James Kvaal) 새 탭/창에서 열기의 관심을 받고 있는 교육부의 대학 스코어카드(College Scorecard) 새 탭/창에서 열기를 활용하는 것에서 출발해 보실 것을 제안합니다. 스코어카드를 이용해 지원자는 졸업률, 순비용, 입학 후 10년 후 중간 소득을 기준으로 교육기관을 쉽게 비교할 수 있습니다. 또한 기관 프로필을 통해 학생 구성의 다양성을 비롯한 여러 광범위한 요소에 대한 자세한 정보를 얻을 수 있습니다. 

물론 데이터는 완벽하지 않습니다. 이 수치는 학생과 학위 프로그램의 평균을 나타냅니다. 수익 데이터에는 모든 프로그램이 포함되지 않는 경우가 많습니다. 포함하더라도 일부 또는 다수의 학생이 누락될 수 있습니다. 광고에서 말하는 것처럼 “개인별 결과는 다를 수 있습니다”라고 말입니다. 또한, 사람들은 스코어카드 데이터가 전체적으로 정확한 경우에도 작은 차이에 대해 크게 과장할 수 있습니다. 연봉만이 졸업 후 가치 성과는 아닙니다.  어떤 사람에게 연봉은 가장 중요한 것이 아닙니다. 그 밖에도 여러가지가 있습니다. 

졸업 후 급여나 순비용을 무시할 수 있는 여유가 있는 드문 (그리고 특권층) 가정입니다. 대학 스코어카드의 평균은 적어도 실제 차이에 대한 일차적인 증거를 제공합니다. 대학이 상대적으로 낮은 졸업률, 높은 순비용, 상대적으로 낮은 졸업 후 급여를 보여주고 있다면, 지원자는 해당 학교가 자신에게 적합하다고 판단이 되더라도 보다 신중하게 결정해야 합니다.

콜린 다이버 새 탭/창에서 열기는 그의 저서 Breaking Ranks 새 탭/창에서 열기에서 스코어카드에 대해 “획일화된 사고방식”을 반영한다고 설명하며 회의적인 입장을 취하고 있습니다. 저는 누구에게도 스코어카드 변수를 극대화하여 대학을 선택하라고 조언하고 싶지는 않습니다. 그러나 이러한 특성화가 대부분의 가정에서 중요하게 여기는 기본적인 문제를 쉽게 이해할 수 있도록 돕는 정보로서의 가치는 과소평가되고 있다고 생각합니다. 

만약 스코어카드에 결함이 있다면, 고등 교육 리더십 위치에 있는 우리 모두에게 평가지표를 개선하거나 더 나은 평가지표를 만들어야하는 의무가 있습니다. 우리는 학생과 가족이 대학을 선택할 때 참고할 수 있도록, 우리 자신을 비롯한 규제 기관은 고등 교육이 제공해야 하는 인재와 목표에 책임을 지는데 대학이 사용할 수 있는 지표를 만들도록 도움을 주어야 합니다. 

순위가 관심을 받는 이유는 실제 필요를 충족시키기 때문입니다. 우리가 순위와 함께 살아야 한다면, 순위가 유일한 방법이 되어서는 안됩니다. 단순히 순위에 저항하는 것이 아니라 더 나은 대안을 육성하고 지원하는 것이 우리의 역할입니다.

Higher education leaders have too often resisted that obligation, pivoting quickly from criticism of rankings to assertions that because colleges and universities serve multiple missions, they are more or less incommensurable. That claim is almost as indefensible as the rankings themselves. I would reckon that few college or university administrators behave accordingly when (for example) advising their own children about where to go to school.

So what metrics matter? Graduation rates are crucial. A college that does not graduate its students is like a car with a bad maintenance record. It costs money — lots of it — without getting you anywhere.

Students, their families, and policymakers deserve to have the most complete information about graduation rates, including data about how students with various characteristics fare at different schools and programs.

That is one reason why I strongly believe that individual colleges and their professional organizations should support the bipartisan College Transparency Act 새 탭/창에서 열기, which would authorize the federal government to collect student-level institutional data (commonly referred to as “student unit record data”) and report it in ways useful to prospective students and their families. For example, the Act would enable a military veteran to view the graduation rate for veterans throughout schools in New Jersey. The House of Representatives passed a version of the Act 새 탭/창에서 열기 in February.

Public institutions already face extensive disclosure requirements, but private colleges and universities have sometimes resisted the College Transparency Act and predecessor legislation. Opponents of the legislation usually highlight student privacy concerns related to government collection of individual student unit record data. The general concern is legitimate, but the appropriate response should not be to scrap the legislation but to ensure that it contains adequate protection for data collected. In my view, the College Transparency Act contains effective mechanisms to address this concern.

A second concern relates to data collection burdens on universities. The bill’s Advisory Committee will work to minimize any additional burdens. In my view, the benefits to students would far outweigh any new obligations.

Another issue raised about graduation rates pertains to interpretation of the data. People point out that an institution’s graduation rates depend in part upon the pool of students that it serves, so that highly selective schools like mine have an advantage. Colleges and universities provide a valuable public good by educating students who may be less thoroughly prepared for post-secondary education. We should recognize that serving this population will diminish a school’s graduation rate.

True — but the solution should be to account for risk rather than to abandon the entire project. Higher education leaders need to help regulators and reporters say what counts as a good graduation rate for different student profiles. Doing so is important: if students from disadvantaged backgrounds emerge from college with debt but no degree, they will often be worse off than if they never attended at all. Indeed, most loan defaults 새 탭/창에서 열기 involve students with small debt levels and no degree — students who get the degree have a better shot a repaying even large loans.

One way to solve the problem is to compare graduation rates within sub-sectors of higher education. That was the approach taken, for example, by the bipartisan ASPIRE Act, which would have provided incentives for institutions to raise lagging graduation rates, and authorized funding for schools with the lowest graduation rates to develop completion improvement plans. The bill would also have compelled institutions to do their fair share to educate Pell Grant recipients 새 탭/창에서 열기.

The mechanisms in that Act were imperfect, but the basic principles reflected a sound understanding of how to hold colleges accountable for educating and graduating students while also making government resources available to enable colleges to comply. President Biden’s Build Back Better proposals 새 탭/창에서 열기 likewise included a completion fund to pay for evidence-based approaches to increase completion and retention rates at colleges and universities that serve high numbers of low-income students.

Graduation rates, of course, are not the whole story. In my Washington Post column, I suggested a partial list of other information that applicants should consider when choosing a four-year undergraduate degree program: some measure of post-graduation outcomes; net cost; levels of faculty quality and student-faculty interaction; and indicia of a learning culture with high standards where a diverse group of students study hard and educate one another (for example, data about how much the average student studies outside of class).

A good starting point is the Department of Education’s College Scorecard 새 탭/창에서 열기, which has benefited from the attention of James Kvaal 새 탭/창에서 열기, who is now Under Secretary of Education in the Biden administration after serving previously in the Obama administration. The Scorecard makes it easy for applicants to compare institutions on the basis of graduation rates, net cost and median earnings 10 years post-attendance. Readers can drill down into each institution’s profile to obtain more detailed information about a wide variety of elements, including the diversity of the student population.

The data is, of course, imperfect. The numbers reflect averages across students and degree programs. Earnings data often do not include all programs. Even when they do, the reporting may omit some — or many — students. “Individual results will vary,” as they say in commercials! In addition, people may exaggerate the importance of small differences in Scorecard data even where it is wholly accurate. Salary is not the only post-graduation outcome that matters. For some, it is not the most important one. And so on.

It is, however, the rare (and privileged) family that can afford to ignore post-graduation salary or net cost. The averages in the College Scorecard provide at least prima facie evidence of real differences. If a college has a relatively low graduation rate, high net cost and comparatively low post-graduation salaries, applicants should proceed with caution — even if some reasonably conclude that the school is nevertheless right for them.

Colin Diver 새 탭/창에서 열기 is skeptical about the Scorecard, describing it in his book Breaking Ranks 새 탭/창에서 열기 as reflecting a “homogenizing mentality.” I appreciate his point: I would not advise anybody to choose a college solely by maximizing Scorecard variables. But I think that characterization underestimates the value of having easily understandable information about the basic issues that matter to most families.

And if the Scorecard is flawed, then all of us in higher education leadership positions have an obligation to help improve it or produce something better. We should help to create comprehensible metrics that students and families can use when making choices, and that regulators — and we ourselves — can use to hold colleges and universities accountable to the goals and the people that higher education should serve.

The rankings have power because they meet a real need. If we must live with them, we certainly don’t have to let them be the only game in town. It is up to us not simply to resist the rankings, but to cultivate and support better alternatives.