令和3（2021）年2月24日分掲載
自己点検評価書の作成に関する調査研究について
―令和元・２年度 実施報告書から―
日本高等教育評価機構（以下「当機構」）は、令和元（2019）・2（2020）年度に行った調査研究の成果をまとめた報告書「認証評価に関する調査研究 第10号」をこの3月に発行する。本稿では、この報告書の中から、「自己点検評価書の作成に関する調査研究」の概要を紹介する。
自己点検評価書の作成をサポート
当機構の認証評価は、大学から提出される自己点検評価書とエビデンス資料に基づいて行われるため、大学が適切な自己点検評価書を作成できるようサポートすることは、当機構の重要な役割である。これまでも、マニュアルの整備や説明会の実施など、さまざまな方法でその役割を果たそうとしてきたが、平成30（2018）年度から認証評価第3期を迎え、関係者からは一層の支援が必要ではないかとの声が挙がっていた。
そこで、「自己点検評価書作成の際に参考となる情報を提供すること」を目的として、調査研究を行うことにした。内容は大きく分けて二つで、一つは自己点検評価書を構成するさまざまな要素を対象にした「データ分析」、もう一つは個別の自己点検評価書の記載内容を具体的に示す「「優れた自己点検評価書」事例紹介」である。
ページ数など各種データを収集・分析
「データ分析」では、平成30（2018）から令和2（2020）年度に当機構に提出された機関別認証評価の自己点検評価書77校分（74大学・3短期大学）について、ページ数や文字数などのデータを収集した。自己点検評価書を数量的にとらえ、可視化することを試みたのである。この調査結果は、大学が自己点検評価書を作成する際に、記述量の目安の設定や、作成体制の整備などにおいて、指標の一つとなることが期待できる。
ページ数についての調査結果の一部を紹介する（図参照）。自己点検評価書を、100ページ以内と規定されている基準ごとの自己評価など「本文部分」と、目次や資料一覧などの「それ以外」に分けて平均値を出すと、1学部を持つ大学では「本文部分」87.1ページ、「それ以外」24.3ぺージの計111.4ページとなった。これは、複数学部を持つ大学より少ない。ただし、2学部と3学部以上を比較すると、計120.7ページ（本文91.4、それ以外29.3）、3学部以上計121.5ページ（本文93.1、それ以外28.4）と、大きな差が見られなかった。
また、初めて当機構で評価を受ける大学は計108.7ぺージ（本文86.0、それ以外22.7）、2回目以上は計118.0ページ（本文90.5、それ以外27.5）と、評価経験がある大学のほうが多くなる傾向があった。
ほかにも、基準や基準項目ごとの文字数、エビデンス資料提出数、評価員が書面調査の一環として行う「書面質問」における質問数・請求資料数、「独自基準」と「特記事項」の設定数なども調査した。
なお、このデータ分析の結果については、概要を説明した動画を公開している。（当機構ウェブサイトトップページ→「JIHEE channel」→「第3期に提出された自己点検評価書について」）。
「優れた自己点検評価書」を複数の視点で調査
「事例紹介」では、「データ分析」で集計した「書面質問での質問数・請求資料数」を活用し、これらが少ないものを「優れた自己点検評価書」として、基準ごとに2大学ずつ選んだ。これは、自己点検評価書の完成度が高ければ、質問や資料請求が少ないと考えたからである。
調査方法・手順としては、①選ばれた2大学の自己点検評価書の記述内容を確認・比較するために、共通の枠組みとして「基準項目イメージ図」を作成②自己点検評価書の実際の記述内容や書き方の工夫、エビデンス資料の名称や数などを抜き出して紹介、一部は表として整理③テキストマイニングソフトを使用し、頻出語・文章数・段落数などをカウント、「抽出語による共起ネットワーク」で語句の関連性を提示④「優れた自己点検評価書」を作成した大学へのインタビュー―の4点とした。
これらの調査の結果、「優れた自己点検評価書」の記述の特徴としては、当機構の示す「評価の視点にかかわる自己判定の留意点」に沿った詳細で具体的な記述がなされていること、適切なエビデンス資料が示されていることなどが明らかになった。
テキストマイニングソフトによる分析では、頻出語などから大学の独自性や強調したと思われる事項を確認することができた。
大学へのインタビューでは、自己点検評価書作成の執筆体制やスケジュールの立て方、わかりやすく記述するための独自の工夫など、優れた自己点検評価書を作成するための具体的な方策を伺うことができた。コロナ禍における学生対応などで大学運営が多忙を極める中、調査にご協力いただいた大学関係者には深く感謝したい。
データを蓄積し調査を継続
今回の調査研究は、当機構として初めて自己点検評価書そのものを対象にした。各大学が総力を挙げて作成した自己点検評価書は、情報の宝庫であることを改めて認識する一方で、その内容が多岐にわたるために、比較すること自体が難しく、調査方法も一部を途中で変更した経緯がある。成果も必ずしも十分とはいえない。今後、関係者からの意見や要望を取入れ、継続してデータを蓄積するなどして研究を深めていきたい。
（評価研究部評価研究課課長・小林澄子）
※「認証評価に関する調査研究 第10号」は2021年3月下旬発行です。当機構の会員校、評価員、関係団体などにお送りするほか、ホームページで全文を公開します。