『日本語教育の参照枠』を読む。(その15)
前回に引き続き
『日本語教育の参照枠報告』
https://qr.paps.jp/ShqFB
今回は、その15回目。
気がつけば、本シリーズも1か月半。
今のうちにしっかり読み込んでいけば
来年度以降の日本語学校の動きに
スムーズに対応できると思います。
というわけで、
今日は、
「III 日本語能力評価について 」
の
「3 日本語能力判定のための試験等について」
の
「(1)日本語能力の判定試験と「日本語教
育の参照枠」の対応関係を示すことの意味」
と
「(2)日本語能力の判定試験と「日本語教
育の参照枠」の対応付けの手続」
です。
以下。
===================
3 日本語能力判定のための試験等について
(1)日本語能力の判定試験等と「日本語
教育の参照枠」の対応関係を示すこ
との意味
○ 現在、国内外で実施されている日本語
能力の判定試験及び評価は、
各試験及び評価の目的に応じて、得点の解
釈基準やレベル設定、レベル判定基準等が
定められている。
これらの試験及び評価が「日本語教育の参
照枠」との対応付けを行うことにより、
試験利用者が日本語能力に関する測定結果
を相互に参照できる枠組みが構築され、
異なる試験・評価間の通用性が高まること
が期待される。
○ また、共通の指標での日本語能力判定
に関する評価が得られることにより、
受験者はどの試験を受験しても、熟達度の
レベルについて、
個別の試験の独自性や特質を勘案した上で、
測定結果を相互に参照できる枠組みに基づ
いた教育的なフィードバックを得ることが
できる。
(2)日本語能力の判定試験等と「日本語
教育の参照枠」の対応付けの手続
○ Council of Europe (2009、2011)では、
CEFRの尺度への対応付けのために次の
五つの手続を示している。
「日本語教育の参照枠」においても、これ
らの手続を参照することとし、
本報告では、この手続きに沿った対応付け
の方法を以下に示す。
○ 以下の対応付けの手続は、Council of
Europe (2009、2011)が示したものであり、
「日本語教育の参照枠」に対応付ける場合
にも重要な手続きとなるが、
これをひな形としつつも試験の開発実施機
関が独自の方法を工夫し実行することを妨
げるものではない。
なお、その場合、どのような手続を実行し
たかについて、その結果とともに公表する
ことが必要である。
1 CEFR への理解を深める(Familiarisation)
対象となる試験の対応付けを行う専門家等
に対しCEFR、
そのレベル区分、言語能力記述文への理解
を深める研修を行うこと。
対象となる試験の対応付けを行う専門家等
に対し、CEFRレベルを理解するための
トレーニングを実施する。
トレーニングは、事前課題とワークショッ
プに分けられる。
トレーニングには以下の a)から i)があ
る。
事前課題:
a)CEFR(2001)の第3章第6節を読ん
で各レベルの弁別的特徴を理解する。
この際、各レベルの言語活動だけでなく、
機能、概念、文法、語彙などの例示尺度に
ついても十分理解する。
b)コーディネーターによって作成された、
対象となる試験をCEFRと対応付けする
上で必要となる観点(第3章〜第5章の各
節末の問いより抜粋)をまとめたチェック
リストを確認する。
c)CEFTrain(http://www.helsinki.fi/
project/ceftrain/)にアクセスし、
各レベルの弁別的特徴を示したパフォーマ
ンスに実際に触れ、
言語能力記述文の分析を通してCEFRの
レベルを更に深く理解する。
ワークショップ(約 3 時間):
<導入活動>
d)Council of Europe(2009)付録 A1の
表(CEFR(2001)第3章第6節の短縮
版)を用いて、
レベルの異なる言語能力記述文をレベル順
に並べ替える活動を行う。
e)CEFR(2001)に収録されている「自
己評価表」に基づいて自分ができる外国語
について自己評価を行う。
さらに、外国語能力の質的側面に関して、
「話し言葉の評価表」
または「話し言葉の流ちょうさ」や「文法
的正確さ」についての言語能力記述文を用
いて自己評価を行うこともできる。
その後、他の参加者との共有・議論を行う。
<言語能力記述文の質的分析>
f)CEFR(2001)に収録されている言
語能力記述文を、レベルを伏せてバラバラ
にした上で並べ替えてレベル付けを行い、
なぜそのレベルを付けたのかについてグ
ループで検討を行う。(いくつかのカテゴ
リーにまたがる場合は、言語能力記述文の
合計が 40 を超えない程度とする)
g)CEFR(2001)に収録されている「自
己評価表」に用いられている個々の言語能
力記述文をバラバラに切り離しレベルを伏
せた切片を準備し、
それらを正しい位置に配置し直す活動を行
う。
<産出技能評価の準備>
h)CEFRの言語能力評価基準表の穴埋
めまたは並べ替えタスクを行う。
CEFRの「話すこと」から始めるのであ
れば、Council of Europe(2009)の付録
C2の表、
「書くこと」から始めるのであれば、C4
の表を用いる。
(対応付けの対象となる試験に産出技能の
評価がない場合でも必ず行うこと。)
i)ビデオに撮られた学習者のパフォーマ
ンスを用いてCEFRレベルを説明する。
2 対象となる資格・検定試験を自己点検
し、明確化する(Specification)
資格・検定試験の問題内容や問題タイプに
ついての自己点検を行い、
当該試験の出題範囲及びレベルのCEFR
との対応付けを行うこと。
また、CEFRと対応付かない領域につい
て記述をすること。
さらには、内容分析に基づき、CEFRの
言語能力記述尺度を用いた当該の試験のプ
ロフィールを描くこと。
自己点検に当たっては、Council of Europe
(2009)付録のセクション A2の書式の
チェックリストを利用して、
対応付けの対象となる試験の内容分析を行
う。
セクション A2の書式は全部で 24 あり、
内容は以下のとおりである。
A1-7 :対応付けの対象となる試験の概要
に関する書式
A8 :対応付けの対象となる試験のCEFR
レベルの最初の推定に関する書式
A9-22:対応付けの対象となる試験問題内容
に関する書式(A9-18:コミュニケー
ション言語活動及び A19-22:コミュニ
ケーション言語能力)
A23 :対応付けの対象となる試験のCEFR
と対応付けられた出題範囲とレベルの
主張のためのプロフィールの図示に関
する書式(必ずしも試験内容の下位分
類名と一致している必要はない。)
A24 :対応付けの対象となる試験のCEFR
レベルの最終的な推定に関する書式
(A8の書式と異なる推定になった場
合はその理由についても明記する。)
3 標準化トレーニングを行い、レベルを設
定する(Standardisation training and
benchmarking)
専門家等が基準設定(資格・検定試験のスコ
アをCEFRに対応付けること)を行うため、
試験課題と実際のパフォーマンス例に基づい
て、
専門家等の間でCEFRレベルに関する一貫
した共通認識を得ること。
話すこと、書くことの実際のパフォーマンス
について、Council of Europe(2009)付録
のセクション C1〜C4 の評価表を用い、
次の三つの段階に分けてレベル判定のトレー
ニングを行う。
その後、対応付けの対象となる試験に関する
レベル付けがされていないパフォーマンスの
判定を行い、合意形成を行う。
また、評価者間や評価者内の信頼性の分析も
行う。
第一段階:レベルが確定しているパフォーマ
ンスについての解説を C2、C3(話
すこと)及び C4(書くこと)の評
価表を用いてコーディネーターが
行う。C1 の全体尺度を最初に用い
てもよい。
第二段階:レベルが確定しているパフォーマ
ンスの判定をコーディネーターの
アドバイスを受けながらグループ
で行う。
第三段階:レベルが確定しているパフォーマ
ンスの判定を個々に行う。
聞くこと、読むことについても同様の段階を
踏んでトレーニングを行う。
出題されるテクストのレベルそのものではな
く、問題の難易度との組合せにより、受験者
の能力を位置付けることに注意する。
4 基準を設定し、CEFR の段階別表示に位置
付ける(Standard setting procedures)
専門家等がグループでの数次の審議を経て資
格・検定試験のスコアをCEFRの段階別表
示に位置付けること。
幾つかの統計的な手法を用いて、受験者の
データをCEFRのレベルに分割し、
対応付けの対象となる試験におけるスコアの
それぞれのレベルの境界を明らかにする。
この作業に使用する手法は、3つのグループ
に分類され、
IRT(Item Response Theory)によるもの
とよらないものに大別される。
1)IRTによるテストの項目困難度データ
を使用せず、テスト項目の特性を基に専門
家が境界を判定する手法
2)IRTによるテスト受験者の能力値デー
タを使用せず、受験者の解答データの特性
を基に専門家が質的に境界を判定する手法
3)IRTによるテストの項目困難度データ
及び受験者の能力値データを使用して、境
界を判定する手法
各グループについての具体的な手法について
は、Council of Europe (2009、2011)に示
されている。
5 妥当性を検証する(Validation)
上記1〜4の手続が適切に行われているか、
質的、量的な方法にのっとり継続的に検証す
ること。
国内の外国語試験とCEFRの尺度との対応
付けの事例
1 公益財団法人日本英語検定協会
Dunlea,J. (2009、2010)、公益財団法人日本
英語検定協会(2018)では、欧州評議会が示
しているCEFRの尺度への対応付けの手法
を用いて英検の各級及びライティングスコア
とCEFRレベルとの対応付けを示している。
2 一般財団法人進学基準研究機構
(Center for Entrance Examination Stan
dardization(CEES))
英語コミュニケーションテスト GTEC におい
ては、2016 年度から 2017 年度にかけて
CEFRの尺度との対応付けを行い、
Pre A1/A1、A1/A2、A2/B1、B1/B2、B2/C1 の
各閾値を設定した。
2019 年度以降、GTEC 受験者や教師への
フィードバックとしてCEFRを用いること
を決定している。
=======================
いかがでしょうか。
CEFR専門家の研修への言及はとても興味深い
ことですが、
これがしっかり普及するためには、
やはり、こうしたテスターが業として成り
立つ仕組みを文化庁が作らなければならない
と、私は思います。
例えば、OPIがいまいち日本国内で普及しない
のは、
テスターの資格を取ってもそれが職業につな
がらないからです。
結果、研究者の研修ツールぐらいにしか使い
道がないんですね。
そう考えると、専門家普及には、まずもって
文化庁や国が一定数専門家を正規雇用するこ
とが必要ではないかと思います。
間違っても、例えば日本語学校等に、
「CEFR専門家の資格のある教師を一定数配置
しないと、新入生の在留資格の許可率を下
げますよ。
もちろん、受講費用は自分持ち。」
などと言い出したら、現場は相当混乱する
というか、
もはや日本語教師の調達はかなり厳しくなる
のではないかと思います。
はたして文化庁はどこまで考えていて、
どこまで実行するのか。
今後の動向を注視したいと思います。