『日本語教育の参照枠』を読む。（その16）

引き続き

『日本語教育の参照枠報告』
　https://qr.paps.jp/ShqFB

今回は、その16回目。

本シリーズもこれで最後となります。

ところで、先日試行試験が行われました。

私自身は受験しなかったのですが、
スタッフの報告やSNSのコメントなどを
読むと、

いろいろと課題があったようですね。

なかなか前途多難なようです。

文化庁、そして小員会の皆様、
頑張ってください。

というわけで、

今日は、

「III 日本語能力評価について 」

の

「３ 日本語能力判定のための試験等について」

の

「（３）試験開発に関する基本的な考え方」

と

「（４）社会的ニーズに応える日本語能力
　判定の在り方について」

です。

以下。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

（３）試験開発に関する基本的な考え方

試験は、目的に応じて開発すべきものであ
る。

ここでは社会的ニーズに応える日本語能力
判定試験に望まれる要素を１〜６に示す。

１以外の概念の説明の下には、チェック項
目を示した。

これらのチェック項目は例示として挙げて
いるものであり、

作成する試験の用途や目的に応じて項目の
検討を行い、項目を決定した上で、

各要素のバランスを取った適切な判断が行
われるべきである。

１　有用性（usefulness）

試験は妥当性、真正性、信頼性、波及効果
等の様々な観点から評価されるが、

その試験の総合的な価値を個々の観点から
見た価値の総和として捉える概念である。

２　妥当性（validity）

試験が測定目的とした能力や特性（一般化
して「構成概念」と呼ばれる）を確かに測
定している程度を表す概念で、

「構成概念妥当性」を中心に据えて、それ
を確認する方法により妥当性の異なる側面
が強調される。

＜試験作成・評価に関する妥当性＞

□ 測ろうとしている言語能力を測っている
　か。

□ 測定する言語能力の理論的基礎（根拠）
　となる文献を明示しているか。

□ 試験作成の過程で測るべき知識や能力の
　一覧を作成しているか。

□ 測ろうとしている言語能力を適切に評価
　できるような採点を行っているか。

□ 採点基準に基づいた適切な受験者の解答
　が得られるような問題となっているか。

□ 測ろうとしている言語能力に対して、設
　問数のバランスに偏りがないか。
　また、試験全体の構成概念のバランスと
　合致しているか。

□ 測ろうとしている言語能力と直接関連し
　ない設問や内容が含まれていないか。

□ 試験内容が受験者間の公平性を保つもの
　になっているか。

＜試験実施に関する妥当性＞

□ 受験者の身体的、心理的、経験的な特徴
　（年齢など）に配慮した試験になってい
　るか。

□ 試験内容や能力基準に関する十分な情報
　が受験者に与えられているか。

□ 試験の指示や説明が問題の意図を十分に
　伝えるものとなっているか。

□ 試験解答のプロセスが測定意図と照らし
　合わせて適切なものとなっているか。

□ 特別な支援を必要とする受験者に対する
　配慮がなされているか。

□ 試験内容についての情報、受験者情報の
　管理が適切に行われているか。

３　真正性（authenticity）

試験の問題項目がその試験で測定しようと
している目標言語使用領域における現実の
課題をどの程度反映しているかの度合いを
いう。

例えば、読解力を測定する場合には、現実
社会で実際に使用された文書を問題文とす
ることが望ましい。

ただし、外国語学習の初級レベルでは既習
の語彙・文法・漢字・言い回しなどに配慮
した文章を新たに書き起こすこともある。

また、試験の問題項目は、現実の言語使用
を反映していることが望ましい。

□ 設問はどれくらい現実の言語使用場面
　を反映しているか。

□ 受験者の言語能力が一定レベル以上で
　あることを想定している試験においては、
　現実社会で実際に使用されている文書を
　活用できているか。

□ 言語活動の場面やタスクにおいては、
　現実の言語使用を反映しているか。

４　信頼性（reliability）

試験の測定精度を表わす概念で、その試験
の測定結果、

すなわち、得点に含まれる測定誤差が小さ
いほど、その試験の信頼性が高いという。

一般に、測定の標準誤差や信頼性係数で表
される。

□ 熟達度が変わらないと考えられる期間
　内に何度実施しても同じ結果を得ること
　ができるか。

□ 適切な統計手法を用いて「内的一貫性」、
　「項目弁別力」等についての検証を行っ
　ているか。

□ 対面式の会話試験などで受験者のパフォ
　ーマンス能力を測る場合、試験官の間で
　の評価のばらつきがないか、また、試験
　官の振舞いや印象が受験者のパフォーマ
　ンスに影響を与えていないか。

□ 対面式の会話試験などで受験者のパフォ
　ーマンス能力を測る場合、受験者の振舞
　いや印象に試験官の評価が影響を受けて
　いないか。

□ パフォーマンス能力の測定において、
　試験官の間での評価のばらつきがないか
　の検証を行っているか。

□ 試験問題の項目困難度のバランスが、
　想定される受験者の能力帯と合っている
　か。

５　実行可能性（reasibility）

社会的ニーズに応える日本語能力判定試験
の実施機関には、上記１〜４を担保しつつ、

試験開発及びその後の安定的かつ継続的運
営が求められる。

そのためには、人的・経済的資源を適切か
つ計画的に配分し、実行可能性の観点から
無理のない運営に努めることが望まれる。

具体的には、問題開発、試験実施（採点、
結果の通知）、試験の分析など試験の実施
及び結果の検証などに関する一連の流れを
継続的に実行可能かということを問題にす
る。

□ 設問作成に必要十分な時間が掛けられ
　ているか。

□ 実施にかかる作業や労力に必要となる
　十分な人員を配置できているか。

□ 採点のための適切な時間を確保できる
　か。

□ 上記を勘案して、年間を通して安定的
　に実施できる回数で実施しているか。

□ 受験環境が受験者に過度に負担を掛け
　るものとなっていないか。

６　波及効果（washback effect）

試験の内容が受験者や教師、教育機関、
企業、それら関係者を含む社会に与える
影響のことをいう。

例えば、外国語教育機関が外国語試験の
出題傾向に合わせて学習内容やカリキュ
ラムを決めるなど。

□ 教育機関のカリキュラム改善に役に
　立っているか。

□ 受験者に学習方法の改善を促すフィ
　ードバックを与えることができている
　か。

□ 共通参照枠に照らし合わせるなど、透
　明性の高いフィードバックを与えてい
　るか。

□ 試験結果を解釈する十分な情報が与え
　られ、現実のコミュニケーション場面
　での言語使用との対応を示しているか。

□ 全体的なレベルだけでない、個々の言
　語コミュニケーション活動や言語コミュ
　ニケーション能力に関する学習者のプ
　ロフィールを示しているか。

□ 初級レベル等での学習上の配慮など、
　真正性から逸脱する点について、受験
　者に情報が与えられているか。

（４）社会的ニーズに応える日本語能力
　　　判定の在り方について

１　日本語能力の判定のための試験及び
　　評価方法の開発促進

○ 日本語による言語活動のうち、「読む
こと」、「聞くこと」のテストは多く存
在するが、「話すこと（やり取り）」、
「話すこと（発表）」、「書くこと」の言
語能力を測定する試験及び評価方法の開発
・普及が求められる。

○ 幅広い受験ニーズ及び能力判定の需要
に応えるため、試験の目的や実施に関する
状況に応じてオンライン受験が可能となる
ＣＢＴ（Computer-Based Test）方式など
の実施による受験機会の拡大が求められる。

○ 専門的な内容を含む日本語の言語活動
を測定することを目的とした試験開発の
ためには、

当該分野の言語使用状況の調査・分析が
必要となる。

例えば、介護などで必要とされる職務の
分析と並行して、その職務を遂行するた
めに必要な日本語の知識・内容に関する
実証的な検討を行い、

言語能力記述文を策定していくという手
順を踏むことが適当である。

○ 日本語能力を測定し、それに基づい
て能力レベルを判定する試験を開発し、

安定的に実施していくためには、試験開
発に関する専門人材の育成が不可欠であ
る。

２　試験及び評価実施機関に求められる
　　主な要素

○ 試験及び評価実施団体は、当該試験
が判定する日本語能力について、日本
語教育関係者や試験受験者のみならず、

試験結果を利用する学校や企業などの
一般の方々の理解が深まるよう、分か
りやすい伝え方を工夫していくことが
求められる。

また、受験希望者や試験の利用者が試
験を選ぶ上で必要となる情報の公開に
努める必要がある。

○ 今後、「日本語教育の参照枠」に
基づき、日本語能力の評価が必要とな
る外国人材の活動や業種等による分野
別の日本語能力の評価が行われるよう
になると想定される。

それに伴い、試験及び評価実施機関側
は、測定・評価・判定する日本語の分
野やレベルについて、

外国人等の雇用を目指す企業や日本語
教育機関等に広く明示することが必要
である。

○ 「話すこと」、「書くこと」など
の言語活動別に求められる能力レベル
が示されることにより、

「話すこと」、「書くこと」に関する
評価手法や試験が日本語学習及び日本
語の能力レベル判定に有効に活用され
ることが望まれる。

○ 社会的ニーズに応える日本語能力
判定試験及び評価実施機関は、試験の
実施に当たり、

不正防止のための対応策を講じ、適切
な検証を行った上で例えば信頼性係数
の推定値などテストの性能に関する検
証結果の公表を義務付けたり、

検証結果を第三者が確認したりするな
どの対応が必要である。

○ 新規に開発された試験では、試行
試験の結果を公表し、専門家からの評
価を仰ぐことが必要である。

ただし、試験の仕様や機密に触れる事
項で継続的に試験を実施することの障
りとなることはこの限りではない。

この場合でも、継続的に実施された試
験に関して試験団体の中に言語テスト
の専門家がスタッフとして存在して、

言語テスト理論に基づく分析結果を試
験の企画・作題・実施等の部門と共有
していることが要請される。

○ 各省庁及び教育機関及び企業等が、
一定の日本語能力を判定する目的から
適格性を有する試験を選定する際には、

試験の信頼性及び妥当性に関する根拠
資料の提出を求め、試験・評価の専門
家の意見を踏まえる必要がある。

○ 試験及び評価を実施する機関・団
体に求められる主な要素として以下の
（１）〜（10）が挙げられる。

在留資格及び進学や就職などのキャリ
アにつながる日本語能力の証明を行う
各機関・団体は、社会的ニーズに応え
る日本語能力判定試験を活用する組織
等の求め等に応じて、

これらの要素を満たすよう努めること
が望まれる。

（１）テストスペック（試験の細目
　　　表）に基づくテスト作成

試験の基本設計となる、試験の目的・
対象者・測定したい能力・問題形式・
実施形態・解答に必要な知識や技能・
難易度の程度などの詳細が記載された
テストスペックを定めていること。

テストスペックに基づいた試験が作
成されていること。

（２）サンプル問題の公表

当該試験の内容及び出題方法が分かる
よう、過去に出題された問題のサンプ
ルがホームページや試験のガイドブッ
クなどに公表されていること。

（３）得点配分と合否の判定方法の公
　　　開

レベルや試験科目ごとの得点の配分が
一定程度示されていること。

また、どのように合否判定が行われる
かが受験者に示されていること。

例えば、パフォーマンス評価において
は、評価基準を具体的に示すこと。

（４）第三者評価の体制

試験及び評価の専門家による作問及び
試験の量的及び質的分析など、

試験の信頼性・妥当性の維持・確保に
向けて助言を得る体制を有しているこ
と。

例えば、信頼性係数の推定値などテス
トの性能に関する検証結果を第三者が
確認できること。

（５）ＩＲＴに基づく得点等化

毎回の試験問題の難易度水準が一定レ
ベルとなっているかについて、

ラッシュ・モデルを含む項目応答理論
（ＩＲＴ）に基づく尺度得点表示と時
期間の得点等化等により、

試験の質を担保する手段を講じている
こと。

（６）結果分析へのＩＲＴ等活用

試験結果が想定されたものとなってい
るかどうかについてＩＲＴ等を含む統
計的手法を用いて分析を行っているこ
と。

社会的ニーズに応える日本語能力判定
試験の場合は、妥当性検証の枠組み
（社会・認知的フレームワークや論証
に基づく検証フレームワークなど）に
基づいて、当該試験の妥当性を順次検
証し、その結果を公表すること。

（７）特に配慮を要する受験者への対
　　　応

身体に不自由がある方など、特に配慮
を要する受験者に対して、受験機会を
確保するための合理的配慮が検討され
ていること。

（８）情報セキュリティ管理体制

個人情報をはじめとする情報の取扱い
に関する対策が講じられていること。

例えば、受験生の個人情報を扱う試験
事業においてプライバシーマークや情
報セキュリティマネジメントシステム
等の認証を得ていること。

（９）不正・偽造等の防止対策

試験問題の漏洩や流出、証明書の偽装
などの問題を未然に防ぐための複数の
対策を具体的に整えていること。

（10）安全確保等対策の整備

試験会場及び試験実施の際の受験者の
緊急時の安全確保について具体的な対
策及び実施マニュアルなどが整備され
ていること。

※試験及び評価を実施する機関・団体
は、「日本語教育の参照枠」のレベル
尺度との対応付けの検証結果や、

受験結果を受験者及び結果利用者に対
して分かりやすく示すとともに、

更なる学びへとつなげるためのフィー
ドバックの方法についても配慮するこ
とが望まれる。

３　日本語能力判定の有効な活用に向
　　けて

○ 「日本語教育の参照枠」レベルと試
　験との対応付けの方法を示すだけでは
　なく、

　レベル尺度を体験したり、スタンダー
　ドセッティングのワークショップを開
　催したりするなど、

　活用に向けた研修機会の確保や評価担
　当者の育成に対する支援も必要である。

○ 試験による日本語能力判定だけでなく、
　日頃の教室活動の中で学習者の日本語
　能力の進歩やレベルの推定ができるよ
　うな手法とその事例を示していくこと
　で、

　多様な評価の在り方を周知していくこ
　とが重要である。

○ 日本語学習に関わる立場である日本語
　教育人材の養成・研修機関は、本報告
　を踏まえ、

　評価に関する教育内容を見直し、多様
　な評価の在り方について研修等を普及
　していくことが望まれる。

　同時に日本語教育に関する試験及び評
　価の専門家の育成強化が求められる。

＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝

いかがでしょうか。

前半部分は、日本語教師養成講座の評価法の
テキストに書いてあるような、

とりたててどうということはない内容。

と言いますか、

「そもそもそれぐらいのことは、
　この報告書を読むような人は
　わかっているはずでしょ。」

という印象。

後半については、いろいろと書かれて
いますが、

今回の試行試験を見る限り、

文科省や文化庁に記載内容を遂行する
だけの実行力があるのか、

というのが、個人的には非常に引っかかる
ところです。

大言壮語にならなければと、老婆心ながら。
（老爺心ですかね。）