<善用數據> 陳鴻昌

相信絕大部分學校都會在測考後進行檢討,並撰寫測考檢討報告。這些報告大多會引用一些數據,例如某科某級考試的合格率、平均分及中位數等基本統計資料,不少學校教師還會寫下質性分析。然而,QSIP團隊在過往支援大量學校的經驗中發現,不少檢討報告在量化及質性分析的文字描述中,大多只對學生的表現作出概括評價。若學生成績未如理想,不少報告歸因於學生學習動機低、根基薄弱及家庭支援不足等。縱然這些因素可能都是事實,但如止於這些結論,可能會錯過了由數據得出的重要探究點,最終亦難以具體改善學生的學習效能。下文將舉例說明如何善用數據,使我們能作出更有意義的檢討。 從基本測考數據說起 一般而言,在校內考試中,對於某科某一級的一張試卷,每名學生的總分是應有的數據。學校可利用這些數據,得出全級或分班在該張試卷的合格率及平均分等基本資料。這些資料,有助我們概括地知道該級學生在這張試卷的表現。但若想進一步知道,不合格的學生是僅僅不合格,還是距離合格很遠;或是合格的學生只是僅僅合格,還是取得較高分數,那看學生分數分布表便一目了然。例如學校A的中二有四班,2A為精英班,2B及2C為中等能力班別,2D為弱班,而下學期數學科的滿分是100,下表可更精確地呈現各班成績分布: 從上表計算,是次考試有35名學生不合格,佔全級學生約30%。驟眼看來,最低分的學生都在弱班,看似「正常」。但若細看分數分布,可得出兩個探究點。其一是在不合格學生當中,有14名分數介乎40至49之間,這些學生可算是僅僅不合格,但其餘不合格的21人,分數分布在0至30分之間,與合格距離甚遠;其二是在合格的學生當中,沒有任何一名獲得80分或以上,可算是沒有「高分」。從這兩點來看,我們有理由重新檢視試卷及教學策略: 一、題目是否已依從「易合格、難高分」的原則擬題?試卷中的「易」題目,是否已照顧弱勢學生的狀況,讓他們在有付出努力的情況下有「翻身」機會?而「難」題目是否切合該年級中水平較高的學生,讓他們有所發揮?還是過深,超出了該級學生可應付的範圍? 二、若試卷的深淺程度已合理,當中考核的內容、技術及目標,是否已配合日常教學? 換句話說,我們要探究的,正是筆者在另一篇文章〈擬卷要素〉[1] 所談的「深淺適中」及「教考相配」。 若想進一步了解學生的學習難點,便要對學生在每題的表現有所掌握。這類題目分析(item analysis),本地的公開考試有詳細報告,包括學生在每題的得分率或答對率。近年,QSIP團隊與一些學校合作,把這意念引進校內考試的檢討工作,並取得一定進展。例如在某道淺題目,答不到的學生表現如何,他們錯了甚麼?對於難題目,強生又答到了甚麼,如何可幫助他們更上一層樓?這部分的討論,可見QSIP團隊在本系列的其他文章。 質性資料與量化數據相輔相成 談到數據,多以量化數據為主。然而,質性資料也可助教師改善教學,從而協助學生學習。例如,若簡單的統計資料顯示學生考試成績未如理想,除了憑藉上述量化資料找出探究點外,也可從學生的筆記入手。若選該年級中過往成績優異的學生,查看他們的筆記,甚至與這些學生對談,看看他們是否有用筆記來溫習,但仍然達不到理想成績,並探其原因。比如說,若這些學生平日的筆記,並無助於回應考試的題目,而這些優異生已盡力摘錄重點,那麼可能顯示教考不配,又或是學生未能記下重點。對此,打破這局面的其中一個可行方案,是有關教師日後要在課堂內更突顯重點,同時要引導學生如何摘錄,並有時間讓學生整理,加入個人化註釋等。與此同時,這點也強化教師注意日常教學與測考的關聯,提升「教考相配」的素養。 神髓在於分析數據後的行動 QSIP團隊在過往與學校合作過程中,正是憑着上述的檢視數據方法,引發探究點,從而為學校制訂後續的行動方案,以優化教學效能。其中一個例子是在訪問一所學校的中一學生時,學生表示世史是最難的科目,而量化數據亦顯示這科是全部科目中合格率最低的。進一步的深究,發現中一世史教師在平常教學中着重事實性歷史知識,但到考試時,卻以文憑試的資料回應題形式擬卷,結果導致大量學生不合格。其後,世史科主任採納我們的建議,把中一試卷在事實性題目及高階思維題目的份量中取得平衡,並在日常課堂中嘗試教授學生一些相關技巧,踏上改進的一步。 另一個例子,是發生在錄取能力較佳學生的學校B。學校每年的中三中文寫作卷,皆有大量學生不合格,校內教師因習慣了,視之為「常態」。及後QSIP團隊追查發現,教師從中一到中三不斷把考試要求提升,對中三的要求已與文憑試要求所差無幾,但初中各級考試時間卻不變,一律為1小時。因此,中三學生大多未能在指定時間內完成作文,才造成大量不合格的情況。最後,學校採納我們的建議,把考試時間逐級加長,問題於翌年在不費吹灰之力的情況下自動解決。 結語 以數據檢討考試,若單單陳述學生過往根基及家庭支援薄弱等因素,縱然是確實無誤,但對改善學生日後學習難有實際幫助。我們宜善用量化及質性數據,探究如何提升考試卷的素質,以及改變日常教學的策略,以提升學生學習效能。這裏說的「善用」,包含不同層次的意義:首先是考慮收集甚麼數據;其次是如何整理及表達數據;最後及最重要的是,如何利用整理好的數據影響教學決定,並制訂行動方案,否則空有分析何用?讀者可參考QSIP團隊在本系列的其他文章,取得更多善用數據的實例。 註[1]:〈擬卷要素〉https://bit.ly/2WqUKZZ 下載全文PDF

Read more

<運用公開試評估回饋學與教──以文憑試中文科為例> 袁漢基

現時,學校運用公開試的評估數據及表現回饋教學,日趨普遍。然而,除了現行多側重數據的比較之外,筆者認為評估的檢視和分析可更全面及細緻,好讓評估對學與教的回饋,更臻完善。以下筆者嘗試運用文憑試中文科試卷作為例子,提出幾點運用公開試評估,回饋學與教時值得關注或改進的地方,以供參考: 一,仔細分析試題有助回饋學與教 一般而言,學校多就官方提供的公開試報告檢視校內學生於不同題目的整體表現,例如學校會參考該校學生跟全港日校學生相關的數據表現,而較少對題目作出細緻分析,試看以下表一的內容: 表一:2019年文憑試中文科卷一閱讀理解,題8、9、10「貴校」學生與全港日校學生表現數據 由上表可見,對考題的分析相對較少。因此,筆者建議可設定相關項目,然後就題目逐一分析、疏解,以助回饋學與教。以下表二是對公開試考卷題目作不同方面的處理、分析。   表二:2019年文憑試中文科卷一閱讀理解,題8、9、10分析 基於以上的處理、分析,我們可以有以下的做法: 針對考材的體裁和主題,可在日常學與教的材料上,選取一些較具深度,涉及社會、文化、人性、國民性的文章閱讀、設題,藉以提升學生對相關主題的認識及高階思維能力。 針對試題的考核重點、性質、設題取向,參考公開試的理念、模式,作日常的訓練及測驗、考試等評估的設置,讓學生有更多機會和更全面地掌握不同層次、性質的理解及表達能力,例如綜合、概括、分析、闡述、評價、比較等能力。 針對題型、內容、難度、分數,在日常課業、評估等適切地布置考問的題型(如填表、短答、長答、多項選擇、三式判斷等)、內容(如考問比喻、人物分析及評價等)、難度及分數,以照顧不同學生的能力和需要。 教師如以團隊形式,仔細分析公開試題目,共同切磋琢磨,相信對公開試的認識及日常教學均能有所提升和改善。   二,針對強弱表現揚長補短 在官方給予學校的公開試報告中,有全港日校與「貴校」學生考試表現的比較,從中可看出學生的強弱長短。以下表三的分析中,題14、15、16同樣考問文章中的人物,但重點不同,如與全港日校學生比較,容易發現「貴校」學生表現的強弱所在。 表三:2018年文憑試中文科卷一閱讀理解,題14、15、16分析及數據 就以上例子,「貴校」學生於分析人物形象題目(題14)的得分百分較全港考生為高,意味「貴校」在這方面的學與教有一定優勢。因此,教師可在原有的基礎上,總結成功的因素及經驗,擴大及發展優勢,令學生在這方面更能發揮所長,於公開試取得更佳成績。 相反,「貴校」學生在理解、分析、說明人物感受方面,表現明顯遜於全港日校考生(見上表題15、16)。因此,教師宜仔細分析原因,會否因為日常在相關方面的學習材料不足,或教學上較少深入分析人物感受,又或校內的評估考問偏於浮淺,以致學生在這方面的能力偏低,表現較遜。上述種種,教師可就相關評估數據,針對學生的弱項,反思學與教,於課程內容、教學方法、課業評估等方面,作適切的補短及改善。   三,提出可行有效的改善建議

Read more

<擬卷藍圖、表現分析及教學跟進:以小學數學科為例> 柯志明

評估的目的,除了評定學生的學習水平,更重要的是蒐集學生的學習顯證,以回饋學與教,促進教學成效。本文從擬卷、表現分析及教學跟進三方面,分析如何於小學數學科促進教師的評估素養。 擬卷原則與藍圖 一份好的試卷,首先要符合該學期的教學內容,各個課題的題目分布要合理;其次,題目的深淺要適中,以照顧不同能力學生的需要。一份擬卷藍圖能夠簡單地幫助教師在擬卷及閱卷時,審視一份試卷能否符合這兩項重要原則。 下圖是一份五年級試卷的擬卷藍圖例子(圖一)。擬卷藍圖顯示了試卷中每一個課題(包括已有知識)的題號及每題所佔的分數,同時亦將每一題以初階、中階和高階劃分,讓擬卷和閱卷者能對每個課題及不同程度題目的分布一目了然,從而審視試卷能否做到分布合理及深淺適中。 (圖一)   要判斷題目分布是否合理,可用教學時數作參考:教學時數較多的課題,應屬於較重要的課題,所佔分數比例應較多。簡單來說,每個課題題目所佔的分數應大約和授課時數成正比。此外,若要考核學生的已有知識,分數不宜太多,讓能力稍遜的學生能專注溫習本學期新學的內容。 一份試卷何謂深淺適中,需要校本處理。校內科組教師宜透過科組會議商討一個合適的初、中、高階題目分數比例。最重要的是對何謂初階、中階和高階題目有一定共識。例如校內數學教師都同意初階題目應有80%或以上的預期答對率,中階題目的預期答對率則介乎50%至80%之間,而預期答對率低於50%的就屬於高階題目了。以下是一所學校經過科組教師協商後,得出對一份試卷的初階、中階及高階題目的分數分布指引(圖二)。 (圖二)   學生表現分析 考試完結後,一般學校都會將每班學生的表現及全級的表現作統計。若能將統計資料以棒形圖表示,可令全級各班及個別某班的表現一目了然(圖三)。 (圖三) 若要回饋學與教,需要有更多數據參考。除了每位學生的總分外,若能統計每位學生於每一道題目的對錯,得出每題的答對率(圖四),將有助教師檢視學生於每道題目的表現是否符合預期。一道題目的答對率如低於預期,教師須深入檢視成因,以作教學上的回饋和跟進。 (圖四)   教學跟進 若一道題目的答對率顯著低於預期,我們就要分析原因:是教師們低估了該題目的難度,還是學生掌握不到他們應該懂得的知識?若是後者,我們須參考學生的題解,深入了解學生的難點所在,然後針對性地作出教學跟進。 下圖以一道五年級題目為例,評估學生能否應用分數乘法找出一個整體數量的部分(圖五),教師預期應有80%或以上的學生能答對,是一道初階題目。結果只有57%學生答對,答對率比預期低了23%。閱卷教師指出,發現不少學生使用減法而非乘法去計算餘額,反映學生未能以分數乘法找出整體的部分,同時顯示出學生可能混淆整體的部分和分數數量,例如分不清零用錢的和元的分別。教師須針對學生的學習需要提供回饋,讓學生掌握以分數乘法找出一個整體數量的重要概念。 (圖五)

Read more

<擬卷要素> 陳鴻昌

傳統評估理論, 多談及測考試卷的信度(reliability)和效度(validity)。然而,本文總結優質學校改進計劃(QSIP)團隊與前線教師合作的經驗,並以筆者在過往近百場有關評估素養的教師發展工作坊及公開研討會中,曾談及擬訂測考卷的幾點要素作為基礎,以較貼近前線工作實況的語言,表達擬卷要素,包括「教考相配」、「深淺適宜」及「縱向規劃」。 教考相配 考試要與教學配合,相信是教育界的共識,為何還要討論?原因是教考相配本身存有多重意義: 一、內容相配 一般而言,中文科教師不會在中文科試卷上擬定物理科內容,地理科教師又不會教第一課而故意考第八課的內容,這種教學內容上的配合,是必然合理的。這種「相配」的淺層意義,無須多談。 二、技術相配為了說明這種相配,可參考以下例子:一名初中中國歷史教師,在課堂內多講史實,並經常抽問學生史實,鼓勵學生搶答。久而久之,學生的注意力便會集中在「快速回答史實」方面。若教師在考試時擬定一些像香港中學文憑考試形式的資料題,並要求學生分析、評論及表達個人意見,而學生平日上課並沒有相關技巧的訓練,便難於回答這類高階思維的問題。即使教師教授唐朝的史實,而考試時亦只用唐朝的材料,這只是內容相配,而技術不配。 三、教學目標相配再用上述例子反過來說,若一名中國歷史教師在中四課堂著重史實,也要求學生背誦史實,到考試時又只考核背誦史實的問題,表面上是內容相配、技術相配了。然而,高中課程著重能力轉移,目標在訓練學生高階思維能力,那麼,即使考試題目與教學內容及技術皆相配,但卻與教學目標不配。這種情況較為複雜,不單是擬卷上的問題,更是平日教學的問題。 一份好的試卷,在於內容、技術及目標皆能配合日常教學。 深淺適宜及縱向規劃一份試卷的深淺程度,一般宜以「易合格、難高分」的原則擬題,給根基較弱的學生有一個追上進度的機會,同時給優異生有適當的挑戰,以保持不同能力學生的溫習動機。然而,科組必須對深、淺的定義有共識,否則空談深淺題目的百分比,仍無法控制試卷的深淺度。 而縱向規劃,是指科組要有一個跨級的宏觀藍圖,在考試時間、題型、深淺比例等作循序漸進的規劃。更重要的是在這方面的討論,有助全科組對題目的深淺度與各級的教學目標達到共識。例如同樣是涉及描寫文,對中一的要求與對中三的要求應有不同。在縱向規劃下,可防止擬卷時同類型的題目會出現中一比中三深的情況。 有關深淺適宜及縱向規劃的更詳細討論,可見筆者另文「再談照顧學習差異(下)」1。 科主任的角色以上三項擬卷要素,正是科主任在擬卷把關時的注意點。在教考相配上,科主任除在訂定各級教學目標上扮演積極的角色外,更需要把觀課的所見所聞,與考卷的題目作一定的聯繫,才能判別擬題在內容、技術及教學相標上,是否教考相配。在深淺程度上,科主任需要帶領科組一同探討,可借用過去的試卷作為入手點,尋找科組共識。在縱向規劃上,除了帶領科組取得有關共識外,在擬卷把關時,只有科主任才有縱觀全局的權力與責任,作跨級的監察及協調。此外,科主任的工作,還有「善用數據」,即利用測考結果的量化、質化數據,發掘探究點。例如某科某級不合格人數較多,首先應檢視試卷題目的深淺度是否合適,以及是否在內容、技術及目標皆配合教學,從而改善將來擬卷質素。若試卷沒有問題,便應進一步探討教學策略的改變。有關這部分,詳見下期QSIP團隊的文章。 註[1]: 再談照顧學習差異(下) http://qsip.fed.cuhk.edu.hk/en/article_pdf/20150730b.pdf 下載全文PDF  

Read more

<初中生活與社會科試題設計的新嘗試> 朱榮得

近年到校和初中生活與社會科教師協作,在提升評估素養方面,教師大多關心初高中的銜接問題,希望優化校內的試題設計,讓試卷一方面能銜接高中通識科課程的學習,培訓著重學生多角度思考及邏輯思維;同時,又可切合初中學生的能力。 現時初中生活與社會科較常見的試卷樣式,一種是把高中通識科的考核模式在初中推展,採用資料回應題(data-response question)及論文式問題(essay-type question),只調整題目數量和複雜程度來配合初中學生能力。另一種則是以評核知識內容為主導的試題設計,透過各式各樣的題目類型,如:多項選擇、填充、配對、釋義、短答、長答等,考核學生掌握課題內容的程度。教師均認為這兩種模式各有問題。第一種「高中模式」是「能力導向」的試題,無論如何簡化,對學生的語文及思維能力要求仍是較高,初中學生大多未能應付,當測考成績不好,就會減弱了他們的學習動機。第二種以「評核知識內容」為主導的試題設計,偏重了考核學生背誦憶記的能力,無助於訓練他們的高階思維,難以與高中課程接軌。 近日到訪一所學校,與他們合作進行了一個嘗試,就是把剛才所說的兩種模式結合。教師擬定一些像「高中模式」的資料回應題,每大題都圍繞着一個議題,要求學生就所提供的文字、圖片等資料作分析。為了照顧初中學生的分析及文字表達能力,教師在答題形式上作調適,以多項選擇、填充等題型設計出「能力導向」的試題,讓學生回答。以下是一些題目例子的節錄,學生在閱讀試卷提供的文字、漫畫或數據資料後,便需回答下列問題: 教師在這種設計上有以下幾項考慮:一是能銜接高中通識科的學習,二是加強學生多角度思考及邏輯思維的訓練。所以,問題仍是參考高中的資料回應題模式,不過,為了切合學生的能力,教師會把問題「拆細」,先以填充或選擇題形式向學生提問資料的重點;然後以一些半開放性題目,由教師提供線索或答題結構,讓弱生願意嘗試作答;最後以全開放性題目,讓強生感到挑戰性。 當然,凡教學與評估設計都要切合校情方能「落地」。這次分享的設計,教師在思考時自然也有「校本考慮」,當學生能力普遍較薄弱,吃不消太多長題目,教師可向學生提供部分答案選擇或填充,以習慣通識科的提問模式,但亦有一些開放性的題目,讓強生發揮。所以,一份好的試卷沒有一套既定的樣式;但好的設計背後,總一定有好的元素值得參考。 下載全文PDF

Read more