【摘 要】由于漢語(yǔ)言的復(fù)雜性、靈活性,目前對(duì)于主觀性試題的自動(dòng)化智能批改還沒(méi)有獲得實(shí)質(zhì)性突破,該論文改革繁贅的已有思路,提出一種自動(dòng)化批改簡(jiǎn)答題的簡(jiǎn)便實(shí)用思路。用“或”關(guān)系補(bǔ)充關(guān)鍵詞的近義詞,進(jìn)行廣覆蓋的主觀試題判讀方法。以該方法設(shè)計(jì)出的擬題批改軟件系統(tǒng),經(jīng)過(guò)多方使用,取得較好效果。

【關(guān)鍵詞】或關(guān)系 關(guān)鍵詞 主觀題 自動(dòng)化批改

研究背景

當(dāng)前,計(jì)算機(jī)對(duì)單選題、多選、判斷、填空等客觀題的自動(dòng)化批改應(yīng)用已相當(dāng)成熟。但對(duì)于自動(dòng)化批改主觀題,還停留在深入研究階段,主要在人工智能,計(jì)算機(jī)對(duì)人的自然語(yǔ)言理解以及模式識(shí)別方面,沒(méi)有獲得突破。所以主觀題的大批量批改還主要依靠人工。而人工批改存在批改速度慢,教師由于疲勞出現(xiàn)判斷力下降,容易產(chǎn)生人為因素導(dǎo)致的分?jǐn)?shù)偏差。用計(jì)算機(jī)智能化批改,效率高、公平性好、準(zhǔn)確性強(qiáng)。特別適用于大批量的試卷批改,所以,研究對(duì)主觀試題的自動(dòng)化智能批改具有非常廣泛的現(xiàn)實(shí)意義。

國(guó)內(nèi)外研究自動(dòng)化批改主觀題的現(xiàn)狀和存在的問(wèn)題

國(guó)外對(duì)于自動(dòng)化批改主觀題的研究,早于國(guó)內(nèi)。由于英語(yǔ)語(yǔ)言的格式和規(guī)范性好,所以批改英文主觀試題的技術(shù)比較成熟。中文語(yǔ)言的表達(dá)較為復(fù)雜,靈活性強(qiáng),字與字之間無(wú)明顯分割,從國(guó)內(nèi)一些大學(xué)及中科院最新的研究成果看,漢語(yǔ)主觀題的自動(dòng)化批改技術(shù)還不成熟,僅能判讀有限領(lǐng)域的簡(jiǎn)答題,名詞解釋等類試題,且均需大量輸入數(shù)據(jù),先建立詞庫(kù)、語(yǔ)料庫(kù)及答案、得分權(quán)值等,使用操作繁瑣,勞動(dòng)強(qiáng)度大,不易普及應(yīng)用。

研究的思路和方法

鑒于現(xiàn)狀,筆者進(jìn)行過(guò)多次反復(fù)研究對(duì)比,采用了一套比較簡(jiǎn)捷實(shí)用的方法,以解決主觀題自動(dòng)化批改簡(jiǎn)便實(shí)用,易于掌握的問(wèn)題。主要方法如下:

1.脫離開(kāi)銷龐大的詞庫(kù)、詞典,知識(shí)庫(kù)、語(yǔ)料庫(kù)。在實(shí)際中用于中,詞庫(kù)不一定及時(shí)包含新詞或變意詞,另外,中文詞義的歧義性也使得詞庫(kù)中的詞不能完整表達(dá)詞的真意。

2.對(duì)擬題者輸入?yún)⒖即鸢笗r(shí)要求不能太高,應(yīng)容易理解、掌握且方便。

3.通過(guò)對(duì)詞序的分析,能準(zhǔn)確理解短語(yǔ)和整句語(yǔ)義。

4.近義詞與關(guān)鍵詞的貼近度計(jì)算,簡(jiǎn)化為由擬題人員根據(jù)題意及“或”關(guān)系詞的貼近度,設(shè)置批改時(shí)的貼近度系數(shù)。

5.所有的考題要點(diǎn)均為關(guān)鍵詞,也是得分點(diǎn)。一般主要把得分點(diǎn)放在實(shí)詞上,如:名詞、動(dòng)詞(系動(dòng)詞除外)、形容詞等,一般不包括虛詞,一般句子的必要部分必須為關(guān)鍵詞,否定詞必須為關(guān)鍵詞。

主要研究成果

1.試卷界面的設(shè)置

軟件系統(tǒng)的設(shè)計(jì)目標(biāo)是答題狀態(tài)界面與紙質(zhì)界面相同,答案與原題保存在一個(gè)試卷文件中,既利于管理查閱,更便于答題者在答題時(shí)熟悉試題界面盡早進(jìn)入答題狀態(tài)。

每一小題以一對(duì)英文括號(hào)成為一試題,在括號(hào)內(nèi)答題者可任意書(shū)寫(xiě)(一般不超過(guò)300字符),括號(hào)外被鎖定。擬題時(shí)該試題的答案應(yīng)直接書(shū)寫(xiě)在該括號(hào)內(nèi),當(dāng)生成試題后,該括號(hào)內(nèi)為空即成為試題,等待答題者填寫(xiě)。在回答客觀試題時(shí),用鼠標(biāo)單擊字符,然后在括號(hào)內(nèi)的任意位置單擊鼠標(biāo)釋放字符。

2.系統(tǒng)進(jìn)行了綠色設(shè)計(jì)

改進(jìn)了廣域網(wǎng)絡(luò)考試必須建立網(wǎng)站進(jìn)行考試的弊端,不用投入資金和維護(hù)人員,不用軟件安裝,僅利用現(xiàn)有互聯(lián)網(wǎng)就可完成考試和加密試卷的傳送過(guò)程,系統(tǒng)也能滿足在局域網(wǎng)中,一門(mén)或多門(mén)課程的同時(shí)隨機(jī)考試。

3.用“或”關(guān)系詞補(bǔ)充關(guān)鍵詞的近義表達(dá)

(1)關(guān)鍵詞“或”關(guān)系詞的表達(dá)方法。在簡(jiǎn)答題中,以關(guān)鍵詞為得分點(diǎn),關(guān)鍵詞即是考點(diǎn)也是整句不可或缺的詞,它們之間用#號(hào)分割,如句子:

“軸承所承受載荷的大小,方向和性質(zhì)是選擇軸承類型的主要依據(jù)。”此句如果不考慮多種表達(dá)方式的標(biāo)準(zhǔn)答案是(#軸承#承受載荷#大小#方向#性質(zhì)#是#選擇#軸承#主要#依據(jù)#)。

假若用上面的標(biāo)準(zhǔn)答案來(lái)批改考生的答題,會(huì)出現(xiàn)許多考生得分不公的問(wèn)題。因?yàn)椋厦娴摹俺惺茌d荷”考生可用“承載”詞代替,“選擇”可用“選用、選取”等近義詞代替。學(xué)生用近義詞寫(xiě)出答案,應(yīng)該獲得一定的分值,而不應(yīng)無(wú)分。

若考慮到學(xué)生的多種可能表達(dá)寫(xiě)法,用“或”關(guān)系詞(近義詞)的表達(dá),則上句標(biāo)準(zhǔn)答案為:

(#軸承#承受或承擔(dān)或承載#載荷或負(fù)荷#大小方向或方向大小#性質(zhì)#是或作為#選則或選取或選定或選用#軸承#主要或重要#依據(jù)#)。

上例中根據(jù)中文的近義詞,用“或”字表達(dá)考生填寫(xiě)文字可能出現(xiàn)的多種情況,使考生獲得應(yīng)得分。分析中文詞典可知,一個(gè)字詞的“或”關(guān)系近義詞一般不會(huì)超過(guò)四個(gè),在各門(mén)專業(yè)領(lǐng)域能達(dá)到有四個(gè)近義關(guān)系詞的更少。

在這里,要注意的是關(guān)鍵詞之間盡可能連詞表達(dá)。比如:“水下自動(dòng)機(jī)器人”可表達(dá)為:

(#水下自動(dòng)或自動(dòng)水下#機(jī)器人#)。但不能表達(dá)為(#水下或自動(dòng)#自動(dòng)或水下#機(jī)器人#),否則,當(dāng)答題者回答是:“水下機(jī)器人”時(shí),批改的結(jié)果也會(huì)得分,但顯然不能得全分。避免此種情況發(fā)生的辦法是要設(shè)定批改程序有詞序要求(在軟件批改菜單中設(shè)定)。

(2)關(guān)鍵詞、近義詞的分值計(jì)算。系統(tǒng)采用每一個(gè)試題分值由程序自動(dòng)平均分配到該試題答案中的每一個(gè)關(guān)鍵詞上。

對(duì)于關(guān)鍵詞中有“或”關(guān)系表達(dá)的近義詞情況,在軟件設(shè)計(jì)的批改功能中,采用設(shè)置貼近度系數(shù)的方法獲得各近義詞的分值,按“或”關(guān)系詞的遠(yuǎn)近程度,設(shè)四個(gè)分值系數(shù),最大值為1,最小值為0值,1表示按均分原值賦值,0表示不給近義詞賦分值,0.8表示按原分值的80%賦給該近義詞分值。并設(shè)計(jì)了對(duì)于有、無(wú)詞序要求的開(kāi)關(guān)值。貼近度系數(shù)設(shè)置有如下兩種:

①無(wú)詞序要求,不按詞序要求,只要答對(duì)關(guān)鍵詞、近義詞,就可得分,貼近度系數(shù):1,0.8,0.6,0.4,0。②有詞序要求,只有依詞序順序答對(duì),才能得全部分或部分分值,貼近度系數(shù):1,0.8,0.6,0.4,1。以上的系數(shù)值可根據(jù)詞的近義情況重新設(shè)定其值。兩個(gè)詞的相似程度,用貼近度系數(shù)來(lái)衡量,系數(shù)越大,表示兩個(gè)詞越近義,得分越高。設(shè)某題分值為f, 答案中共有n個(gè)關(guān)鍵詞,每個(gè)關(guān)鍵詞分值為f/n,并存“或”關(guān)系詞,該題的總得分值為Z,則 Z= ∑(f/n)﹢∑(f/n)×0.8﹢∑(f/n)×0.6﹢∑(f/n)×0.4,若該試題沒(méi)有“或”關(guān)系詞,則 Z=∑(f/n)。

4.并列填空的填答處理方法

在擬題試卷中用一對(duì)符號(hào)“^”,通過(guò)程序自動(dòng)辨別有、無(wú)順序要求的并列填空。如:某題中有五個(gè)空需要填答,且不管填寫(xiě)順序。則生成試題后的卷面表達(dá)為^( ),( ),( ),( ),( )^。程序暫設(shè)最多可辨認(rèn)8個(gè)并列填空。對(duì)于簡(jiǎn)答題也用此法處理各答題要點(diǎn)無(wú)先后順序要求的情況。

如:^(#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#)

(#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#)

(#xxx或xxxxx#xxx或xxxx或xxxx或xxx#xxxx或xxxxxxx#)^

基于“或”關(guān)系詞覆蓋的自動(dòng)化批改主觀題軟件的使用效果

軟件系統(tǒng)通過(guò)在機(jī)械、電氣、經(jīng)濟(jì)、政治、教師繼續(xù)教育等課程教學(xué)考試中的應(yīng)用,取得了比較好的效果,用戶認(rèn)為使用方便,易于掌握,批改準(zhǔn)確,實(shí)用高效,能夠解決簡(jiǎn)答題的自動(dòng)化批改問(wèn)題。

參考文獻(xiàn):

[1]劉瑞新,李樹(shù)東,萬(wàn)朝陽(yáng).visual basic程序設(shè)計(jì)教程[J].電子工業(yè)出版社,2000,8.

[2]孟愛(ài)國(guó),卜勝賢,李鷹,甘文.一種網(wǎng)絡(luò)考試系統(tǒng)中主觀題自動(dòng)化評(píng)分的算法設(shè)計(jì)與實(shí)踐[J].計(jì)算機(jī)與數(shù)字工程,2005,7(33).