在线写作自动评价系统对写作能力的影响
在线写作自动评价系统对写作能力的影响 摘要：目前在中国，各种写作自动评价系统逐渐被各大 高校所接受，并被广泛应用于大学英语写作教学中。本文以 在线写作自动评价系统――句酷批改网为工具，根据写作水 平将学生分为高低两组，研究其对这两组学生英语写作能力 的作用和影响。结果表明：在批改网的帮助下，低水平学生 写作成绩提升幅度远远大于高水平组学生。关键词：作文自动评价系统；
英语写作教学；
不同水平 学生 一、研究背景 从20世纪70年代起，计算机辅助教学开始出现在教育领 域，其中计算机辅助语言学习在外语教学中的作用越来越受 到人们的关注，并对外语教学起到了极大的促进作用(葛诗 利，2008)。鉴于我国高校大学生人数迅速增长和教育资源 的相对缺乏，早在2007年教育部发布的《大写英语课程要求》 里面就指出，高校应当大量使用先进的信息技术，充分利用 多媒体、网络技术发展带来的契机，采用以网络技术为代表 的，以现代信息技术为支撑的新的教学模式。写作能力是英 语语言能力的重要组成部分，着重体现了学生综合运用语言 能力，也是评价学习最有用的工具之一。虽然大学英语教学 大纲对大学生的书面表达能力提出了更高要求，但是，近年 来的研究发现，不同学历的四、六级考生的各分项得分率最 低的均为写作(唐锦兰&吴一安，2011)。这从一个侧面反映出我国目前大部分高校确立的英语教学目标是强调以听说 能力为主，在一定程度上导致教师忽略了英语写作的教学重 要性。同时，基于传统课堂的写作教学模式中，学生英语写 作过程中所处地位较为被动。在传统课堂上，学生写作过程 一般为：教师布置写作任务→学生接受写作任务→教师批改 写作任务→学生得到成绩。而大学英语一般为大班教学，教 师教学任务繁重程度不言而喻，教师布置英语作文的作业量 远远达不到学生应该保证的训练量。加之批改作文耗时耗力， 作文的批改很容易流于形式，学生得不到及时有效的反馈， 也得不到反复修改的机会。这些因素综合起来，导致学生写 作积极性不高，写作水平提高缓慢，甚至不升反降。随着以 计算机和互联网技术为代表的新技术的发展成熟，自动语言 处理系统有了长足进步，出现了以互联网为平台的在线写作 自动评价系统，即：用计算机技术对英语作文进行评估和计 分的系统(Shermis＆Burstein,2003)。其工作原理是通过对 比学生作文和标准语料库之间的距离，并通过一定的算法将 之映射成分数。具体体现为利用专业化的计算机程序依据有 效性、公正性和可靠性可以对教学中的作文文本特征进行评 估与记分(Chung＆Baker，2003)。在传统作文写作教学过程 中引入在线作文自动评价系统，不论对教师还是学生，均具 有重要作用。从学生角度看，学生写作可以得到即时反馈， 通过对比自身作文与标准语料间的差别，不断进行自我修正， 最终从“要我写”转变成“我要写”；
就教师而言，通过计算机的即时评分，教师可以不再纠缠于简单词汇或者低级语 法纠错，而从这些琐碎的作文批改活动中解放出来的教师， 更加可以集中精力在课堂上对学生进行更深入的讲解和讨 论。因此，如何将在线自动评价系统整合到实际的大学英语 写作教学中成为一个亟需探索的新课题。
二、研究设计 1.研究综述 目前，虽然越来越多的学者开始关注在线写作自动评价 系统与大学英语写作教学之间的关系，但其研究主要集中在 两个方面:一是这种系统对写作能力影响的研究;二是其在 教学课堂中应用过程和结果的研究(黄绍莹，2015)。而最常 见的研究方法，就是通过设置实验班与对照班，采用前测后 测对比成绩的方式。而实验结果一般为通过使用自动评价系 统，学生写作成绩要高于未使用的学生。也有学者将学生按 照写作水平分组，探讨系统如何影响不同写作水平学生。如 杨玲(2013)在《作文自动评价系统在高水平学生英语写作学 习中的应用》一文中，探究写作自动评价系统 WritingRoadmap2.0(WRM)在高水平学生英语写作能力训练 中的应用。她认为，WRM系统可能对低年级学生的写作训练 更有帮助，但对高水平学生作用不够显著。而黄绍莹(2015) 将研究对象分为高低水平两组，探究句酷批改网对两组被试 写作能力的影响。结果表明:句酷对两组被试的英语写作能 力产生了不同的影响。2.研究工具 国外知名的作文自动评价系统包括以 PEG(ProjectEssayGrade)、 IEA(IntelligentEssayAssessor)和E-rater为代表的十余 种。其中，PEG重语言形式，IEA重作文内容，E-rater则既 重形式又重内容(梁茂成,文秋芳)，而在线作文评价系统则 包含Criterion(criterion.ets.org)、WriteToLearn()以及 WritingRoadMap(等(汪阳，2016)。但这些自动评改系统多 适用于以英语为母语的写作评估与反馈，对中国学生的英文 写作适用性并不是很强(唐锦兰,吴一安)。在线英语写作自 动评价系统应用研究述评。而在中国，目前使用最广的系统 为“句酷批改网”(以下简称“批改网”)。它是北京词网科 技有限公司研发的以语料库和云计算技术为基础，通过分析 学生作文和标准语料库之间的距离对学生的英语书面作文 进行即时评分并提供改善建议和内容分析结果的在线自动 作文批改系统。目前，已经有包括清华大学、南京大学、复 旦大学、上海交大、台湾大学在内的将近1000家高校在使用 批改网的服务(批改网网站)。笔者所在学校也于2016年获得 批改网使用权限，因此，本文的研究使用的工具就选定为批 改网。
3.研究过程与数据 本研究对象为笔者所在大学教育科学学院2015级小学 教育(理)和学前教育专业两个班级学生。两班学生成绩相当，且均在大一第一学期学习了英语写作课程。本研究于2016年 3月开始，为期一学期，共16个教学周。两班在实验开始前， 均在批改网上参加了难度为大学英语四级水平的写作前测， 旨在了解学生在使用批改网前的英语写作水平，用于和后测 实验进行对比分析。前测结果如下：根据前测结果，我们可 以取67.5为分界，将学生划分为高低两组。此后，两班学生 在为期16周的教学实验中，均按照教师要求在批改网上完成 了5篇写作任务，且这5篇写作任务都跟所学单元内容相关。
学生写完在线提交作文后，可以根据批改网的反馈进行不限 次数修改，直到达到自己满意的分数。利用批改网进行写作 训练一个学期后,学生参加了写作后测，将高低组学生的前 后测成绩录入SPSS17.0系统，采用的分析方法有描述性统计 和T检验等。结果如下：表2表3表明高水平组学生M值(前测 作文=73.41,后测作文=79.769,增长6.359)表明实验后高水 平组写作得到了提高。而配对样本T检验进一步证实了这一 结果：(t=-7.443，df=38，p=.000,即Sig<.01)提升效果非 常显著。而低水平组学生M值(前测作文=61.99,后测作文 =77.462,增长15.475)和配对样本T检验数据(t=-13.1756， df=39，p=.000,即Sig<.01)表明低水平组学生写作成绩也得 到了极大提升。虽然高低水平组学生的成绩都有提升，但从 成绩提升幅度上比较，低水平学生组(前后测M值提升为 15.475)较高水平组(M值提升为6.359)提升幅度更大。这个 结果可以从作文前测成绩前十名学生和后十名学生的成绩平均成绩提升值得到印证：从上表我们可以看出，作文前测 成绩前十名的学生在后测中平均成绩也有小幅提高,由 76.90分提升到80.20分,提升幅度为3.3分。但前测成绩最后 十名学生均分则由59.45分提升到76.10分，提升幅度为 16.65分。两组对比可以发现，成绩低的组别在使用批改网 一学期后成绩提升幅度更大。
4.实验结果讨论 从以上结果我们可以看出，与前人研究结果相同，本研 究中低水平组学生写作水平得到显著性提高，原因主要是通 过使用批改网，低水平组学生可以根据批改网反馈的单词拼 写和标点运用等语言表层结构方面的问题，进行不断修正， 即：批改网系统可以帮助他们注意语法错误，不断进行修正 后，这些学生可以将语言输入转化为语言吸收，从而提升语 言能力发展。反观参加本研究的高水平组学生，其整体写作 能力也有显著性提高，这似乎与前人研究结果不同(Chen＆ Cheng，2008；
黄绍莹，2015)。出现这种情况的原因，主要 是笔者所在的大学地处贵州省，且为新升本科院校，学生英 语水平与全国其他地方相比整体较低。因此，参与本研究的 高水平组学生写作水平，可能只相当于其他研究中等甚至低 水平组学生，达不到高水平学生的标准。因此使用批改网一 个学期后，他们的成绩也得到显著性提高。高低两组学生成 绩虽然都有提高，但是高水平组成绩提高程度明显低于低水 平组，这也在一个侧面反映出，水平较高的学生因为起点高，在完善了单词拼写，语法错误等语言表层问题后，因为批改 网无法从思想内容、组织架构等方面对作文进行反馈，所以 当学生作文达到一定高的水平后，批改网无法起到指导学生 的作用。因此，学生分数提升不明显。所以一学期下来，高 水平组学生整体没有低水平组学生成绩提高显著。
三、结语 本研究以句酷批改网为例，通过实证研究探讨在线写作 自动评价系统对不同写作水平的学生会产生何种影响。结果 显示，通过使用这种系统，高低两组学生的成绩均有显著性 提高，且写作能力越弱的学生，提高程度越明显。由于条件 制约，除了研究时间较短，实验对象数量较少外，本研究也 存在以下局限性：1.由于本实验是基于国内开发的句酷批改 网，因此得出的结论并不适用于其他国外开发的写作自动评 价系统。2.实验对象选取的高校学生地处，这些学生并不一 定代表国内其他高校学生，因此实验结果的普遍性有待进一 步深入探究。