2017年校级教改项目结题验收汇报

基于学习型社区模式的在线课程学习

行为投入、效果评价及优化路径研究

周丹

西北农林科技大学

dandanyi123@hotmail.com

2019-07-03

1 / 37

汇报提纲一、 研究目标二、拟解决的教学问题三、合同预期成果及完成情况四、 研究内容五、特色和创新之处2 / 37

一、研究目标

构建高校学生在线学习行为投入分析模型，构建一套适合农林高校学生在线学习效果评价的指标体系。
通过在线学习数据挖掘和实证分析技术，对上述模型有效性进行实证验证，对在线学习效果进行多期动态评估，全面了解农林高校学生在线学习的决策模式和行为规律。
探索学习型社区模式的培育和发展路径，优化高校学生在线学习体验，提升在线学习质量和学习效果。从技术支持、学习内容和社会交流三个维度实现在线学习的“协作建构”和“交互性学习”，为在线教学改革的思路和方向提供有益参考。

3 / 37

二、拟解决的教学问题

高校学生在线课程学习与传统课程学习难以有效对接、互补与融合。
高校学生在线学习“黏度”不高，自主性、交互性和创新性学习驱动力疲软。

4 / 37

三、合同预期成果及完成情况

合同预期成果：

改进1-2门“远程教学平台”课程在线教学互动，推动在线教学创新和探索。
撰写有针对性的研究报告1份，提交给学校相关机构供参考。

任务完成情况：

项目团队成员进行《统计学原理》和《计量经济学》在线课程平台建设工作，结合项目研究细致分析了在线课程教学互动模式、特点，并提出了很多改进建议。
按要求完成研究报告1份（约3万字）

经费使用情况：

已经执行55%的经费开支

5 / 37

四、 研究内容（一）重要概念与相关理论（二）在线课程学习基本情况分析（三）在线课程选择分化与学习效果的实证分析（四）在线课程评价指标体系设计6 / 37

（一）重要概念与相关理论7 / 37

1. 重要概念

学习投入：是指学习者在学习过程中投入的时间和精力，是学习者在线学习活动表现的状态，包括认知投入、情感投入和行为投入三方面。

学习型社区：是基于学习的组织形式，由教学者、学习者、助学者等共同构成的有机体，成员在教与学过程中形成了协作关系，形成了共同的学习目标和对学习社区的认同感。

2. 学习投入与学习效果的关系

主要受内部影响因素（如个体特征、学习兴趣、学习动机等）和外部影响因素（如硬件、师资、内容、技术、政策等）共同影响。

绩效投入：学生遵循和响应课程规定和教师要求，如阅读资料、提交作业、参加考试等
社会性学习行为：在线交互活动和线下朋辈间交互活动
教育政策支持：课程资源的丰富性与可获得性、政策保障的一致性等

8 / 37

（二）在线课程学习基本情况分析9 / 37

1. 通识课程模块

通识课程模块是学生毕业总学分的重要构成部分，学生毕业往往需要满足本专业的通识课程学分要求。

培养方案中对通识课学分的要求
学院	学科门类	专业名称	2008版学分要求	2014版学分要求
园艺学院	农学	园艺	6	4
动物医学院	农学	动物医学	7	5
经济管理学院	经济学	国际经济与贸易	17.5	5
经济管理学院	经济学	保险学	17.5	5
人文学院	管理学	公共事业管理	8	4
说明：此处只列出了两次培养方案通识课学分差大于2的部分专业。

10 / 37

2. 在线课程学习平台

为了完成通识课程模块学分，学生可以选修传统通识课程，也可以选修在线通识课程。在线通识课程通过两个网络平台承担运行：

尔雅通识课在线教学平台（记为EY）。由超星集团打造的一个在线通识课程教育品牌。2013年秋学期，开始引入并启用。
智慧树通识课在线教学平台（记为ZH）。是上海卓越睿新数码科技有限公司的一个在线通识课程平台，于2016年秋学期，开始引入并启用。

11 / 37

3. 学生群组和样本分布

本研究主要收集了四个入学年份（2013-2016年）共19452名学生在11个连续学期（2013秋学期-2018春学期）上的通识课程学习相关数据。考虑到尔雅在线平台和智慧树在线平台的上线运行时间，以及学生学业完成情况，本研究将全体学生划分为两个群组，其中：

样本群组1为2013年和2014年入学的学生，共计9726人。他们是第一批接触在线课程学分认定的学生，主要通过尔雅在线课程平台学习课程并获得通识课学分。
样本群组2为2015年和2016年入学的学生，共计9671人。因为智慧树在线课程平台同步上线运行，他们开始有更多的在线课程选择机会。同时，也因为2014年培养方案调整和在线课程学分认定管理办法不断修订，他们的在线课程选择决策会变得更加复杂和多样化。

12 / 37

（1）连续变量的样本分布情况：

样本基本情况1
学生分组	连续变量	均值	有效样本数n	有效百分比%
sample1	在线学分数	1.14	9726	100.00%
sample1	高考录取线分差	37.01	9664	99.36%
sample1	传统学分数	4.52	9726	100.00%
sample2	在线学分数	2.55	9671	100.00%
sample2	高考录取线分差	56.44	9368	96.87%
sample2	传统学分数	5.33	9671	100.00%

说明：sample1为入学年份为2013年和2014年的学生；sample2为入学年份为2015年和2016年的学生

13 / 37

（2）类别变量的样本分布情况：

样本基本情况2
学生分组	离散变量	取值	有效样本数n	有效百分比%
sample1	性别	男	4909	50.473%
sample1	性别	女	4817	49.527%
sample1	生源地	东北	454	4.7%
sample1	生源地	东部	2014	20.7%
sample1	生源地	西部	5218	53.7%
sample1	生源地	中部	2040	21.0%
sample1	户籍类型	城镇	5296	54.45%
sample1	户籍类型	农村	4430	45.55%
sample2	性别	男	4995	51.65%
sample2	性别	女	4676	48.35%

Showing 1 to 10 of 16 entries

Previous1 2Next

14 / 37

4. 学生通识课程学分获得情况分析1

学生累计获得通识课程学分情况：4年累计的最终通识课程总学分大部分在5-7学分之间，其中大部分学生在第二个年度就会完成5-6分的目标。

15 / 37

4. 学生通识课程学分获得情况分析2

学生获得传统课程学分：大部分学生在大一、大二阶段获得基本的传统课学分，随后的学业阶段多是课程的兴趣选择和学分的择机补足。

16 / 37

4. 学生通识课程学分获得情况分析3

学生获得在线课程学分：在线课程并没有成为学生通识课选择的主要构成，学生大部分只会在各学业阶段选择1-2门在线课程。

17 / 37

5. 尔雅平台与智慧树平台的选课情况

学生不会因为“新奇”心理而参加在线课程平台（无论是智慧树平台还是尔雅平台），更多只是为了完成通识课学分要求。
学生的学习行为表现出典型的“理性人”特点，即便是同时拥有两个在线课程平台的选择自由，学生的选课决策和学习行为更多地是受到学分政策、平台依赖性等因素的决定。

说明：具体选课分布表见下一页slide！

18 / 37

两个在线课程平台的选课人次分布
学生群组	在线课程平台	年份	学期	选课人数
样本1	尔雅	2013	秋	973
样本1	尔雅	2014	春	1537
样本1	尔雅	2014	秋	2811
样本1	尔雅	2015	春	2213
样本1	尔雅	2015	秋	4582
样本1	尔雅	2016	春	904
样本1	尔雅	2016	秋	453
样本1	尔雅	2017	春	295
样本1	尔雅	2017	秋	115
样本2	尔雅	2015	秋	9320

Showing 1 to 10 of 18 entries

Previous1 2Next

说明：考虑在线平台启用时间的不同，智慧树平台只统计样本2学生的选课记录。

19 / 37

（三）在线课程选择分化与学习效果的实证分析20 / 37

1. 分析方法和过程

倾向得分分析（propensity score analysis, PSA）方法，作为效果评估的常用工具，能把观察性样本数据，处理成随机实验等效的样本数据（考虑到学生潜在可能选择传统课程并获得可能的课程成绩），从而减弱了样本自选择引起的模型内生性问题。

倾向得分分析（PSM）的四个步骤为：

采用logit模型计算倾向得分。以二值变量“是否选择在线课程”（treat）作为因变量建模。
倾向得分样本匹配。采用特定匹配算法（本文为full）匹配选择在线课程的学生样本和选择传统课程的学生样本，并对多个协变量（如高考分数、性别、生源地等）进行匹配平衡。
利用匹配样本进行多元回归分析。以课程成绩为因变量构建多元回归模型。
利用多元回归分析结果，计算两类处置效应：平均处置效应（ATE）和处置后的平均处置效应（ATT）。

21 / 37

2. 数据和变量说明1

这一部分的实证数据为2013年和2014年入学的总计10331名学生，因为在数据统计期内（2013年秋学期-2018年春学期）他们都已经毕业离校，能更好地对课程形式选择和学习成绩做综合比对。

定量变量的描述性统计n= 10331
变量	定义	均值	标准差
age_enroll	入学年龄	18.5643	0.9474
n_course	选修课程数	4.3249	3.9506
score	课程成绩	74.2489	14.4397
score_diff	高考分数与录取线分数差值	37.0504	36.7519

22 / 37

2. 数据和变量说明2

定性变量的描述性统计n= 10331
变量及取值	定义	样本数	百分比
treat=0	选择传统课程	5078	49.2%
treat=1	选择在线课程	5253	50.8%
province=east	东部地区	2579	25.0%
province=west	西部地区	5540	53.6%
province=mid	中部地区	2212	21.4%
diploma=grad	正常毕业	9694	93.8%
diploma=fail	肄业或不能毕业	637	6.2%
role=sci	理科生	9643	93.3%

Showing 1 to 8 of 20 entries

Previous1 2 3Next

23 / 37

3. 成绩均值的群组比较

在课程方式（在线课程、传统课程）分组情形下，大部分变量下都表现出显著的分组均值差异。

分组情形下协变量均值差异的t检验
变量	传统课程	在线课程	t值	显著性
score	73.8340(9.9152)	74.6499(17.7410)	-2.90	***
score_diff	38.3026(33.6706)	35.8398(39.4682)	3.42	***
age_enroll	18.5707(0.9717)	18.5582(0.9233)	0.67
province_east	0.2424(0.4286)	0.2566(0.4368)	-1.67	*
role_sci	0.9403(0.2369)	0.9267(0.2606)	2.78	***
nation_han	0.9061(0.2918)	0.9225(0.2674)	-2.99	***
politic_CPM	0.1835(0.3871)	0.1500(0.3571)	4.57	***
habitat_rural	0.4728(0.4993)	0.4253(0.4944)	4.86	***

Showing 1 to 8 of 10 entries

Previous1 2Next

说明：括号内数字表示标准差； $^{\ast\ast\ast}$ 表示极显著、 $^{\ast\ast}$ 表示比较显著、 $^{\ast}$ 表示显著

24 / 37

4. 步骤1：logit模型估计倾向得分

倾向得分的二分类logit模型简要结论如下：

高考分数与一本录取线分差越大、入学年龄越大、理科生、政治面貌为党员、来自农村地区、女生，越不倾向于选择在线课程；
学生更倾向于认为在线课程和传统课程学习形式在学习决策中具有较强的替代性关系。

说明：具体实证结果见后3页slide

25 / 37

（1）是否选择在线课程（treat）的倾向得分logit模型估计结果如下：

变量X	回归系数b	Z统计量	显著性	发生比
(Intercept)	1.384	2.771	***	3.989
score_diff	-0.002	-3.936	***	0.998
age_enroll	-0.041	-1.668	*	0.960
province_east	0.037	0.777		1.037
role_sci	-0.334	-4.070	***	0.716
nation_han	0.292	3.841	***	1.339
politic_CPM	-0.147	-2.700	***	0.863
habitat_rural	-0.224	-5.379	***	0.799
batch_cur	-0.024	-0.392		0.976
gender_female	-0.662	-16.114	***	0.516

说明：因变量为；发生比表示选择在线课程与选择传统课程的概率比；拟合优度指标中麦克法登伪 $R^2$ 值为0.0240；模型预测正确率为58.1%。

26 / 37

（2）倾向得分的二分类logit模型的概率分布对比

27 / 37

5. 步骤2：倾向得分匹配

匹配算法：采用R包MatchIt中的一种全局性匹配算法full进行完全样本匹配。也即：把处置条件不同（选择在线课程，或者选择传统课程）、但倾向得分相近的样本做完全配对。
匹配平衡：如果样本匹配较好，那么处置组和控制组将会在每一个协变量上都具有相同的倾向得分值。
匹配结果：对匹配后的样本数据做分组均值差异的t检验分析，进一步表明配对样本协变量均值是无差异的，也即样本在协变量上是平衡的。而且匹配后的样本数据（总数为10331）在大部分协变量平衡上的有了明显改善。

说明：匹配样本数据此处不再展示；匹配改善分析表见下一页slide！

28 / 37

倾向得分匹配后样本在协变量平衡上的改善情况
变量	均值差改善百分比%	QQ图均值差改善百分比%
distance	99.9%	96%
score_diff	53.3%	1%
age_enroll	9.8%	-141%
province_east	66.5%	10%
role_sci	64.1%	1%
nation_han	83.1%	80%
politic_CPM	78.5%	82%
habitat_rural	98.5%	90%
batch_cur	41.8%	-18%
gender_female	98.2%	99%

说明：Q-Q图差异对比指标还有中位数、极大值等，因为自变量多为虚拟变量，故此处仅使用均值指标。

29 / 37

6. 步骤3：学习成绩的多元回归分析

课程成绩多元回归模型的简要结论如下（具体结果见下一页slide）：

作为最关心的重要变量，是否选择在线课程（处置条件treat）对课程成绩有显著正向影响。如果某个学生选择在线课程，则会比其选择传统课程高1.521分。
高考分数与录取线的分差（socre-diff）对课程学习成绩有显著正向影响，其系数为0.021。如果一个学生高考分数与录取线（本省一本）的分差35分，那么这一分差水平将会为其带来课程成绩0.741分的提高。
是否为理科生（role_sci）表现出显著负向影响作用，意味着一个理科生相比于一个文科生，其课程成绩要相对少-1.757分。
政治面貌为共产党员的学生（politic_CMP）成绩显著要高于其他情形（共青团员或群众），相比其他情形（共青团员或群众）其课程成绩要显著高出2.651分。
来自农村的学生（habitat_rural），其课程成绩要显著好于来自城镇的学生，平均约高出1.351分。 女性学生（gender_female），其课程成绩要显著好于男性学生，平均约高出3.418分。
学生入学年龄（age_roll）、是否是东部省区（province_east）、是否是汉族（nation_han）、是否为应届生（batch_cur）对课程成绩没有显著影响，这与大多数相关研究的结论基本一致。

30 / 37

学习成绩（score）的多元回归模型估计结果
变量	回归系数b	t统计量	显著性
(Intercept)	72.8541	20.8043	***
treat	1.5205	5.3328	***
score_diff	0.0212	5.2166	***
age_enroll	-0.0921	-0.5395
province_east	0.4218	1.2784
role_sci	-1.7569	-3.0668	***
nation_han	0.0970	0.1830
politic_CPM	2.6511	6.9357	***
habitat_rural	1.3510	4.6272	***
batch_cur	0.3107	0.7186
gender_female	3.4179	11.7502	***

说明：调整判定系数为 $\bar{R^2}=0.0264$ ；模型整体显著性F检验结果为 $F^{\ast}=29.06$ 。 $^{\ast\ast\ast}$ 表示极显著、 $^{\ast\ast}$ 表示比较显著、 $^{\ast}$ 表示显著

31 / 37

7. 步骤4：计算处置效应

处置效应主要用于分析选择在线课程带来的潜在影响，主要结论如下：

男生的在线课成绩会潜在低于其传统课程成绩；高考分数与录取线分差小的学生、来自城镇的学生、非东部生源学生，这三类群体在线课程成绩都会潜在高于其传统课程成绩。
如果能够自由选择在线课程，那么选择在线课程确实能够提高这些学生课程成绩（因为ATT计算结果为正数）；
因为学生能选择在线课程，这反而会拉低全体学生的平均课程成绩（因为ATE计算结果为负数）。
在线课程学习一方面可以成为某些学生群体（如能充分利用在线课程时空便利性等学生群体）的“成绩刷分器”——确实可以提高其课程成绩（ATT效应）；另一方面也成为某些学生群体（如高考录取分差小或/且男性学生群体）的“心理庇护所”——看似更自由学习形式背后可能潜藏更高的低成绩风险。

说明：处置效应的计算出此处不再展示；最终计算结果表见下两页slide！

32 / 37

（1）四类典型群体的学习成绩与基准群体的差异比较：

几类典型群体的学习成绩（与基准组对比）
群组命名	群组特征	传统课程	在线课程	均值差
男性群体	treat=1;gender_female=0	78.38	76.48	-1.9024
高考分差低的群体	treat=1;score_diff=5	78.37	79.23	0.8587
城镇群体	treat=1;habitat_rural=0	78.37	78.53	0.1639
非东部生源群体	treat=1;province_east=0	78.37	79.47	1.1038

说明：给定基准群体为：选择传统课程、入学年龄为19岁、入学录取分差为36分、生源地为东部省份、理科生、汉族、共产党员、户籍为农村、应届、女生。也即：treat=0；age_enroll=19；score_diff=36；province_east=1；role_sci=1；nation_han=1；politic_CPM=1；habitat_rural=1；batch_cur=1；gender_female=1

33 / 37

（2）处置效应ATE和ATT计算表

处置后的平均处置效应（ATT）：是“学生实际选择在线课程的平均效应”。它能回答：实际选择在线课程的学生群体平均收益水平是多少？
平均处置效应（ATE）：是“对课程选择行为做出矫正后的平均效应”。它能回答：在线课程选择存在的条件下，全体学生平均收益水平是多少？

处置效应ATE和ATT计算表
	处置条件均值mean				置信水平
效应类型	在线课程	传统课程	效应值TE	标准误se	2.5%	97.5%
ATE	73.8	74.7	-0.411	0.457	73.6	75.1
ATT	73.8	73.7	0.081	6.851	58.0	90.0
说明： ATE和ATT根据模型估计结果并采用bootstrap迭代法进行1000次模拟计算得到。

34 / 37

（四）在线课程评价指标体系设计

一级指标	二级指标	三级指标
课程内容与设计	内容设计	课程设计合理，教学目标和重点明确，课程难易程度适当。
课程内容与设计	教学组织	您认为该课程教学组织形式得当，授课时长设置安排合理、课程小测验和课后作业布置适量。
课程内容与设计	内容获得感	授课内容精彩，您能掌握课程内容。
教师水平	专业能力	教师学识渊博，教学水平高。
教师水平	讲授能力	教师讲课条理清楚、通俗易懂，讲课表现力强，很吸引人，您学习时能保持注意力。

Showing 1 to 5 of 18 entries

Previous1 2 3 4Next

35 / 37

五、特色和创新之处

本研究利用大数据技术进行学习行为的数据挖掘、建模和实证分析，充分发挥教学实践中海量“沉默数据”、“孤岛数据”的社会价值，通过团队协作，有效地实现了“数据资源与分析能力”的创新整合。在研究工作范式上，对于教学改革研究实践具有一定启发意义。
采用倾向得分分析法来论述学习行为与学习效果的因果关系，避免简单回归分析法中普遍存在的选择偏误和内生性问题，有利于得到更为客观的结论。这一方法框架还可以进一步加以扩展应用，并作出更全面的分析，潜在理论价值较大。
本研究的主要结论中，重点指出在线课程可能会潜在带来学生整体学习效果的弱化。这一结论对于在线课程平台提供商市场开发、高校在线课程学分认定及相关政策制订等，具有重要的应用参考价值。

36 / 37

汇报完毕37 / 37

↑, ←, Pg Up, k	Go to previous slide
↓, →, Pg Dn, Space, j	Go to next slide
Home	Go to first slide
End	Go to last slide
Number + Return	Go to specific slide
b / m / f	Toggle blackout / mirrored / fullscreen mode
c	Clone slideshow
p	Toggle presenter mode
t	Restart the presentation timer
?, h	Toggle this help

基于学习型社区模式的在线课程学习

行为投入、效果评价及优化路径研究

周丹

西北农林科技大学

dandanyi123@hotmail.com

2019-07-03

汇报提纲