访谈芝加哥大学博士、一起作业数据科学家冯俊晨
- 已编辑
junchen 这位少侠果然骨骼惊奇。一指头就把我的想法戳了个大洞，我当时还特意给装上了防火墙（括号“需要一定的人力监督”）。你说的非智力因素的确也有相当大的决定性作用，即使哪里不会点哪里，首先也得走到“哪里不会”这一步。
“行为流”听起来很吸引我，虽然我感觉如何去量化行为听起来好像有点棘手。我很少打游戏，也不太懂王者农药里的协作什么的。这东西更多是定量记录一些指标，还是有活人在一旁观看游戏去定性评估？
我最喜欢看的一个人的状态就是因为什么挑战睡不着觉（我最巅峰的状态只是睡觉时迷迷糊糊还在想一个问题）。看来上次前年在奥马哈咱们一顿饭的工夫还是扯得不够，你这脑子里非常有料。
说到把学习和游戏结合起来，你给的文献我由于时间关系没仔细看，但立刻让我想起《娱乐至死》里面第二部分第 10 章《教学是一种娱乐活动》，我是倾向于认同作者的观点的，即：这是个糟糕的主意。我觉得游戏和娱乐已经大幅修改了我们的大脑了，再让它们来祸害教育的话，即使表面上有智力提高的迹象，但实际上是饮鸩止渴。人会变得为了寻求（虚拟）奖励而去做一件事。就像社交媒体虽然表面加速了人与人之间的连接，但实际上也改造了现实中人与人的交往方式（路上遇到个朋友，感觉不过如此；而微信图标上弹出一个红色的数字，就会让人焦躁难耐要去戳开）。实际上这也回到你最前面说的智力能力和非智力能力问题了，我觉得提高教育效率的同时应该注意维护心理、情商的发育。可能是我杞人忧天。
我双手赞同把研究重心从学习结果转向学习过程的做法，教育的最终产物如果只是卷面分数的话，我觉得是很可悲的。我也很佩服你说的“教育不赚块钱”的理念。风险投资与创业公司之间的矛盾，我在敝厂也略有感触：RStudio 诚心热爱开源事业，所以一直抵抗并将长期抵抗风投，这个挺难得也挺难的。看对面那家同样捣鼓 R 的，捣鼓了几年就抱大腿去了。
junchen 投机考北大就能考上，那也是蛮厉害的。我要是投机选文科，估计现在从蓝翔毕业好些年在什么地方光着膀子开挖掘机。同样跟你相反，我在讲故事方面弱到爆，让我看一个故事复述出来比登天还难（我还记得我本科有个同学看了《活着》给我从头到尾复述了一遍故事情节，当时我就震惊了，至今印象深刻）。你是被计量经济学吸引到定量分析领域的，那你现在能不能回头扯一扯自己在计量方面的心路历程？（我在搬板凳等你吐槽，你懂的）
yihui 我个人不觉得学习会是一个快乐的事情，也不觉得学习是个游戏。学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。
这里需要辨明的概念是短期反馈和长期激励。练习的反馈的确是要越短越好，但是驱使学生坚持练习的一定是长期激励。长期激励很难靠游戏化来维护，不论数值体系做的如何牛逼。游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。这又是另一个大话题，咱不表。
noncognitive skill的贡献现在还处于比较初级的阶段，但是有很强的证据表明它和cognitive skill一样重要。所以现在教育部搞得啥子核心素养，大方向的确是对的，但是具体落实下来做什么，怎么做，就不忍直视。我们事实上不太知道grit这玩意怎么培养。现在大致的观察是，爸妈grit，娃也grit。这里面多少是基因，多少是熏陶，现在还有很多争论。
- 已编辑
都插不上话，就补充一点点，我印象中，流利说还是有一些技术文档流出来的，比如《『英语流利说』移动端深度神经网络优化》，我认识一个流利说的工程师 @xitike，在微博上也时常会提及流利说的一些技术细节。
- 已编辑
yihui 我大三时初接触计量，最大的震撼是通过抽样在群体层面上验证因果关系实在是太厉害了。这与历史学以及政治学主要依靠案例研究（aka讲故事）来做因果有很大区别。老朱是做时序计量的，所以当时讲到Granger causality时我简直想献出自己的膝盖。到了芝加哥大学，我又系统学习了在截面数据里怎么做因果检验的一系列技术（我的恩师Robert Ralonde是通过随机控制实验进行因果检验的新浪潮的始作俑者之一）。所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。
就在那个时候（2011），我开始接触machine learning。在统计系和计算机系蹭课时我遇到了一个困难：我无法给非计量经济学背景的人讲明白啥叫工具变量（instrucmental variable）。这促使我反思，计量里面的这些技术，到底是屠龙宝刀，还是杀鸡牛刀。这个反思让我意识到一个非常可怕的问题，那就是整个计量经济学事实上是建立在对于一个看不见的变量（aka epsilon）的结构假定上的。大家吵来吵去，颇似当年基督经学里一个指头上能站四个天使还是五个天使的辩论。所以计量经济学（即使不考虑所有regression torture的技巧）也是一个比讲故事的学科，只不过这个故事是用数学符号和程序代码写成的，而历史学和政治学是靠自然语言写成的。
当然学计量经济学也不是没有收获。计量在抽象建模上还是很有两把刷子的（与machine learning相比）。不是所有问题都可以通过调库和调参解决的。All models are wrong, but some are useful.
碰巧这个时候，我恩师的身体从不佳变成了病危，他也没空管我了。在我mentor的影响下，我开始努力用数据去描述和解决现实问题，而不纠结于这事儿是不是在计量上离经叛道。然后我就选择了教育数据这个领域。
- 已编辑
yuanyuan 赞，我回头关注一下神牛gogo。
流利说和猿辅导在deep learning上都很有建树。流利说将之用在语言识别上，猿辅导将之用在画面识别上。这两个应用场景是非常明确的。
但是我关心和好奇的是，他们是怎么把这些技术用在教学推荐上的。流利说的AI老师是怎么实现教学逻辑的（我印象中有个PR稿上说他们用的是genetic algorithm，但是具体怎么用我想不明白），它的实际教学效果怎么样。在这方面，大家都语焉不详。有些内部的小道消息，我也不方便说。我能说的是，他们PR吹得有点过。
说到这个问题，我想吐槽一下国内做教育数据挖掘的环境。许多公司不愿意交流。但是大家面临的问题非常类似，目前的解决方案也非常类似。有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。
当然，不沟通不交流也是toVC toPE的商业模式的恶果之一。说到底，他们的首要任务是为股东赚钱，而不是为人类留下教育遗产。无可厚非但是也非常可惜。
junchen 哈哈，太精彩了，非常有收获！?
- 已编辑
junchen 作为一个闯入教育行业未满一年又跑路的同学，内心深感惭愧，毕竟也曾激动有睡不着觉的时候，也曾对教育领域充满激情。不过后续确实感觉VC模式下的Ed tech公司做的很多事情都感觉是在教育领域盲人摸象，摸到教育一个好做的点就赶紧搞，并想法设法挣钱，比如做题库、做某类应试测评，实际应用技术也都很粗糙，英语流利说我记得还说用过RNN，估摸可能是Deep Knowledge Tracing，真用的效果如何也不知道。国内教育数据环境交流少，估约是起步晚，dirty work太多，数据质量好的少，业务、技术和数据成体系的少导致吧?，交流氛围还没法活跃起来。p.s. 另外感觉学霸君技术也挺好。
问junchen一个问题，为何留在17作业呢？17作业也在做题库，做辅导啊？? 感觉上述你对教育的想法的也许在某个创新学校可能更有可能实现，只是在学校不好规模化，操作会比较复杂，但教育路径会更完整
junchen 学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。
我看你经常收集心灵蛋花汤，看来很有效果，现在随便一出手，蛋花汤就是一盆一盆的。
junchen 游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。
嗯，这一点我倒是没有考虑到，是个非常有意思的思路。
junchen 所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。
谢谢分享你的经历，这正是我想挖的东西：我想听的不是一个人好像一夜之间就成就了一套思想，而是否定之否定的过程。我觉得你这慷慨之志是学术界最可爱的状态。
junchen 有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。
拍案！我只能学查理芒格对巴菲特提问了：“你还能讲得比这更好吗？”（巴菲特：“当然。请给这位先生来点花生糖。”）
gaotao 如果游戏真的如你所说，能让人感受美和目标，而不是寻求心理刺激，那我双手赞成这种模式。将来人类会不会进入楚门的世界（或无限月读），我觉得很难讲哎。
gaotao 这两个礼拜忙上线，没有及时来灌水。我来展开说说教育领域里数据分析的两种做法。
第一种做法是技术驱动。
学习数据狭义的说是学习结果的数据（例如题做对没有，视频看完没有），广义的说，是学习行为的数据（例如看视频时的click stream）。
这个方向里，涉及学习结果的数据分析源远流长，毕竟我们收集考试结果数据已经很久了。这个方向所用的模型（item response model和bayesian knowledge tracing）高度专业化和成熟，但是模型的应用场景仅限于终结性测评（现在一些所谓的黑科技其实是对于这些模型的误用）。测评业务对于大部分教育公司的价值是有限的。
涉及学习行为的数据是最近才发展为显学。一方面是行为数据的数量和复杂度在爆炸性增长，另一方面是因为在其他领域有成熟应用的技术可以直接套用（例如涉及转化率的一系列打点和追踪技术）。这个领域目前还属于蛮荒西部，野蛮生长的阶段。我觉得一般社招的“数据科学家”最适合做这个方向的工作。提高留存和黏性，对于大部分公司来说是真金白银；对于大部分用户而言，在学习app上多花时间，至少不会变笨（Duolingo CEO语）
基于这两个基础数据，再往上做一些推荐也可以，但是目前我觉得这个方向贡献不会很大。
第二种做法是打好辅助位，为教研（和产品）赋能。教育说到底是内容和教学创新的竞争。但是遗憾的是，长久以来，教研创新的检验标准并不是真实的学习效果，而是比谁资历深，比谁故事圆。通过设计良好的AB Test，可以帮助教研更好地开发内容，如果教研牛逼，还能帮他们开发教学理论。设想Google Analytics的教育版，老师都可以通过一个平台来提交新的内容更新，平台分发流量进行实验，然后告诉老师你的内容是否真的提高了某些教学指标（例如短期记忆留存，学生完成率etc）。这样去伪存真，日积月累，应该可以获得一个质量非常高的教学内容库，这是战略级的竞争优势。虽然在教育领域里做线上实验比广告click转化要复杂很多（最大的问题是非即时实验下的样本选择性流失），但是可为的空间很大。
虽然我本人非常看好第二种模式，但是这种模式的执行需要比较多的“人和”。
第一，数据科学家不能立足于“我来改造教育，拯救你们这群傻逼”。很多人进入教育行业，大谈颠覆，事儿还没做先把关系搞僵了，不智。
第二，教研也不能抱残守缺，总把自己积累的个人经验当做颠扑不破的真理。try often and fail quickly，快速迭代需要有实证主义的谦卑，这和老师的“权威”地位与冲突。我遇到太多的情况，教研打心底里觉得做数据（以及做产品）的懂啥教学，跟我吵个啥。我以前曾经和我们公司的总教研说，你对于教学的理解可能40%是错误，我对于教学的理解可能70%的错的，但是要命的是，我们不知道自己哪部分是错的。所以就某个具体问题，不能听你的，也不能听我的，得听数据的。
当然，教育公司里还有很多BI分析的业务，我就不一而足了。
总结一下，数据分析在教育领域里面想象空间不小，但是真正落地开花的很少（在我看来还没有）。作为这个领域的先行者，趟出一个切实可行的，兼具教学价值和商业价值的数据分析应用场景，是最重要的事情。但年Google带火了ad optimization，amazon带火了collaborative filtering，这才是我辈应该搞的大新闻。为了搞这个大新闻，得多交流，这不是一个零和博弈，而是一个正和博弈。
gaotao 首先，我同意你的判断。做真正有意义的游戏化教学（其实是自动化的交互式教学），是一件横跨几个领域的大工程，需要有懂教学的，懂story telling的，懂交互的，懂实现的。但是这件事儿做出来了，对于现在的教学内容和形式而言就是碾压式的优势。我跟好多个教育公司的高层谈过这个问题，他们也知道这是颠覆式创新，他们也知道这是战略级护城河；但是他们都有同一个反应：“这事儿太慢，太重。俊晨，快给我想想有哪些下半年我就能给整个公司用上的”。你只能摊手。
第二，我不觉得戏如人生有啥问题（特别是作为一个二次元死宅）。应试教育本身并没有什么错误。考啥练啥天经地义。主要问题是考的东西和现实需要的东西脱节了。如果我们能做一个戏如人生的学习系统，让孩子在里面针对自己想要的人生做反复应试训练，我觉得太棒了。
应对这个话题，我推荐大家去读一本科幻小说：Diamond Age, Or A Young Lady's illustrated premier。作者在里面设想了一种教学软件，可以自动探查学习者的周边环境和动向，据此生成教学内容，培养孩子的生存技能。有这样的应试系统，我双手双脚赞成。 （遗憾的是这本书因为政治原因没有简体中文版...）
