访谈芝加哥大学博士、一起作业数据科学家冯俊晨
junchen 啧啧，不愧是已经沦为博士的人，说起话来既认真又有条理，我就喜欢这种说话列一二三的方式。你说的去除人力重复、自动诊断和个性教学，简直都太重要了，这些应该会大大提交教学效率，而且我觉得将来还有更重要的意义是能让教育资源更公平地分配，比如你们的系统要是做好了，将来也许都不需要往山区输送支教的志愿者了，直接一批电脑拖去，小朋友们就可以用最高效的方式自学了（当然肯定需要一定的人力监督）。想想还蛮激动人心的。
PR 价值是啥意思？跟码农说 PR 要小心，他们脑子里只有 Github Pull Request。
我看到贵司的介绍中有一句“科技中有温度，数据里有梦想”，感觉是个文案高手，起码有点煽动我。我联想到你博客里有一篇《如诗的政治宣传》（是我觉得最有意思的一篇），你们公共政策学院是不是会重点学习广告学？我感觉公共政策像是文科（要是说错了莫打），你本人似乎非常偏向于做定量研究，这是现在的普遍趋势还是更多是你个人的兴趣？
还有，你好像漏了 Ihavenothing 的问题。
Ihavenothing 我的就业历史（以及求学历史）是比较奇怪的。在选择“教育+数据”这个方向上，我已经没有什么纠结了；但是不代表我之前没有纠结过。
我从北大毕业后，错误地把学术研究和“中国式”横向项目组打工等同起来，因此对于学术非常心灰意冷。我到了Harris Master of Public Policy项目之后，决意不读博士，硕士毕业就工作。当时我想做的方向是养老金。非常幸运地，Harris给我指派了一个亦师亦友的mentor。在这个mentor的带领下，我做了相当前沿的fin tech（主要是passive porfolio management和human capital pricing）以及一些HFT的工作。但是后来我意识到养老金这个问题吧，是个死局，不论是中国和美国都没啥解药了。我本人对于赚钱的热情并不是那么高涨（当然fin tech做的也没牛逼到可以躺着赚钱），还是想从事一些对于人类有意义的工作。
于是2013年在我mentor的鼓励下，我开始在教育领域创业。当时有两件大事深深刺激了我。第一，Netflix prize刚刚发布，协同推荐似乎可以解决一切问题。第二，khan academy开始规模化扩张，互联网教育似乎可以解决一切问题。当时我的想法是，Khan Academy + Netflix不就完了么？第一，这条路从逻辑上走不通。第二，教育的市场推广是个水很深的行业，不是一个能站着赚钱的事儿。
于是在2014年末，我加入了17作业网，担任数据科学家。教育数据现在还是一个非常冷僻的旁门左道，但是未来将是一个数据量媲美电商/HFT的大产业。所以接下来10-15年我准备在这条路上走到黑。
yihui 我相信教育技术最后会拉高教育的最低水平，但是它对于教育最高水平的提高速度会更快；所以最后可能的结果可能向改革开放一样，min提高了，range也提高了。当然我个人的志向更多的是提高min（个人主页的title figure是我14年去哈佛骗钱的时候写的一个ppt，mitigate education inequality with technology and data）。
yihui这种逻辑有个致命的盲点（这也是我第一次创业失败的主要原因），那就是大部分孩子缺乏自主学习所需要的grit（韧性）。不是说他们学K-12的东西学不会，他们学其他东西也不一定能学会。给他们更好的资源也不一定能用起来。因为我和yihui浸淫在“自我实现人”环绕的环境中时间太长了，已经忘记了这个世界上大部分人在非智能力（non-cognitive skill）上的修为真是不行。
所以未来我更看好的教育数据应用领域是对于非智能力的培养和测评，因为这需要用到行为流，很有意思。举个例子，如果你把王者荣耀当做一个培养团队协作能力的教学方案，你也可以套用我上面的教学框架。通过玩家的游戏行为判断其团队协作的不足之处，告诉他们怎么改进，并根据他们的改进行为进行下一次迭代。想想这里面涉及的数据模型和工程挑战，就会让人睡不着觉。
这并不是我的疯狂想法。隐形测评（stealth assessment）在美国是教育技术研究的前沿领域之一。Florida State U的Valerie Shute等一直致力于把学习和游戏结合起来。他们之前探索过怎么用Valve的Portal 2来做评估解决问题的能力。ETS在这方面投入也很多(例如这个)，未来玩个游戏就出TOFEL或者GRE或者SAT成绩不是不可能。
更广义地讲，把研究的重心从学习结果转移到学习过程，把交互模式从纸笔时代的单向输入转移到平板时代的双向互动，这是大势所趋。只不过国内的ed tech还没有开始好好思考这对于教育技术和教育业态将产生怎么样的革命性变化。
于是就说到PR(aka 吹牛逼)。国内大部分教育技术公司（可能除了流利说之外）都停留在题库套个IRT就吹自适应的时代。且不说这样做的实际效果非常差，而且它浪费大量本来可以用来冒更有意思风险的VC资本。流利说在教育技术上的理解的确比大部分公司更好一些，但是他们没有公布任何详细的技术文档，从他们的PR稿透露的技术细节，我也不认为他们成功解决intelligent tutor的教学设计难题。AI老师我猜更多是噱头。
教育不赚快钱，大部分时候也不赚大钱。Khan当时考虑是否要把Khan Academy注册成一个公司或者一个NGO，他的一个朋友跟他说，你所敬仰的教育机构，哪一家是for profit organization?Khan于是决定做NGO，这样才能淡泊行远。我觉得这不是一个有美国特色的问题。很难指望VC模式下的Ed tech公司真的能做一点功在当代，利在千秋的长远工作。毕竟投资人想退出，员工想退出，箭在弦上，不得不发。
- 已编辑
junchen 这位少侠果然骨骼惊奇。一指头就把我的想法戳了个大洞，我当时还特意给装上了防火墙（括号“需要一定的人力监督”）。你说的非智力因素的确也有相当大的决定性作用，即使哪里不会点哪里，首先也得走到“哪里不会”这一步。
“行为流”听起来很吸引我，虽然我感觉如何去量化行为听起来好像有点棘手。我很少打游戏，也不太懂王者农药里的协作什么的。这东西更多是定量记录一些指标，还是有活人在一旁观看游戏去定性评估？
我最喜欢看的一个人的状态就是因为什么挑战睡不着觉（我最巅峰的状态只是睡觉时迷迷糊糊还在想一个问题）。看来上次前年在奥马哈咱们一顿饭的工夫还是扯得不够，你这脑子里非常有料。
说到把学习和游戏结合起来，你给的文献我由于时间关系没仔细看，但立刻让我想起《娱乐至死》里面第二部分第 10 章《教学是一种娱乐活动》，我是倾向于认同作者的观点的，即：这是个糟糕的主意。我觉得游戏和娱乐已经大幅修改了我们的大脑了，再让它们来祸害教育的话，即使表面上有智力提高的迹象，但实际上是饮鸩止渴。人会变得为了寻求（虚拟）奖励而去做一件事。就像社交媒体虽然表面加速了人与人之间的连接，但实际上也改造了现实中人与人的交往方式（路上遇到个朋友，感觉不过如此；而微信图标上弹出一个红色的数字，就会让人焦躁难耐要去戳开）。实际上这也回到你最前面说的智力能力和非智力能力问题了，我觉得提高教育效率的同时应该注意维护心理、情商的发育。可能是我杞人忧天。
我双手赞同把研究重心从学习结果转向学习过程的做法，教育的最终产物如果只是卷面分数的话，我觉得是很可悲的。我也很佩服你说的“教育不赚块钱”的理念。风险投资与创业公司之间的矛盾，我在敝厂也略有感触：RStudio 诚心热爱开源事业，所以一直抵抗并将长期抵抗风投，这个挺难得也挺难的。看对面那家同样捣鼓 R 的，捣鼓了几年就抱大腿去了。
junchen 投机考北大就能考上，那也是蛮厉害的。我要是投机选文科，估计现在从蓝翔毕业好些年在什么地方光着膀子开挖掘机。同样跟你相反，我在讲故事方面弱到爆，让我看一个故事复述出来比登天还难（我还记得我本科有个同学看了《活着》给我从头到尾复述了一遍故事情节，当时我就震惊了，至今印象深刻）。你是被计量经济学吸引到定量分析领域的，那你现在能不能回头扯一扯自己在计量方面的心路历程？（我在搬板凳等你吐槽，你懂的）
yihui 我个人不觉得学习会是一个快乐的事情，也不觉得学习是个游戏。学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。
这里需要辨明的概念是短期反馈和长期激励。练习的反馈的确是要越短越好，但是驱使学生坚持练习的一定是长期激励。长期激励很难靠游戏化来维护，不论数值体系做的如何牛逼。游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。这又是另一个大话题，咱不表。
noncognitive skill的贡献现在还处于比较初级的阶段，但是有很强的证据表明它和cognitive skill一样重要。所以现在教育部搞得啥子核心素养，大方向的确是对的，但是具体落实下来做什么，怎么做，就不忍直视。我们事实上不太知道grit这玩意怎么培养。现在大致的观察是，爸妈grit，娃也grit。这里面多少是基因，多少是熏陶，现在还有很多争论。
- 已编辑
都插不上话，就补充一点点，我印象中，流利说还是有一些技术文档流出来的，比如《『英语流利说』移动端深度神经网络优化》，我认识一个流利说的工程师 @xitike，在微博上也时常会提及流利说的一些技术细节。
- 已编辑
yihui 我大三时初接触计量，最大的震撼是通过抽样在群体层面上验证因果关系实在是太厉害了。这与历史学以及政治学主要依靠案例研究（aka讲故事）来做因果有很大区别。老朱是做时序计量的，所以当时讲到Granger causality时我简直想献出自己的膝盖。到了芝加哥大学，我又系统学习了在截面数据里怎么做因果检验的一系列技术（我的恩师Robert Ralonde是通过随机控制实验进行因果检验的新浪潮的始作俑者之一）。所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。
就在那个时候（2011），我开始接触machine learning。在统计系和计算机系蹭课时我遇到了一个困难：我无法给非计量经济学背景的人讲明白啥叫工具变量（instrucmental variable）。这促使我反思，计量里面的这些技术，到底是屠龙宝刀，还是杀鸡牛刀。这个反思让我意识到一个非常可怕的问题，那就是整个计量经济学事实上是建立在对于一个看不见的变量（aka epsilon）的结构假定上的。大家吵来吵去，颇似当年基督经学里一个指头上能站四个天使还是五个天使的辩论。所以计量经济学（即使不考虑所有regression torture的技巧）也是一个比讲故事的学科，只不过这个故事是用数学符号和程序代码写成的，而历史学和政治学是靠自然语言写成的。
当然学计量经济学也不是没有收获。计量在抽象建模上还是很有两把刷子的（与machine learning相比）。不是所有问题都可以通过调库和调参解决的。All models are wrong, but some are useful.
碰巧这个时候，我恩师的身体从不佳变成了病危，他也没空管我了。在我mentor的影响下，我开始努力用数据去描述和解决现实问题，而不纠结于这事儿是不是在计量上离经叛道。然后我就选择了教育数据这个领域。
- 已编辑
yuanyuan 赞，我回头关注一下神牛gogo。
流利说和猿辅导在deep learning上都很有建树。流利说将之用在语言识别上，猿辅导将之用在画面识别上。这两个应用场景是非常明确的。
但是我关心和好奇的是，他们是怎么把这些技术用在教学推荐上的。流利说的AI老师是怎么实现教学逻辑的（我印象中有个PR稿上说他们用的是genetic algorithm，但是具体怎么用我想不明白），它的实际教学效果怎么样。在这方面，大家都语焉不详。有些内部的小道消息，我也不方便说。我能说的是，他们PR吹得有点过。
说到这个问题，我想吐槽一下国内做教育数据挖掘的环境。许多公司不愿意交流。但是大家面临的问题非常类似，目前的解决方案也非常类似。有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。
当然，不沟通不交流也是toVC toPE的商业模式的恶果之一。说到底，他们的首要任务是为股东赚钱，而不是为人类留下教育遗产。无可厚非但是也非常可惜。
junchen 哈哈，太精彩了，非常有收获！?
- 已编辑
junchen 作为一个闯入教育行业未满一年又跑路的同学，内心深感惭愧，毕竟也曾激动有睡不着觉的时候，也曾对教育领域充满激情。不过后续确实感觉VC模式下的Ed tech公司做的很多事情都感觉是在教育领域盲人摸象，摸到教育一个好做的点就赶紧搞，并想法设法挣钱，比如做题库、做某类应试测评，实际应用技术也都很粗糙，英语流利说我记得还说用过RNN，估摸可能是Deep Knowledge Tracing，真用的效果如何也不知道。国内教育数据环境交流少，估约是起步晚，dirty work太多，数据质量好的少，业务、技术和数据成体系的少导致吧?，交流氛围还没法活跃起来。p.s. 另外感觉学霸君技术也挺好。
问junchen一个问题，为何留在17作业呢？17作业也在做题库，做辅导啊？? 感觉上述你对教育的想法的也许在某个创新学校可能更有可能实现，只是在学校不好规模化，操作会比较复杂，但教育路径会更完整
junchen 学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。
我看你经常收集心灵蛋花汤，看来很有效果，现在随便一出手，蛋花汤就是一盆一盆的。
junchen 游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。
嗯，这一点我倒是没有考虑到，是个非常有意思的思路。
junchen 所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。
谢谢分享你的经历，这正是我想挖的东西：我想听的不是一个人好像一夜之间就成就了一套思想，而是否定之否定的过程。我觉得你这慷慨之志是学术界最可爱的状态。
junchen 有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。
拍案！我只能学查理芒格对巴菲特提问了：“你还能讲得比这更好吗？”（巴菲特：“当然。请给这位先生来点花生糖。”）
gaotao 如果游戏真的如你所说，能让人感受美和目标，而不是寻求心理刺激，那我双手赞成这种模式。将来人类会不会进入楚门的世界（或无限月读），我觉得很难讲哎。
gaotao 这两个礼拜忙上线，没有及时来灌水。我来展开说说教育领域里数据分析的两种做法。
第一种做法是技术驱动。
学习数据狭义的说是学习结果的数据（例如题做对没有，视频看完没有），广义的说，是学习行为的数据（例如看视频时的click stream）。
这个方向里，涉及学习结果的数据分析源远流长，毕竟我们收集考试结果数据已经很久了。这个方向所用的模型（item response model和bayesian knowledge tracing）高度专业化和成熟，但是模型的应用场景仅限于终结性测评（现在一些所谓的黑科技其实是对于这些模型的误用）。测评业务对于大部分教育公司的价值是有限的。
涉及学习行为的数据是最近才发展为显学。一方面是行为数据的数量和复杂度在爆炸性增长，另一方面是因为在其他领域有成熟应用的技术可以直接套用（例如涉及转化率的一系列打点和追踪技术）。这个领域目前还属于蛮荒西部，野蛮生长的阶段。我觉得一般社招的“数据科学家”最适合做这个方向的工作。提高留存和黏性，对于大部分公司来说是真金白银；对于大部分用户而言，在学习app上多花时间，至少不会变笨（Duolingo CEO语）
基于这两个基础数据，再往上做一些推荐也可以，但是目前我觉得这个方向贡献不会很大。
第二种做法是打好辅助位，为教研（和产品）赋能。教育说到底是内容和教学创新的竞争。但是遗憾的是，长久以来，教研创新的检验标准并不是真实的学习效果，而是比谁资历深，比谁故事圆。通过设计良好的AB Test，可以帮助教研更好地开发内容，如果教研牛逼，还能帮他们开发教学理论。设想Google Analytics的教育版，老师都可以通过一个平台来提交新的内容更新，平台分发流量进行实验，然后告诉老师你的内容是否真的提高了某些教学指标（例如短期记忆留存，学生完成率etc）。这样去伪存真，日积月累，应该可以获得一个质量非常高的教学内容库，这是战略级的竞争优势。虽然在教育领域里做线上实验比广告click转化要复杂很多（最大的问题是非即时实验下的样本选择性流失），但是可为的空间很大。
虽然我本人非常看好第二种模式，但是这种模式的执行需要比较多的“人和”。
第一，数据科学家不能立足于“我来改造教育，拯救你们这群傻逼”。很多人进入教育行业，大谈颠覆，事儿还没做先把关系搞僵了，不智。
第二，教研也不能抱残守缺，总把自己积累的个人经验当做颠扑不破的真理。try often and fail quickly，快速迭代需要有实证主义的谦卑，这和老师的“权威”地位与冲突。我遇到太多的情况，教研打心底里觉得做数据（以及做产品）的懂啥教学，跟我吵个啥。我以前曾经和我们公司的总教研说，你对于教学的理解可能40%是错误，我对于教学的理解可能70%的错的，但是要命的是，我们不知道自己哪部分是错的。所以就某个具体问题，不能听你的，也不能听我的，得听数据的。
当然，教育公司里还有很多BI分析的业务，我就不一而足了。
总结一下，数据分析在教育领域里面想象空间不小，但是真正落地开花的很少（在我看来还没有）。作为这个领域的先行者，趟出一个切实可行的，兼具教学价值和商业价值的数据分析应用场景，是最重要的事情。但年Google带火了ad optimization，amazon带火了collaborative filtering，这才是我辈应该搞的大新闻。为了搞这个大新闻，得多交流，这不是一个零和博弈，而是一个正和博弈。