junchen 这位少侠果然骨骼惊奇。一指头就把我的想法戳了个大洞，我当时还特意给装上了防火墙（括号“需要一定的人力监督”）。你说的非智力因素的确也有相当大的决定性作用，即使哪里不会点哪里，首先也得走到“哪里不会”这一步。

“行为流”听起来很吸引我，虽然我感觉如何去量化行为听起来好像有点棘手。我很少打游戏，也不太懂王者农药里的协作什么的。这东西更多是定量记录一些指标，还是有活人在一旁观看游戏去定性评估？

我最喜欢看的一个人的状态就是因为什么挑战睡不着觉（我最巅峰的状态只是睡觉时迷迷糊糊还在想一个问题）。看来上次前年在奥马哈咱们一顿饭的工夫还是扯得不够，你这脑子里非常有料。

说到把学习和游戏结合起来，你给的文献我由于时间关系没仔细看，但立刻让我想起《娱乐至死》里面第二部分第 10 章《教学是一种娱乐活动》，我是倾向于认同作者的观点的，即：这是个糟糕的主意。我觉得游戏和娱乐已经大幅修改了我们的大脑了，再让它们来祸害教育的话，即使表面上有智力提高的迹象，但实际上是饮鸩止渴。人会变得为了寻求（虚拟）奖励而去做一件事。就像社交媒体虽然表面加速了人与人之间的连接，但实际上也改造了现实中人与人的交往方式（路上遇到个朋友，感觉不过如此；而微信图标上弹出一个红色的数字，就会让人焦躁难耐要去戳开）。实际上这也回到你最前面说的智力能力和非智力能力问题了，我觉得提高教育效率的同时应该注意维护心理、情商的发育。可能是我杞人忧天。

我双手赞同把研究重心从学习结果转向学习过程的做法，教育的最终产物如果只是卷面分数的话，我觉得是很可悲的。我也很佩服你说的“教育不赚块钱”的理念。风险投资与创业公司之间的矛盾，我在敝厂也略有感触：RStudio 诚心热爱开源事业，所以一直抵抗并将长期抵抗风投，这个挺难得也挺难的。看对面那家同样捣鼓 R 的，捣鼓了几年就抱大腿去了。

junchen 投机考北大就能考上，那也是蛮厉害的。我要是投机选文科，估计现在从蓝翔毕业好些年在什么地方光着膀子开挖掘机。同样跟你相反，我在讲故事方面弱到爆，让我看一个故事复述出来比登天还难（我还记得我本科有个同学看了《活着》给我从头到尾复述了一遍故事情节，当时我就震惊了，至今印象深刻）。你是被计量经济学吸引到定量分析领域的，那你现在能不能回头扯一扯自己在计量方面的心路历程？（我在搬板凳等你吐槽，你懂的）

        cloud_wei 这事儿你得问懂运营的同学，但既然太云问了，不能不答。

        （1）cos的教育输出缺乏一个高频的流量入口。我不知道中文的R问答的大本营是不是还在人大经济学论坛。这是一个典型的高频流量入口。

        （2）非盈利不等于没有营收。cos现在完全没有营收，靠业余志愿服务就只能大家闲来无事扯扯淡。当然钱不一定需要VC，PE来投。你找个土老板捐个几千万也不是不行。但是问题是，这钱拿来干啥？于是就又回到第一条。

          yihui 我个人不觉得学习会是一个快乐的事情，也不觉得学习是个游戏。学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。

          这里需要辨明的概念是短期反馈和长期激励。练习的反馈的确是要越短越好，但是驱使学生坚持练习的一定是长期激励。长期激励很难靠游戏化来维护，不论数值体系做的如何牛逼。游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。这又是另一个大话题，咱不表。

          noncognitive skill的贡献现在还处于比较初级的阶段，但是有很强的证据表明它和cognitive skill一样重要。所以现在教育部搞得啥子核心素养，大方向的确是对的，但是具体落实下来做什么，怎么做，就不忍直视。我们事实上不太知道grit这玩意怎么培养。现在大致的观察是，爸妈grit，娃也grit。这里面多少是基因，多少是熏陶，现在还有很多争论。

              yihui 我大三时初接触计量，最大的震撼是通过抽样在群体层面上验证因果关系实在是太厉害了。这与历史学以及政治学主要依靠案例研究（aka讲故事）来做因果有很大区别。老朱是做时序计量的，所以当时讲到Granger causality时我简直想献出自己的膝盖。到了芝加哥大学，我又系统学习了在截面数据里怎么做因果检验的一系列技术（我的恩师Robert Ralonde是通过随机控制实验进行因果检验的新浪潮的始作俑者之一）。所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。

              就在那个时候（2011），我开始接触machine learning。在统计系和计算机系蹭课时我遇到了一个困难：我无法给非计量经济学背景的人讲明白啥叫工具变量（instrucmental variable）。这促使我反思，计量里面的这些技术，到底是屠龙宝刀，还是杀鸡牛刀。这个反思让我意识到一个非常可怕的问题，那就是整个计量经济学事实上是建立在对于一个看不见的变量（aka epsilon）的结构假定上的。大家吵来吵去，颇似当年基督经学里一个指头上能站四个天使还是五个天使的辩论。所以计量经济学（即使不考虑所有regression torture的技巧）也是一个比讲故事的学科，只不过这个故事是用数学符号和程序代码写成的，而历史学和政治学是靠自然语言写成的。

              当然学计量经济学也不是没有收获。计量在抽象建模上还是很有两把刷子的（与machine learning相比）。不是所有问题都可以通过调库和调参解决的。All models are wrong, but some are useful.

              碰巧这个时候，我恩师的身体从不佳变成了病危，他也没空管我了。在我mentor的影响下，我开始努力用数据去描述和解决现实问题，而不纠结于这事儿是不是在计量上离经叛道。然后我就选择了教育数据这个领域。

                  yuanyuan 赞，我回头关注一下神牛gogo。
                  流利说和猿辅导在deep learning上都很有建树。流利说将之用在语言识别上，猿辅导将之用在画面识别上。这两个应用场景是非常明确的。

                  但是我关心和好奇的是，他们是怎么把这些技术用在教学推荐上的。流利说的AI老师是怎么实现教学逻辑的（我印象中有个PR稿上说他们用的是genetic algorithm，但是具体怎么用我想不明白），它的实际教学效果怎么样。在这方面，大家都语焉不详。有些内部的小道消息，我也不方便说。我能说的是，他们PR吹得有点过。

                  说到这个问题，我想吐槽一下国内做教育数据挖掘的环境。许多公司不愿意交流。但是大家面临的问题非常类似，目前的解决方案也非常类似。有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。

                  当然，不沟通不交流也是toVC toPE的商业模式的恶果之一。说到底，他们的首要任务是为股东赚钱，而不是为人类留下教育遗产。无可厚非但是也非常可惜。

                      junchen 是的，PR是太过了，之前挺喜欢的一家公司，都有点反感了。你吐槽的不愿意交流的事情，我也深有体会，之前R会我曾经连续邀请过猿辅导的数据团队负责人，然后连续被拒。

                      AI教学逻辑我觉得更像是噱头，看样子还是想走工具+服务的商业化路线，最后的服务感觉很难用AI来落地。倒是它最早的发音评测系统，当年让我眼前一亮，我看流利说的工程师提及的技术细节也多是这个评测系统相关的。

                          yuanyuan 所以 PR 是 Public Relations 的缩写？

                          我发现我一个人已经掌控不了这个采访了，感觉我的可用内存在急速下降。求友军增援 @xiongxi @gaotao

                              junchen 作为一个闯入教育行业未满一年又跑路的同学，内心深感惭愧，毕竟也曾激动有睡不着觉的时候，也曾对教育领域充满激情。不过后续确实感觉VC模式下的Ed tech公司做的很多事情都感觉是在教育领域盲人摸象，摸到教育一个好做的点就赶紧搞，并想法设法挣钱，比如做题库、做某类应试测评，实际应用技术也都很粗糙，英语流利说我记得还说用过RNN，估摸可能是Deep Knowledge Tracing，真用的效果如何也不知道。国内教育数据环境交流少，估约是起步晚，dirty work太多，数据质量好的少，业务、技术和数据成体系的少导致吧?，交流氛围还没法活跃起来。p.s. 另外感觉学霸君技术也挺好。
                              问junchen一个问题，为何留在17作业呢？17作业也在做题库，做辅导啊？? 感觉上述你对教育的想法的也许在某个创新学校可能更有可能实现，只是在学校不好规模化，操作会比较复杂，但教育路径会更完整

                                  yihui 我也挺看好游戏与学习的结合的，游戏是种思维，只是现在很多粗制滥造的游戏，让人过度追逐短暂的心流体验，现在很多游戏的学习软件，就做的页游一样，搞个排行版，搞个成就体系，粗制滥造，不忍直视。好的游戏可以很精良，就像一部好电影，让人感触良多，回味无穷，比如sony一些游戏。好的游戏设计可以和生活学习融为一体，逐渐培养成就感，让人感受到美和目标的力量，我觉得还是可能的，只是需要花费大量的时间去研究游戏理论和教育理论的结合，一个宏大故事架构的游戏都很难搞，何况这样的结合呢？
                                  戏如人生，真进入了楚门的世界咋办?

                                      junchen 学习是个承认自己傻逼并且克服自己傻逼状态的过程。不论是承认还是克服，都很痛苦。

                                      我看你经常收集心灵蛋花汤，看来很有效果，现在随便一出手，蛋花汤就是一盆一盆的。

                                      junchen 游戏化可能的贡献在于把学习从一个个体行为变成一个群体行为，依靠人际关系来维护长期激励。

                                      嗯，这一点我倒是没有考虑到，是个非常有意思的思路。

                                      junchen 所以到了研二的时候，学成了一个toolbox，大有屠龙之技已成的慷慨之志。

                                      谢谢分享你的经历，这正是我想挖的东西：我想听的不是一个人好像一夜之间就成就了一套思想，而是否定之否定的过程。我觉得你这慷慨之志是学术界最可爱的状态。

                                      junchen 有些坑，我们已经付过了智商税，别人就不用再付一遍了。有些轮子，别人造出来了，我们就不用再造了。多交流，多沟通，有自信大家交换思想后自己迭代地还是比对手快，这才是一个良性的产业集聚外溢。

                                      拍案！我只能学查理芒格对巴菲特提问了：“你还能讲得比这更好吗？”（巴菲特：“当然。请给这位先生来点花生糖。”）

                                      gaotao 如果游戏真的如你所说，能让人感受美和目标，而不是寻求心理刺激，那我双手赞成这种模式。将来人类会不会进入楚门的世界（或无限月读），我觉得很难讲哎。

                                                  15 天 后

                                                  gaotao 这两个礼拜忙上线，没有及时来灌水。我来展开说说教育领域里数据分析的两种做法。

                                                  第一种做法是技术驱动。

                                                  学习数据狭义的说是学习结果的数据（例如题做对没有，视频看完没有），广义的说，是学习行为的数据（例如看视频时的click stream）。

                                                  这个方向里，涉及学习结果的数据分析源远流长，毕竟我们收集考试结果数据已经很久了。这个方向所用的模型（item response model和bayesian knowledge tracing）高度专业化和成熟，但是模型的应用场景仅限于终结性测评（现在一些所谓的黑科技其实是对于这些模型的误用）。测评业务对于大部分教育公司的价值是有限的。

                                                  涉及学习行为的数据是最近才发展为显学。一方面是行为数据的数量和复杂度在爆炸性增长，另一方面是因为在其他领域有成熟应用的技术可以直接套用（例如涉及转化率的一系列打点和追踪技术）。这个领域目前还属于蛮荒西部，野蛮生长的阶段。我觉得一般社招的“数据科学家”最适合做这个方向的工作。提高留存和黏性，对于大部分公司来说是真金白银；对于大部分用户而言，在学习app上多花时间，至少不会变笨（Duolingo CEO语）

                                                  基于这两个基础数据，再往上做一些推荐也可以，但是目前我觉得这个方向贡献不会很大。

                                                  第二种做法是打好辅助位，为教研（和产品）赋能。教育说到底是内容和教学创新的竞争。但是遗憾的是，长久以来，教研创新的检验标准并不是真实的学习效果，而是比谁资历深，比谁故事圆。通过设计良好的AB Test，可以帮助教研更好地开发内容，如果教研牛逼，还能帮他们开发教学理论。设想Google Analytics的教育版，老师都可以通过一个平台来提交新的内容更新，平台分发流量进行实验，然后告诉老师你的内容是否真的提高了某些教学指标（例如短期记忆留存，学生完成率etc）。这样去伪存真，日积月累，应该可以获得一个质量非常高的教学内容库，这是战略级的竞争优势。虽然在教育领域里做线上实验比广告click转化要复杂很多（最大的问题是非即时实验下的样本选择性流失），但是可为的空间很大。

                                                  虽然我本人非常看好第二种模式，但是这种模式的执行需要比较多的“人和”。
                                                  第一，数据科学家不能立足于“我来改造教育，拯救你们这群傻逼”。很多人进入教育行业，大谈颠覆，事儿还没做先把关系搞僵了，不智。
                                                  第二，教研也不能抱残守缺，总把自己积累的个人经验当做颠扑不破的真理。try often and fail quickly，快速迭代需要有实证主义的谦卑，这和老师的“权威”地位与冲突。我遇到太多的情况，教研打心底里觉得做数据（以及做产品）的懂啥教学，跟我吵个啥。我以前曾经和我们公司的总教研说，你对于教学的理解可能40%是错误，我对于教学的理解可能70%的错的，但是要命的是，我们不知道自己哪部分是错的。所以就某个具体问题，不能听你的，也不能听我的，得听数据的。

                                                  当然，教育公司里还有很多BI分析的业务，我就不一而足了。

                                                  总结一下，数据分析在教育领域里面想象空间不小，但是真正落地开花的很少（在我看来还没有）。作为这个领域的先行者，趟出一个切实可行的，兼具教学价值和商业价值的数据分析应用场景，是最重要的事情。但年Google带火了ad optimization，amazon带火了collaborative filtering，这才是我辈应该搞的大新闻。为了搞这个大新闻，得多交流，这不是一个零和博弈，而是一个正和博弈。

                                                    gaotao 首先，我同意你的判断。做真正有意义的游戏化教学（其实是自动化的交互式教学），是一件横跨几个领域的大工程，需要有懂教学的，懂story telling的，懂交互的，懂实现的。但是这件事儿做出来了，对于现在的教学内容和形式而言就是碾压式的优势。我跟好多个教育公司的高层谈过这个问题，他们也知道这是颠覆式创新，他们也知道这是战略级护城河；但是他们都有同一个反应：“这事儿太慢，太重。俊晨，快给我想想有哪些下半年我就能给整个公司用上的”。你只能摊手。

                                                    第二，我不觉得戏如人生有啥问题（特别是作为一个二次元死宅）。应试教育本身并没有什么错误。考啥练啥天经地义。主要问题是考的东西和现实需要的东西脱节了。如果我们能做一个戏如人生的学习系统，让孩子在里面针对自己想要的人生做反复应试训练，我觉得太棒了。
                                                    应对这个话题，我推荐大家去读一本科幻小说：Diamond Age, Or A Young Lady's illustrated premier。作者在里面设想了一种教学软件，可以自动探查学习者的周边环境和动向，据此生成教学内容，培养孩子的生存技能。有这样的应试系统，我双手双脚赞成。 （遗憾的是这本书因为政治原因没有简体中文版...）

                                                      3 个月 后

                                                      junchen 同意非智力因素是教育中最重要的因素，尤其是如何挖掘潜力

                                                        junchen 非常同意教育不能短视，一旦扯上唯利是图，那就真是惨淡。现在国内的教育市场简直是疯狂， 疯狂到加速家长的焦虑，疯狂到有些最小单位的村庄也在跟着不知所措。如何解决死结，还是寄希望于不以盈利为目的机构能够站起来做点事情，毕竟现在富人有闲钱，公益有点混乱但也是好时候，家长焦虑，国人在反思，也许是个好时候了。

                                                          yihui 说到把学习和游戏结合起来，你给的文献我由于时间关系没仔细看，但立刻让我想起《娱乐至死》里面第二部分第 10 章《教学是一种娱乐活动》，我是倾向于认同作者的观点的，即：这是个糟糕的主意。

                                                          感觉还是怎么结合的问题，“有度”的结合，才是完美的而有效的。不能为了游戏而学习，而是为了学习而有点有度的学习。

                                                            yuanyuan 说个不懂技术的话，简单看了这个流利说，这个无非是同传训练中的一种称为影子的训练方法，但这种方法理论很简单，就是英语学舌。从效率上说，不懂为何需要那么高深的技术去解决这个学习问题。@junchen yihui 扯到教育市场化的问题，我总觉得教育中有很多问题也许真的不需要那么高深的技术就可以解决的，尤其是非智力因素，但一旦被市场化包装，再罩上技术的外衣，便加速了疯狂的圈钱运动。我所企盼的是教育可以提供一个性价比很高的解决方案，这样整个教育才能公平和公正。这个跟yihui等大侠 所说的R等统计的初衷有点相似吧，技术的目的是为了解决问题，而非为了技术而技术。