| 送交者: diyunheng[★品衔R6★] 于 2018-10-28 13:14 已读 243 次 | diyunheng的个人频道 |
回答: 11 怎样从海量信息里寻找聚焦点 由 diyunheng 于 2018-10-24 13:14
12 怎样用逻辑和算法，撬动群体智慧 6park.com今天的认知训练，我想要告诉你的是，如果你正确地向群体智慧借力，你能战胜所有对手。 6park.com因为，在绝大多数时候，一群人合起来都会比一个人更有智慧。问题是每个人天生都知道怎么运用自己的智慧，但群体是个人的集合，汇聚许多人的智慧，需要方法。 6park.com我今天讲四种层层递进的方法， 简单平均、贝叶斯推理、动态加权、极化 。 6park.com第一种方法：简单平均 6park.com前一段豆瓣上出现了一部两分电影。导演很生气，说毁了他12年的心血。 6park.com没人同情他。 6park.com豆瓣评分五星制，五星就是十分，一星就是两分，这位的得分99%以上是一星。 6park.com人们相信豆瓣评分，不相信导演自评。这是对的。我上次去看评分的时候，有17022人打分。你相信17022人，还是相信一个人？ 6park.com评分可以不只是评分，可以大得多。可以是对已发生事件的评价，比如给电影打分；可以是对将发生事件的预测，比如民意调查；也可以是决策的扳机，比如你得分超过某个阈值就采取相应行动。 6park.com评价、预测、决策，三位一体，来自对群体智慧的聚合。找到正确的聚合方法，你就找到了撬动群体智慧的杠杆，能够撬动一切。 6park.com回到豆瓣的评分机制，也就是我们今天要讲的第一种算法，平均聚合。 6park.com豆瓣聚合的方法，创始人阿北曾经自己解释过，原则上就是一人一票，简单平均。 6park.com简单归简单，这办法很靠谱。如果投票者数量足够多，投票相对独立，那么简单平均值的准确度会系统性地超越个体判断。 6park.com类似的实验已经做过无数次。把一头牛牵到集市，让赶集的农夫目测其体重。最后下来会发现，没有哪个农夫的判断，能够超过把所有农夫的判断加总再平均。 6park.com原因在于，每个人各自掌握一些信息，各有判断，哪怕只是用平均这样简单粗暴的方法聚合起来，也比单个人掌握的信息要完整，形成的判断更准确。这就是群体智慧的原意。 6park.com它已经足以战胜绝大多数有专家头衔的评委。 6park.com第二种方法：贝叶斯推理 6park.com豆瓣的简单平均法简洁但远不完美。假设一部电影只有两个人打分五星，另一部电影一百万人打分平均4.9星。哪部电影更好？简单平均法识别不了。 6park.com这时候就需要另一种算法，贝叶斯推理。电影评价类网站的始祖和霸主IMDB用的就是这种算法，它能够解决极少数用户打极高分或者极低分的时候，对一部电影的评价出现不准确或不公平的问题。 6park.com在这一点上，它是一个比豆瓣更优化的评价机制。 6park.com那什么是贝叶斯推理呢？贝叶斯推理是一种更新既有判断的方法，有两个要点： 首先你有一个既有判断；其次获得新信息，不断调整更新。 6park.com这么说有点抽象，其实我们每个人在生活中都在用，我来举个例子你就知道了。 6park.com比如，我第一次跟你见面，我不了解你，对你一无所知，但是我对人类有点了解。我先入为主的看法就是好人和坏人三七开，七分好三分坏。那我跟你打交道，我就假设你也是三七开，我们在一起聊了一个小时的天，我给你多打一分，就变成二八开了；我们共事的一年，我觉得你特别棒，就变成一九开了。 6park.com这就是我们用贝叶斯推理对人进行的评价和判断。那贝叶斯推理在IMDB电影评分机制上是怎样运用的呢？ 6park.com贝叶斯推理总是从预先的假设开始。既然事先不知道一部电影得分会是多少，那就给它一个基准分，对应一个基准的投票数。IMDb给的基准分是网站上所有电影的平均分，比如6.5，对应基准的打分人数，比如是3000人。 6park.com不管是什么电影，在获得第一个用户打分之前，默认都是得6.5分，对应着3000张投票。 6park.com你看了电影，开始打分，新信息进来了。贝叶斯推理会用这些新信息修正得分，随着每个用户的打分变化。算法我就不列了。大体上是这样的情境： 6park.com如果只有一个用户打分，那么电影得分无限接近于网站平均分；如果有3000真实用户打分，跟基准数一样，那么得分正好是3000名真实用户实际打分，与网站平均分两个分值之间的平均分；如果打分用户数量极大，那么得分会极度逼近这些用户的实际打分。 6park.com投票人数的问题处理好了，但问题没完。 6park.com第三种方法：动态加权 6park.com一人一票足够好吗？ 6park.com一人一票是平等的，但看电影这件事有许多好理由支持搞不平等：水军跟观众不应该平等，掏钱买票看的跟白看的不应该平等，高水平观众跟普通观众不应该平等。 6park.com一人一票反映不出每一票中包含的独特信息，而这些信息是有价值的。 6park.com怎么把信息解放出来？答案就是我们今天要讲的第三种聚合的方法：动态加权。 6park.com希弗（Nate Silver）是个年轻人，近年来在选举预测领域大火。他的选举预测网站在2008年美国总统大选及国会选举一战成名，准确率超过所有民调，然后持续保持高精度预测纪录。 6park.com选举民调是对选民意见的聚合。希弗并不直接做预测，美国的选举民调已经太多了。他做的是对这些民调的聚合，等于是选民意见聚合的聚合。 6park.com他根据每个民调机构准确率的历史记录和当下表现，动态调整其权重，表现好的权重高，表现差的权重低，聚合起来，生成预测。 6park.com这个预测有多准确？ 6park.com2012年美国总统大选改选，希弗预测对了奥巴马战胜罗姆尼，这不稀奇。稀奇的是希弗还预测对了所有50个州两人的胜负结果。全中。 6park.com这种算法就是动态加权，根据民调机构不同的准确率，分别加上不同的权重，根据接下来表现随时调整权重，再重新聚合起来。类似的算法对投资也非常有用。 6park.com对冲基金管理人达里奥（Ray Dalio）也用了类似算法聚合群体智慧。他的公司桥水资本管理着1600亿美元资金，是过去十年最成功的对冲基金。达里奥用一种极端的原则管理公司，他把这套管理原则扩展成自传，变成新书《原则》，有兴趣的建议去看。 6park.com达里奥的决策方法叫作believability-weighted idea meritocracy，直译过来是“可信度加权的想法惟贤是举体制”。说起来一大串，用中文讲很简单，就是话份。 6park.com人人都有话份，在决策流程中都能发言参与，在发言资格的意义上大家是平等的，但彼此的话份就有差等。有人水平高，决策效果的历史表现好，他们话份就大，反之话份就校决策如果有意见分歧，则按“不同意见×话份”来解决分歧。 每次决策都有记录，根据决策效果反馈，随时更新每个人的话份。 6park.com达里奥决策跟希弗预测选举，方法是一模一样的。这想法谈不上多新，都是贝叶斯推理的简单运用，独特之处在于实实在在用于管理决策，为此搭建技术，重组管理，做实做到底，革命性在这里。 6park.com第四种方法：极化 6park.com凭借彻底运用话份逻辑聚合群体智慧，希弗和达里奥做到了他们各自那个行业的顶峰。能不能再往前走一步，做得更好？ 6park.com泰特罗克（Philip Tetlock）认为可以。这就是我们今天要讲的第四种聚合方法：极化。 6park.com泰特罗克是美国著名政治学者，领导预测项目“善断计划”（Good Judgement Project）。计划的资助者是直属美国全国情报总监的高级情报研究局，旨在为整个情报界提供革命性的创新能力。几年间，两万多人在善断计划网站上就美国情报界抛出来的五百个问题作持续预测，实时检验。 6park.com泰特罗克把每个预测者的每次预测都打分，汇总成个人总分，有2%的人脱颖而出，攀到最优秀一级，成为“超级预测者”。善断计划则根据每个人的得分调整其在整体预测中的权重分配，生成预测。 6park.com到这一步，泰特罗克的方法与达里奥和希弗相似。下一步则是泰特罗克的创举，其实也很简单：对加权平均后形成的预测结果，再做一道加工：极化（extremize），将预测结果往100%或者0的方向推。 6park.com举个例子，特朗普能否连任美国总统？如果预测者加权平均后的预测概率是70%，那就把它上调到比如85%；相反，如果预测值是30%，那就把它下调到15%。 6park.com极化的理由是这样的：假设群体中的每个人都获得了群体的全部信息，他们作预测时一定会更为自信。从群体简单平均值到加权平均的过程，事实上已经聚合了所有人的信息，但没有完全反映出与此对应的自信。 6park.com极化就是要捕捉这个自信：如果是乐观预测，极化会输出一个更乐观的预测；如果是悲观预测，极化会输出一个更悲观的预测。 6park.com善断计划的预测准确率高得惊人。参与者不过是群普通人，智商还可以但不特殊，教育背景参差不齐，也没有内幕信息，借助相当简单的算法，但他们的预测击败了全部现有的预测系统，甚至战胜了专业情报分析师。 6park.com了解如何成为超级预测者，推荐读泰特罗克的书《超预测》（ Superforcastering: The Art and Science of Prediction ）。我把他许为当年最佳图书。 6park.com正确地聚合群体智慧，就获得了这个时代最接近于千里眼的工具。不难触类旁通：只要是测试永不停歇，参与者足够多，检验和反馈足够明确的领域，无论经济、政治、金融还是其他，都可以用“加权平均+动态调整权重+极化算法”来撬动群体智慧，应用空间极大。 6park.com我身边就有位人肉聚合群体智慧的模范。她的信息来源主要是一流媒体和人际见闻，观点则形成于交流，特点一是人数多，二是看法杂，三是水平高。在这个过程中，她会反复摇摆，形成很多前后不尽一致的看法；然后，行动力又强，每有看法必决策，每决策必行动，于是整个过程来回翻烧饼。 6park.com老实说，我曾经觉得这样做事自相矛盾，空耗精力，怎么行？！慢慢的，我懂得了，观点摇摆，是因为在聚合中要渐进校正；行动摇摆，是在实施中要迅速获得反馈并相应作调整。能够做到我们这个行业的巅峰，没有幸运。 6park.com她无师自通，找到了聚合并使用群体智慧的实践算法。光追求前后一致不空耗能量，美则美矣，但缺少信息忽视反馈在闭环里打转，又有什么用。 6park.com掌握泰特罗克的方法，我们能比她做得更好。 6park.com本讲小结 6park.com总结一下，今天我们讲了，怎样向群体智慧借力。每个人各自掌握一些信息，各有判断，哪怕只是用平均这样简单粗暴的方法聚合起来，也比单个人掌握的信息要完整，形成的判断更准确。这就是群体智慧的原意。 6park.com明天我们思维训练的话题是，怎样训练你的贝叶斯脑。 6park.com今日思考 6park.com今天的思考题的： 今天已经出现了一种新的技术，它有可能在聚合群体智慧这件事情上更有效率、更精确。你觉得它是什么？ 6park.com欢迎你在文稿下方留言区留言。今天的内容可能有点烧脑，欢迎你把它分享给你的朋友。 6park.com
请点这里投票，“赞”助支持！