作者:贾恩东
(资料图)
本文约2000字,建议阅读9分钟
本文为你介绍更公平分配利益权重的一种算法——Shapley值方法。
本篇文章是数据派一文读懂系列的新年第一篇原创,在这里祝贺大家新年学业有新成就,生活有新气象!这次带大家了解一种有趣的从数学角度计算合作博弈贡献从而更公平分配利益权重的算法——Shapley值方法。
相信大家在日常生活中都接触过这样一个现象,那就是1+1不等于2。好了,不开玩笑,作者想说的是,很多时候多个主体分别产生的影响和共同产生的影响是不具备严格加性的。有句俗语,一个和尚挑水吃,两个和尚抬水吃,三个和尚没水吃。分开的三个和尚每个每天都挑水,但放在一起“协作”反而就没有水产出了。这里是一个关于协作的负面例子,但更多的是协作的正面例子,就是1+1大于2的效应。以下用一个案例具体来说明。
某公司有三个程序猿,分别是屌丝A,大佬B,美女C,如果大家不合作,A每个季度可以完成3个项目,B每个季度可以完成10个项目,C每个季度只能完成1个项目。但是老板小王为了充分挖掘员工潜力,合理配置公司资源,让A,B,C尝试了各种合作模式。王老板观察发现,屌丝都是潜力股,美女都是催化剂:屌丝A和大佬B合作每个季度可以完成15个项目,合作效果提升还行;屌丝A和美女C合作每个季度可以完成50个项目,合作效果爆炸;大佬B和美女C合作每个季度仅完成了12个项目,看来对大佬来说不影响拔刀的速度就不错了;ABC一起合作每个季度可以完成70个项目。最终王老板拍板让ABC以后就一起工作,按照小组完成的项目数额外发放项目奖金。请问聪明的读者,按照最公平正义的分配方法,哪位员工获得的奖金是最多的呢?
说A的同学:明显屌丝是潜力股,虽然单独工作表现一般,但是和美女一起合作,大大激发了工作热情,肯定是A贡献最多!说B的同学:应该是大佬贡献最大,因为单独来看,大佬本身能力是最强的!说C的同学:应该是美女贡献最大,虽然美女单独工作没什么效率,但显然对团队的影响无法替代!
请先别急,我们接下来使用理性的数学思维分析这个问题,可以顺便推导出shapley值的公式。
设想我们顺序将ABC放到合作队伍中(合作队伍一开始为空),那么合作的组合会有3!=6 种,如下表:
加入顺序 | A加入的贡献 | B加入的贡献 | C加入的贡献 |
A+B+C | 3-0=3 | 15-3=12 | 70-15=55 |
A+C+B | 3-0=3 | 70-50=20 | 50-3=47 |
B+A+C | 15-10=5 | 10-0=10 | 70-15=55 |
B+C+A | 70-12=58 | 10-0=10 | 12-10=2 |
C+A+B | 50-1=49 | 70-50=20 | 1-0=1 |
C+B+A | 70-12=58 | 12-1=11 | 1-0=1 |
表中的贡献计算方法可以举个例子来说明,B+C+A的顺序组合中,A的贡献是ABC的合作扣除BC的合作,即70-12=58;B的贡献就是B加入空的贡献,即10-0=10。其他类推。
但最终的加入顺序只有一种,而各个顺序都是等可能的。因此, A的贡献可以计算期望:(3+3+5+58+49+58)/6=176/6 B的贡献可以计算期望:(12+20+10+10+20+11)/6=83/6 C的贡献可以计算期望:(55+47+55+2+1+1)/6=161/6
这些贡献期望加在一起,(176+83+161)/6=70也恰是ABC的整体合作效果,验证了我们计算的合理性。做个简单除法,得出最终A的贡献占比是29.33%,B的贡献占比是13.83%,C的贡献占比是26.83%。A的贡献是最多的,C也很多,B最少。同学你猜对了吗?
我们接下来把问题抽象化。假设有n 位合作人,任何一种合作组合例如第1位和第2位合作组合记为{1,2},是一个有序集合的概念,对于组合 s 来说,它的收益表现记作 v(s)。假如某集合 s 包含 第 i 位合作人,则第 i 位 合作人在这种情形下的贡献为 v(s)−v(s\textbackslash{i}),解释为集合 s 的效益减去 集合 s 扣除第 i 位合作人后的新集合的效益。
因此我们可以得到第i 位合作人的贡献期望为:
这里Si 是所有包含 i 的所有子集的集合, P(s)是对应合作顺序组合 s 的出现概率。可以这样计算该概率,首先 s 中 前|s|−1 合作人顺序进入合作集合,然后是合作人 i 加入集合,最后是后 n−|s|个合作人加入合作集合。这样构成了该种顺序组合,这样有(|s|−1)!×1×(n−|s|)! 种,一共则有 n! 种顺序组合,所以有:
最终的shapley值公式即:
到这里,关于shapley值方法的公式就已经推导完毕了。
值得一提的是,Shapley值方法是有严格的公理化体系支持的,感兴趣的同学可以自行检索学习。Shapley值方法很公平,在经济、金融、管理、政治中都有不少的推广应用。比如多方金融投资合作如何分配利润;不同人数的党派团体如何更科学地设置投票通过票数;安全管理团队中按照重要性对事故中的不同责任方进行责任判定等等。在机器学习中,也可以使用Shapley值方法对不同的特征进行重要性评价,进行特征的筛选工作,即使是深度神经网络这种黑盒模型也可以获悉不同特征对于整个算法的贡献分布。
在文章的最后,需要多提一句,Shapley值方法虽然很好,但对于n 值很大的情况,计算很不友好,因为需要获悉所有组合集合的获益,这种组合集合一共有 2^n 种,不论是数据获得还是后续计算,都有不小的成本开销,所以有几种补救办法,有的是将合伙人分成若干组,按照组为最小合作单位进行计算;有的则是只考虑 n−1 大小的组合上增加合伙人带来的边际贡献等。无论是何种方法,本质上都和本文核心内容类似。
编辑:黄继彦
数据派研究部介绍
数据派研究部成立于2017年初,以兴趣为核心划分多个组别,各组既遵循研究部整体的知识分享和实践项目规划,又各具特色:
算法模型组:积极组队参加kaggle等比赛,原创手把手教系列文章;
调研分析组:通过专访等方式调研大数据的应用,探索数据产品之美;
系统平台组:追踪大数据&人工智能系统平台技术前沿,对话专家;
自然语言处理组:重于实践,积极参加比赛及策划各类文本分析项目;
制造业大数据组:秉工业强国之梦,产学研政结合,挖掘数据价值;
数据可视化组:将信息与艺术融合,探索数据之美,学用可视化讲故事;
网络爬虫组:爬取网络信息,配合其他各组开发创意项目。
点击文末“阅读原文”,报名数据派研究部志愿者,总有一组适合你~
转载须知
如需转载,请在开篇显著位置注明作者和出处(转自:数据派THUID:DatapiTHU),并在文章结尾放置数据派醒目二维码。有原创标识文章,请发送【文章名称-待授权公众号名称及ID】至联系邮箱,申请白名单授权并按要求编辑。
未经许可的转载以及改编者,我们将依法追究其法律责任。
点击“阅读原文”加入组织~
-
原创 | 一文读懂机器学习中的shapley值方法
作者:贾恩东本文约2000字,建议阅读9分钟本文为你介绍更公平分配利益权重的一种算法——Shapley值方法。本篇文章是数据派一文读懂系列的新年
-
天天日报丨2023年春节假期民航运送旅客900万人次 同比增长79.8%
【2023年春节假期民航运送旅客900万人次同比增长79 8%】据中国民航局网站消息,2023年1月21日至27日(农历除夕至正月初六),春节假期七天民航运
-
卫生间风水要是布置好了,也能旺运招财!|天天亮点
点击下方名片住宅堪舆知识|订阅我们这些现象千万不能出现在家里,否则家宅不宁是非生!要正确利用传承易学文化、关注我会给你带来好运01卫生间的
-
当前资讯!我驻联合国机构及使领馆举办新春庆祝活动
连日来,中国常驻联合国日内瓦办事处和瑞士其他国际组织代表团以及中国驻多国使领馆,举办丰富多彩的活动,共庆兔年春节。在日内瓦,中国常驻
-
多个全国首创法规正式实施,广东以高水平法治保障高质量发展
2023年伊始,全国首个为地方菜立法的《广东省粤菜发展促进条例》、全国首部地理标志保护地方性法规的《广东省地理标志条例》、全国首部以版权
-
古镇新生:从荒草丛生到人流如织_全球新视野
洽湾古镇位于江西省南丰县,离县城约有半小时车程,因其保有数十栋明清古建筑而声名远扬,还被列为第四批中国传统村落。因交通不便,镇政府迁
-
新年迎财神,这些包让你财运满满!_天天新资讯
新年迎财神,这些包让你财运满满!
-
【世界新视野】52TOYS:与海内外艺术家共创,推动艺术玩具发展
撰文|翟子瑶收藏艺术玩具已经成为国内潮玩和收藏玩具圈的一股新趋势。近几年来盲盒市场不断扩大,把越来越多大众引入潮流玩具的大门,潮玩一度
-
惊险!两车竟然跨越双黄线“别车”_环球热议
新民晚报讯(记者徐驰)昨天(25日)一则两辆机动车在浦三路上相互别车的视频在网上流传。在此过程中,两车跨越双黄线别车,场面十分惊险。有
-
索隆的刀_关于索隆的刀的基本详情介绍 简讯
1、良快刀五十工,是《海贼王》中的武器级别,共50把。2、仅次于无上大快刀十二工和大快刀二十一工。3、已知的有:雪走(已
-
当前快讯:雷蒙德詹姆斯公司:维持Avery Dennison(AVY.US)优于大市评级
雷蒙德詹姆斯公司:维持AveryDennison(AVY US)优于大市评级,目标价由190 00美元调整至205 00美元。
-
福州:文明观展享福气 兔年新春乐陶陶
福州:文明观展享福气兔年新春乐陶陶
-
截止吉林辽源01月25日00时新型冠状病毒肺炎疫情昨日新增0例确诊、0例无症状
近期疫情严峻,病毒传播性强,不侥幸,不冒险,情谊常在,聚会不急一时。截止吉林辽源01月25日00时新型冠状病毒肺炎疫情昨日新增0例确诊、0例
-
“全区范围内开展免费核酸检测”,通告删了……
“全区范围内开展免费核酸检测”,通告删了……
-
当前快播:创新服务暖人心(新春走基层)
创新服务暖人心(新春走基层)
-
1月23日陕西铁路发送旅客18万人次加开24趟旅客列车方便旅客出行
1月23日,大年初二。中国铁路西安局集团有限公司预计发送旅客18万人次,加开旅客列车24趟,满足旅客出行需求。国铁西安局预计23日发送旅客18万
-
播报:什么属相在一起最好 三个生肖最佳配对组合
每个人的性格都有所差异,其实这与一个人的成长环境、生肖有所关联,而两个人想要好好在一起,就需要存在互补的性格,通过两人的共同努力,方
-
美媒列出科比每个赛季的成就和数据,放在今天的NBA是什么水平 热资讯
科比是不是历史前五名的球员,外界有着不同的争论。在欧文等忠实球迷眼中,科比就是历史最佳。因为科比职业生涯拿到了五座NBA总冠军,两次总决
-
焦点短讯!谷爱凌再次夺得冠军
本报讯(记者谢晨)2022-2023赛季国际雪联世界杯自由式滑雪赛加拿大卡尔加里站昨日战罢第二次比赛,中国队选手谷爱凌、张可欣分获女子U型场地
-
2022年10月秋季新番TV动画全球评分排行榜,哪部是你心中的第一呢
(原创不易,请勿搬运)封面这是以Banguimi、Anikore、Myanimelist这三个比较靠谱的网站整理出的评分排行。先放各网站10月新番的TOP10,其中末
-
全球最资讯丨截止青海黄南01月22日12时新型冠状病毒肺炎疫情昨日新增1例确诊、0例无症状
近期疫情严峻,病毒传播性强,不侥幸,不冒险,情谊常在,聚会不急一时。截止青海黄南01月22日12时新型冠状病毒肺炎疫情昨日新增1例确诊、0例
-
希望新的一年也有你陪伴 要闻速递
写的特别差,看的时候感觉可能有种胃疼的感觉,就自己写着玩玩,角色性格和游戏里也有点儿不一样,写的不好别骂然后就是符华的名字虽然我应该
-
连山区气象局发布寒潮蓝色预警【Ⅳ级/一般】【2023-01-21】-天天快播
连山区气象局发布寒潮蓝色预警【Ⅳ级 一般】【2023-01-21】
-
浅深·苦衷4-热推荐
发文了,今天大年30,大家一定要注意好身体,健健康康的哦。周深先回到家,家里已经许久没人住了,不免会有些乱,他收拾了一会。他收拾厨房时,
-
世界球精选!兴发集团(600141)1月20日主力资金净买入3612.45万元
截至2023年1月20日收盘,兴发集团(600141)报收于31 65元,上涨2 06%,换手率1 48%,成交量16 38万手,成交额5 15亿元。
-
最新澳网女单报道!头号种子送蛋晋级,中国选手朱琳将挑战6号种子_全球报资讯
17号种子拉脱维亚选手奥斯塔彭科以6-3、6-0击败乌克兰选手卡特琳娜-班德尔,职业生涯首次打进16强,打进澳网第四轮。在当天的最后两场女单比赛
-
广东结婚彩礼一般给多少 为什么广东彩礼那么低
近些年来,结婚彩礼成了社交媒体上的热门话题,许多人都被高价彩礼给吓到了。但其实我国各地的彩礼风俗都不相同,大部分地区的彩礼都不会太高
-
全球看热讯:春天 我想对你说丨天南海北 千姿百态 “年味儿”就在身边
春天我想对你说丨天南海北千姿百态“年味儿”就在身边---春节临近,“年味儿”也越来越浓了,火红的灯笼、崭新的春联、满桌的菜肴,这些都...
-
预制菜抢占年夜饭市场受年轻人青睐,山东预制菜相关企业排名全国第一 焦点热门
最近,不少在家过年的市民开始准备年夜饭了,老字号、餐饮企业、电商平台、商超等纷纷抢占市场。媒体从盒马获悉,其通过市场调研发现,“在...
-
哪个式神更容易被击杀,如何从不被击杀开始选择你的式神 环球热门
有位移加1分,有免控或者解控技能加2分,有复活,免死,保护,大量双抗加成技能加1分,有加速技能加1分,有一个控制技能加1分有不可选定的技能