罗源| 乌当| 余庆| 宁明| 辛集| 河口| 滁州| 斗门| 礼县| 南江| 闽侯| 泗阳| 五原| 拉萨| 称多| 乌当| 东沙岛| 榆社| 平顶山| 定结| 汝城| 阿荣旗| 四平| 沈丘| 高明| 鲁山| 潞城| 南丰| 金塔| 黑河| 长葛| 桑日| 察哈尔右翼中旗| 临颍| 渝北| 惠东| 清原| 永德| 昌都| 分宜| 察哈尔右翼中旗| 长顺| 惠安| 安阳| 铁山港| 敖汉旗| 阜康| 索县| 红河| 铜山| 华安| 松溪| 沅陵| 湖口| 唐山| 兴城| 长宁| 余干| 烟台| 上杭| 马鞍山| 松江| 鹿邑| 朝阳市| 高雄县| 称多| 碾子山| 双牌| 盘山| 本溪市| 茄子河| 鸡泽| 三原| 新河| 保靖| 安丘| 阿图什| 宁晋| 吉首| 虎林| 怀仁| 东辽| 乌拉特前旗| 叶县| 双辽| 金平| 中宁| 抚宁| 镶黄旗| 洛浦| 台安| 万州| 榆林| 高港| 东西湖| 河津| 达尔罕茂明安联合旗| 察雅| 巴东| 定西| 阿图什| 北川| 西昌| 故城| 泽普| 景县| 五大连池| 南沙岛| 安乡| 隆子| 新丰| 谷城| 金溪| 烈山| 靖州| 环县| 马鞍山| 正定| 双江| 莱西| 洪江| 盐亭| 乌兰察布| 西丰| 高阳| 晴隆| 吴忠| 漳浦| 大洼| 古丈| 辉南| 静海| 呼和浩特| 桂东| 雅江| 李沧| 乌兰察布| 南川| 扎赉特旗| 石泉| 周村| 胶州| 新疆| 察布查尔| 南海镇| 原平| 昭苏| 伊金霍洛旗| 合江| 东沙岛| 建湖| 布尔津| 宝山| 武当山| 启东| 昂仁| 邵武| 鞍山| 额尔古纳| 咸丰| 东方| 博山| 东丰| 茂县| 太仆寺旗| 砚山| 通化市| 徐闻| 盘县| 凤冈| 溧水| 白银| 夏县| 建平| 新安| 谷城| 宝坻| 建阳| 寻乌| 安岳| 得荣| 湖州| 迭部| 崇仁| 岳普湖| 循化| 咸宁| 浏阳| 丰县| 长清| 遵化| 丰南| 四川| 灵寿| 兴平| 花垣| 南木林| 衡南| 化德| 南县| 郧西| 枣阳| 贺兰| 沐川| 宁波| 清水河| 汉口| 中山| 保德| 遂宁| 龙陵| 西和| 九江县| 安平| 虞城| 金山屯| 北票| 横山| 商水| 大港| 汾西| 四平| 息烽| 天等| 明光| 吉安县| 连平| 奉节| 汪清| 景谷| 巩义| 武进| 崇阳| 勉县| 广西| 琼中| 西乡| 宝鸡| 浮梁| 衡水| 东至| 涿州| 茶陵| 定边| 台北县| 宁海| 德惠| 郫县| 乐清| 丰宁| 纳溪| 宁城| 寿宁| 阿克陶| 锦州| 龙川| 庆云| 土默特左旗| 法库| 玉田| 乌拉特后旗| 武川| 高青| 铜陵县| 澳门葡京官网

[经验] 误差分析:根据开发集样本评估想法

2 小时前  29 机器学习 误差分析
分享
0

在使用猫咪 app 时,你注意到它将一些狗的图片误分类为猫了,因为有些狗的样子的确很像猫。
团队中有人建议,加入第三方软件来帮助系统更好地处理狗的样本,但这需要一个月的时间去完成。面对团队成员高涨的热情,你会允许他们这样做吗?

在执行这项计划前,我建议你先预估一下该任务能提升多少系统精度。这样你就能够更加理性地判断是否值得花一个月的时间做这件事,还是将这段时间用于其它任务。

具体而言,你可以这样:
1. 收集 100 个开发集中被误分类的样本,即造成系统误差的样本。
2. 人为查看这些样本,并计算其中狗的比例。

查看误分类样本的这一过程称为误差分析。在上面的例子中,如果只有 5% 误分类的图像是狗,那么无论你在狗的问题上做多少的算法改进,最终都不会消除超过原有的 5% 误差 . 也是说 5% 是该计划项目所能起到帮助的“上限”(最大可能值)。所以如果整个系统当前的精度为 90%(对应误差为 10%),那么这种改进最多能将精度提升到 90.5% (对应误差下降到9.5% , 改进了原有 10% 误差其中的 5%)。

相反,如果你发现 50% 的误分类图像是狗,那就可以自信地说这个项目将效果明显,它可以将精度从 90% 提升到 95% (相对误差减少 50%,整体误差由 10% 下降到 5%)。

这种简单的误差分析计算过程可以协助你快速评估,从而了解是否需要将处理狗样本的第三方软件进行整合。它为是否值得进行这项投入给出了一个量化的基准。

误差分析也可以帮助你在不同的想法中发现哪些想法将更有前景。我见过许多工程师不愿意进行误差分析,他们更倾向于直接提出一个并实现一个想法,而不考虑该想法是否值得花时间去投入。这是一个普遍的误解:后果可能是你的团队在耗费一个月的时间后却发现收益甚少。

人为检查 100 个样本并不会占用太多的时间。即使你每分钟只检查一张图片,也能够在两小时内完成,而这两个小时可能可以帮你节省一个月的工作量。

误差分析(Error Analysis) 指的是检查被算法误分类的开发集样本的过程,以便帮助你找到造成这些误差的原因。这将协助你确定各个项目的优先级(就像上面的例子所提到的那样)并且获得探索新方向的灵感,我们将会在之后再讨论这些内容。接下来的几章会给出一些误差分析的最佳实践。

标签:邦迪 番摊游戏赌场 司徒镇

只有小组成员才能发言,加入小组>>

38个成员聚集在这个小组

加入小组

创建小组步骤

关闭

站长推荐 上一条 /7 下一条