测试中如何管理外包质量_如何从测试自动化中实现价值
如果几年前，质量管理部门都试图通过ROI指标来证明对测试的投资是合理的，那么现在情况发生了变化，是时候重新审视这个问题了。当实施连续测试，并且每天在不同的环境下以不同的角色运行多次测试自动化时，由于测量方法与以前大不相同，因此ROI成为不合时宜的术语。试图衡量和证明测试投资合理性的未来5-10年的关键术语应该是VALUE。
连续测试的目的
在说明投资回报率一词之前，让我们先设定一下现代测试自动化尤其是连续测试的目标。
在敏捷测试宣言中，我用粗体标记了此类测试背后的关键价值。
- 持续测试超过在种种环境进行测试。
- 拥抱所有的测试活动而不仅仅是在自动化功能测试。
- 在整个团队中进行测试，而不是在孤立的测试部门中进行测试。
- 产品覆盖率超过代码覆盖率。
如果要应用上述方法，则此类测试的主要目标是通过整个团队对产品进行的高价值测试以及整个测试类型(功能性和非功能性)来识别业务风险。在上面的陈述中，除了测试的值之外，没有任何度量或量化方法。
连续测试的关键支柱
为了实现连续测试， 组织应着重于内部创建测试自动化的能力，并在可靠的实验室中以及一天结束时按需大规模执行它，或者使用智能方法分析结果以使测试有意义量化的结果数据。
如果上述支柱符合组织的测试策略和优先级，则用于创建和执行测试的工具和技术将相匹配是有具有非常重要的意义的。
这里最大的问题是：我该如何证明在上面的提到的方面进行的投资？有哪些相关措施？每个步骤中谁都拥有什么样的权利？什么样子才是正确的？
从投资回报率到测试价值
为了解决上述问题，让我们确定谁在当今的敏捷和DevOps实践中进行测试。提供高质量和高价值的软件是功能团队的责任。考虑到这一点，将业务测试人员，开发人员和测试自动化工程师一起工作，并创建自动化测试方案以及手动探索性测试以实现其目标。虽然可能有现代化的COE或质量领导职能来监督组织内部的测试策略，确定预算和工具，但实际工作实际上是在团队内部完成的。
如果您与我一致认为价值是测试中最重要的事情，那么让我们尝试将价值分解为度量：
- 周期内的测试数量
- 重复发现缺陷的测试数量
- 导致CI作业失败的测试数量
- 因根本原因(对象ID，实验室，编码技能，平台状态等)分类失败的测试数量
尽管还有其他指标，但上面的指标清楚地表明了测试实际上是否符合他们期望的发现错误，或者仅仅是在制造麻烦和软件团队浪费。
从一些市场标准来看，每个KLOC(1000行代码)平均存在10-15个缺陷，每个KLOC都有0.5个缺陷逃到生产中。如果遵循这个数字，很明显，现在发现和报告的绝大部分的缺陷都是误报。要在连续测试中取得成功，需要有纪律和对价值的正确衡量，以确保报告为错误的大多数失败测试确实存在问题，相反的情况会在整个DevOps团队中造成混乱。
考虑到这一点，团队必须承认测试质量和产品质量是及时的事实，因此，您需要不断地对其进行测量和维护，以获取产品的实际状态。
如何实现比价值？
长话短说，在测试生命周期中，只有一个地方可以提供整个测试活动的价值，这就是测试报告！
如果您从编写代码的那一刻起就考虑到测试的整个生命周期，包括调试，执行和提交到现行中，那么开发人员(无论可能是谁)都会在测试“通过”之时告别测试。在他的环境中。只有在正式测试周期中测试失败(可能是CI，其他事件触发的回归等)时，测试所有者和测试之间的团聚才会发生。这意味着，从测试集成到套件直到失败为止，都有一个盲区。除了对测试感到满意以外，没有真正的理由来复盘它(如果它当然是一项高价值的测试)。现在，考虑一下一组1000个平均失败率为10％的测试案例。这意味着我们现在有100个失败的测试场景，需要有人审查和报告。每KLOC 10-15个缺陷，事实表明至少有80％的测试不是真正的bug。该团队现在必须处理80个测试用例的调试，这些调试可能会也可能不会增加产品的价值。
我认为到目前为止，这一点很明确–> 测量测试自动化值是从上述指标开始的，并且大多数测试用例的概念在以10倍的时间作为回归运行时都不会揭示关键的错误。要了解哪些测试可以增加价值，什么没有增加价值，什么仅仅是误报和不稳定的软件工程，您需要对测试活动的每个领域都具有适当的测试报告和质量可视性。
底线–投资时间，即金钱的资源，应牢记这些测试的附加值。每个周期使用老式的通过/失败测试效果不错，但无法跟上当今技术的步伐，因此，需要对测试如何实时，随时间，针对每个平台，针对每个功能区域进行更认真的检查。不要太依赖您的测试代码，如果短时间后仍不能证明自己，只需删除它即可。您只能通过报告评估测试是否带来了价值。
- 郑重声明：文章禁止第三方(腾讯云除外)转载、发表，事情原委测试窝，首页抄我七篇原创还拉黑，你们的良心不会痛吗？
技术类文章精选
- java一行代码打印心形
- Linux性能监控软件netdata中文汉化版
- 接口测试代码覆盖率(jacoco)方案分享
- 性能测试框架
- 如何在Linux命令行界面愉快进行性能测试
- 图解HTTP脑图
- 将swagger文档自动变成测试代码
- 五行代码构建静态博客
- 基于java的直线型接口测试框架初探
- JUnit中用于Selenium测试的中实践
非技术文章精选
- 为什么选择软件测试作为职业道路?
- 写给所有人的编程思维
- 成为优秀自动化测试工程师的7个步骤
- 手动测试存在的重要原因
- 成为自动化测试的7种技能
- 自动化和手动测试，保持平衡！
- 自动化测试生命周期
- 如何在DevOps引入自动化测试
- Web端自动化测试失败原因汇总
相关文章：
2022-2028年中国碘矿行业竞争格局分析及市场需求前景报告
【报告类型】产业研究 【报告价格】4500起 【出版时间】即时更新（交付时间约3个工作日） 【发布机构】智研瞻产业研究院 【报告格式】PDF版 本报告介绍了中国碘矿行业市场行业相关概述、中国碘矿行业市场行业运行环境、分析了中国碘矿行业市场行业的…
centos下axel安装与使用
一、获得Axel32位系统：wget -c http://www.centoscn.com/tool/axel-2.4-1.el5.rf.i386.rpm rpm -ivh axel-2.4-1.el5.rf.i386.rpm #安装64位系统：wget -c http://www.centoscn.com/tool/axel-2.4-1.el5.rf.x86_64.rpm rpm -ivh axel-2.4-1.el5.rf.x86_64…
Qt编译PX4源码，参考如下进行配置
参考链接： https://blog.csdn.net/qq_38768959/article/details/106822491如单独打开一个的话可以选择打开仿真编译套件，如需下载则选择下载套件！
Unity三维游戏开发C#编程大师班 Masterclass In C# Programing Unity 3D Game Development FPS
本课程采用现代游戏开发(Unity 2021)的最新内容和最新技术 学习任何东西的最好方法是以一种真正有趣的方式去做，这就是这门课程的来源。如果你想了解你看到的这些不可思议的游戏是如何制作的，没有比这门课更好的起点了。我们确保本课程具备一切你需要的…
Integer.toHexString(b & 0xff)理解以及& 0xff什么意思
首先toHexString传的参数应该是int类型32位，此处传的是byte类型8位，所以前面需要补24个0。然后& 0xff 就是把前面24个0去掉只要后8位。toHexString(b & 0xff)相当于做了一次位的与运算，将前24位字符省略，将后8位保留。是两个十六进制的数,每个f用二进制表示是1111,所以占四位（bit）,两个f（）占八位（bit），八位（bit）也就是一个字节（byte）.这个方法是把字节（转换成了int）以16进制的方式显示。我的理解是这样，如有不对欢迎指正！
DIV+CSS规范命名大全集合
网页制作中规范使用DIVCSS命名规则，可以改善优化功效特别是团队合作时候可以提供合作制作效率，具体DIV CSS命名规则CSS命名大全内容篇。 常用DIVCSS命名大全集合，即CSS命名规则 DIV CSS命名目录命名规则说明重要CSS命名CSS命名参考表命名技巧…
Java中的位运算符号详解（&、|、^、~、＜＜、＞＞、＞＞＞）
（&&）在运算时，如果（&&）前面的表达式的结果为false，则（&&）后面的表达式就不会执行运算。（||）在运算时，如果（||）前面的表达式的结果为true，则（||）后面的表达式就不会执行运算。（&）在运算时，不论（&）前面的表达式的结果是否为false，（&）后面的表达式都会执行运算；（|）在运算时，不论（|）前面的表达式的结果是否为true，（|）后面的表达式都会执行运算；在Java中，（&）不仅可以作为位运算符号，同样也可以作为逻辑与符号，要注意：（||）并不是位运算符号，不可以参与位运算！
unity 200.8m yoy_专场分享会|大会最新Unity、中创文旅专场预告来啦！
北京国际游戏创新大会将于9月25日-27日分别在中华世纪坛发布厅、中华世纪坛剧场、京都信苑国际厅、京都信苑欧式厅、京都信苑圣马可厅、京都信苑第三会议室，6大场馆举办129场游戏行业主题分享，之前小编已经给大家介绍过腾讯、微软、完美世界、巨量引擎等…
2022-2028年中国碲化镉薄膜太阳能电池行业发展现状分析及投资前景趋势报告
【报告类型】产业研究 【报告价格】4500起 【出版时间】即时更新（交付时间约3个工作日） 【发布机构】智研瞻产业研究院 【报告格式】PDF版 本报告介绍了中国碲化镉薄膜太阳能电池行业市场行业相关概述、中国碲化镉薄膜太阳能电池行业市场行业运行环…
从高耦合到低耦合到底有多远？
一切都是拥抱变化，反过来说，如果没有变化或者需求很稳定，那么一切就是过度设计。所以，一切都要看情况，回到了马克思主义的辩证学。呵呵。无论书还是博客， 耦合这个词已被无数人说烂，任何一位程序…
写论文查论文查参考文献
知网翻译助手：网页知网翻译助手 百度学术：百度学术—导出参考文献 IEEE：IEEE 添加上标：如下图 添加后，如下图： 添加完成！ WPS软件里面的公式编辑器添加空格为CtrlAltSpace即可！ …
C# Unity编程终极指南
使用现代Unity开发技术创建一个有趣的2D平台，掌握Unity引擎和C#编程 你会学到: 学习C#的基础知识。从变量、“如果”语句到创建面向对象的结构。没有编程经验是必要的。 创建一个可玩的角色(征服者)，具有动画，向任何方向移动，跳跃…
咪咕盒子链接服务器失败_云服务器怎样备份数据库备份
云服务器怎样备份数据库备份？云服务器数据库的备份很重要，而手动操作会比较麻烦。以西部数码云服务器为例，可以实现 Ms Sqlserver数据库定时自动备份，并存至指定存储空间。打开链接 下载，下载后无需安装，点…
在Ubuntu下构建Bullet以及执行Bullet的样例程序
在Ubuntu下构建Bullet以及执行Bullet的样例程序1、找到Bullet的下载页，地址是：https://code.google.com/p/bullet/downloads/list2、下载Bullet。找到.tgz格式进行下载。我下载的版本号是bullet-2.82-r2704。 3、假设没有安装cmake，那么使用s…
2022-2028年中国第五代移动通信技术（5G）市场研究及前瞻分析报告
【报告类型】产业研究 【报告价格】4500起 【出版时间】即时更新（交付时间约3个工作日） 【发布机构】智研瞻产业研究院 【报告格式】PDF版 本报告介绍了中国第五代移动通信技术（5G）行业市场行业相关概述、中国第五代移动通信…
机房合作—我是组长
五一期间开始机房合作，到现在一个多星期了。我，蕾蕾，亮亮一组，我担任组长一职。在着手准备项目开始之前，我们听取了各位师父的一些建议，也算是给我们指明一下方向。第一天晚上，我召开了我们项目…
Linux环境下命令行截图【转】
参考链接：命令行截图 将剪切板内容粘贴出来：CtrlV
用Unity和Playmaker创建一个限时游戏 Creating a Time Limit game with Unity and Playmaker
本课程结束时，您将拥有在Unity中使用Playmaker创建游戏的工具 你会学到: playmaker状态的基础以及它们如何与动作一起工作。 安装悬停车，可以在竞技场内行驶。 不同力度的射击地雷驱动中心机。 设置坏地雷和电源盒。 设置主时光机机制。 影响时间机器的…
app.vue 跳转页面_独立站如何提高产品页面转化呢?
在网上商城中，你的产品页面也是销售页面。顾客进入产品页面，然后根据你提供的产品描述内容，再决定是否立马购买，或者以后再考虑购买。以下是小跨收集的可以用于提高你独立站产品描述页面转化的几个要素。1.撰写激动人心的产品标题…
原生javascript实现放大镜效果
2019独角兽企业重金招聘Python工程师标准>>> html部分： <div class"main"><div id"xiaotu" class"xiaotu"><img src"http://zhangyan520.com/1.jpg" alt"" /><div id"yido…
新建个人博客参考
各种配置过程：新建参考 如果输入链接，出现如下截图，参考：报错404
C4D+ PS打造城市场景 Create a Cityscape with Cinema 4D + Photoshop
初级到中级课程，包括创建真实的城市景观可视化的步骤 你会学到: 建筑三维建模所涉及的创造性和技术性步骤。 使用变形器和MoGraph克隆器创建建筑变体，以更改每个建筑的形状。 创建城市街区，添加环境和提高中央处理器性能的技巧。 使用Adobe …
抽象工厂————三层架构
抽象工厂作用:降低BLL和Model层耦合度 核心思想:1.通过接口类实现对象的分离 2.通过一个类，实现指定对象的创建，并且这个类通过配置文件决定获取哪个对象 这样只要调用一个接口和这个类，就能实现BLL和Model的分离 这样做的优点是便于维护和…
jQuery 一次定时器_干货 | 小论定时器玩法(时间轮询法)
EEWORLD电子资讯 犀利解读 技术干货 每日更新经常来说，对于一些不复杂的单片机应用，而且对于内存和存储要求比较严格，又需要多分时去处理一些指定的任务，在无法使用RTOS的情况下，使用一个硬件定时器，来建立…
第一次团队冲刺2
今天在自己电脑上搭建了webservice，学习了很多关于webservice的知识，但还有很多不懂的。 还没有做好连接，其他的如查询等也没做。转载于:https://www.cnblogs.com/318abc/p/4504085.html
基于四元数互补滤波的无人机姿态解算
导航坐标系为东北天（ENU），其与机体坐标系（b）的方向余弦矩阵为CbcC_{b}^{c}Cbc
Unity粒子系统创建VFX游戏特效学习教程 Visual Effects in Unity Particle Systems [Beginner’s Guide]
在Unity中学习高级粒子系统和视觉效果创建。初级到中级 你会学到: 游戏的视觉效果 Unity粒子系统 Unity中的Vfx 创建Unity视觉效果的初级到中级指南 课程获取：Unity粒子系统创建VFX游戏特效学习教程-云桥网 MP4 |视频:h264，1280720 |音频:AAC…
gulp 配置自动化前端开发
有的人说，grunt已经廉颇老矣，尚能饭否。gulp已经成为了未来的趋势，或许将撼动grunt的地位。 那么就得看看gulp到底优势在哪里，在我最近的使用中发现，我的到了一个结论：“grunt廉颇老矣...”。 gulp是基于流…
iphone相册怎么加密_iphone相册加密码锁，保护隐私
在以往很多使用iphone的小伙伴都会遇到一个难题，在不越狱的情况下进行给相册进行设置密码锁，这是一个无法完成的目标，在前几期也为大家分享了相册照片加密方法，但是用起来很是不方便，今天就为大家分享利用时间限额达到…
redis 常用配置
1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程 daemonize no 2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定 pidfile /var/run/redis.pid …