黑盒测试中关键截图如何打点

举报
霍格沃兹测试开发 发表于 2022/12/04 11:15:46 2022/12/04
【摘要】 欢迎关注公众号:TestingStudio,学习更多测试开发必备技能Android黑盒测试过程中如何进行有效的打点是我们经常遇到的问题,我们一般会在脚本内部进行数据打点,也可以使用其他进程录屏或截图。那我们如何选取合适的方式进行打点记录呢?下图是对常用打点方式的统计!对于测试开发人员来说有效的关键截图信息是最直观的数据,可以很快定位问题场景!本文重点介绍如何在Shell进程内统计屏幕截图变化...

欢迎关注公众号:TestingStudio,学习更多测试开发必备技能

Android黑盒测试过程中如何进行有效的打点是我们经常遇到的问题,我们一般会在脚本内部进行数据打点,也可以使用其他进程录屏或截图。那我们如何选取合适的方式进行打点记录呢?下图是对常用打点方式的统计!对于测试开发人员来说有效的关键截图信息是最直观的数据,可以很快定位问题场景!本文重点介绍如何在Shell进程内统计屏幕截图变化。

第三方服务截图

本方案可以在uiautomator1.0脚本内实现,也可以自定义Shell进程服务来实现。个人推荐自定义Shell服务,然后用app_process命令启动。即使脚本出现异常退出了也不会影响截图服务,并且可以截取脚本启动前和结束后的状态。最主要的是Android R开始不再支持uiautomator1.0脚本。

主要通过Activity监听、定时器、进程监听服务触发截图操作:在页面变化时、进程状态变化时以及定时检测页面状态。除此之外我们需要一个App提供图片相似度的比较,或者搭建其他图片匹配服务也可以。

Activity变化和应用异常时截图

1.首先我们要注册ActivityController

①. 直接通过IActivityController.Stub()方法获取ActivityController对象;

②. 通过ActivityManager的setActivityController方法设置监听,设置成功后切换页面时就会回调对应的方法;

2.我们可以在ActivityController的回调中记录关键截屏信息,主要信息有:

**①. **新打开的Activity:点击按钮跳转页面时;

**②. **恢复显示的Activity:按返回键退回到上一级页面时显示的页面;

**③. **App产生崩溃的详细信息以及截图;

**④. **App产生ANR时的详细信息以及截图;

**⑤. **我们可以在activityStarting和activityResuming方法中对打开的页面进行控制。

3.缺点

**①. **如果其他进程也注册这个服务,那么会相互影响,只有最后注册的服务有效;

**②. **当在页面中切换Fragment时无法感知到事件变化;

**③. **必须在Shell进程内执行,普通App内是无法注册成功的;

IActivityController mActivityController = new IActivityController.Stub() {
    //当调用Activity的onCreate方法(跳转新页面)时回调此方法,
    //return false时不会启动Activity;return true时正常启动Activity
    //不要在这个方法内做耗时操作
    @Override
    public boolean activityStarting(Intent intent, String pkg) throws RemoteException {
        return true;
    }
    //当调用Activity的onResume方法(比如dialog消失)时会调用这个方法
    @Override
    public boolean activityResuming(String pkg) throws RemoteException {
        return true;
    }

    /**
     * 有应用在Java层产生异常时回调此方法
     * 返回true时,会显示应用crash的弹窗,返回false时会立即kill应用
     */
    @Override
    public boolean appCrashed(String processName, int pid, 
        String shortMsg, String longMsg, long timeMillis, 
        String stackTrace) throws RemoteException {
        return false;
    }

    /**
     * 检测到ANR异常时就会回调此方法
     */
    @Override
    public int appEarlyNotResponding(String s, int i, String s1) throws RemoteException {
        return 0;
    }

    /**
     *  应用产生ANR时回调此方法,
     * Return 0 时显示 "应用停止响应" 弹窗。
     * Return 1 时不做任何操作,等待应用恢复正常;
     * Return -1 时结束产生ANR的应用.
     */
    @Override
    public int appNotResponding(String processName, int pid, 
        String processStats) throws RemoteException {
        return -1;
    }

    /**
    * 系统停止响应时回调此方法,可以在这个方法里面对设备进行些恢复工作         
    */
    @Override
    public int systemNotResponding(String msg) throws RemoteException {
        return 0;
    }
};

进程变化监听

由于ActivityController服务存在被干扰的情况,我们需要其他服务进行辅助判断,通过ActivityManager注册IProcessObserver可以获取进程变化的回调,特别是在onForegroundActivitiesChanged方法内可以判断是否触发页面切换。

通过IProcessObserver可以实现的功能:

**①. **在onForegroundActivitiesChanged方法内监听页面变化;

**②. **在onProcessStateChanged和onProcessDied方法内可以统计App的线程生命周期;

**③. **可以统计app运行期间创建的线程信息;

**④. **该服务被不同进程注册时,相互间互不影响;

缺点:

**①. **没有直观信息,需要使用uid进行关联,处理复杂;

IProcessObserver mProcessObserver = new IProcessObserver.Stub() {
    //与用户交互的Activity发生变化时foregroundActivities为true,否则foregroundActivities为false
    //uid产生该活动的应用标识,可以用包信息匹配到具体的应用
    //pid 当前活动的线程/进城ID
    @Override
    public void onForegroundActivitiesChanged(int pid, int uid,
         boolean foregroundActivities) throws RemoteException {
        if(foregroundActivities) {
        //
        }
    }

    //活动状态发生变化时调用,在此方案内实际意义不大
    @Override
    public void onProcessStateChanged(int pid, int uid, int importance) 
        throws RemoteException {
    }
    //结束时调用
    @Override
    public void onProcessDied(int pid, int uid) throws RemoteException {
    }
};

综合应用

上面两种方案各有优劣,我们可以将他们整合在一个流程内实现较为完善的截图机制:

①. 首先我们的服务主要依赖于ActivityController进行页面变化的感知,以便于获取详细的信息和精确控制;

**②. **我们注册IProcessObserver进行辅助验证,当页面发生变化时我们进行截屏,并通过ActivityController最后一次接收事件的时间判断其服务状态,如果服务状态异常,那么我们重新注册ActivityController服务;

**③. **开始监控页面时我们初始化一个定时器,可以定时(2S)截取屏幕,将当前截图Bitmap与上一次的截图Bitmap做图像匹配,如果图片相似度小于0.8,那么可以认定页面发生了变化,如果5S内没有保存过页面信息,那么需要重新初始化ActivityController服务。

Root设备的特殊方案

Android系统是基于Linux系统的移动操作系统。它们可以通过getevent命令输出键盘和屏幕事件,包括响应事件的坐标区域和键盘key值。但是Android系统基于安全考虑,大部分真机系统是没有权限执行getevent命令的,它不会输出任何有效信息,但是华为手机(荣耀20 i)上却可以正常使用。这是一个非常危险的权限,大家自己的手机还是不要开启开发者模式了!

/dev/input/event2: EV_ABS       ABS_MT_POSITION_X    0000024b
/dev/input/event2: EV_ABS       ABS_MT_POSITION_Y    0000065d
/dev/input/event2: EV_ABS       ABS_MT_PRESSURE      000000f5
/dev/input/event2: EV_ABS       ABS_MT_TRACKING_ID   00000000
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MAJOR   000000a5
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MINOR   00000087
/dev/input/event2: EV_ABS       ABS_MT_ORIENTATION   ffffffc6
/dev/input/event2: EV_ABS       ABS_MT_BLOB_ID       00000002
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_KEY       BTN_TOUCH            DOWN
/dev/input/event2: EV_SYN       SYN_REPORT           00000000
/dev/input/event2: EV_ABS       ABS_MT_POSITION_X    0000024b
/dev/input/event2: EV_ABS       ABS_MT_POSITION_Y    0000065c
/dev/input/event2: EV_ABS       ABS_MT_PRESSURE      00000067
/dev/input/event2: EV_ABS       ABS_MT_TRACKING_ID   00000000
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MAJOR   000000b4
/dev/input/event2: EV_ABS       ABS_MT_TOUCH_MINOR   000000a5
/dev/input/event2: EV_ABS       ABS_MT_ORIENTATION   ffffffc1
/dev/input/event2: EV_ABS       ABS_MT_BLOB_ID       00000002
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_SYN       SYN_REPORT           00000000
/dev/input/event2: EV_SYN       SYN_MT_REPORT        00000000
/dev/input/event2: EV_KEY       BTN_TOUCH            UP
/dev/input/event2: EV_SYN       SYN_REPORT           00000000

**ABS_MT_POSITION_X **屏幕的横坐标,后面一列是坐标的十六进制数据

**ABS_MT_POSITION_Y **屏幕纵坐标,后面一列是坐标的十六进制数据

BTN_TOUCH 代表屏幕事件,后面如果是DOWN则代表按下,后面如果是UP代表抬起

我们可以根据ABS_MT_POSITION_X和ABS_MT_POSITION_Y信息和BTN_TOUCH为DOWN的事件计算响应按下事件的屏幕位置,然后通过BTN_TOUCH为UP的事件计算抬起的屏幕位置,然后用按下和抬起的坐标差来判断该时间是点击还是滑动,然后我们可以进行屏幕截图,甚至在截图上绘制事件的轨迹。

【版权声明】本文为华为云社区用户原创内容,转载时必须标注文章的来源(华为云社区)、文章链接、文章作者等基本信息, 否则作者和本社区有权追究责任。如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容,举报邮箱: cloudbbs@huaweicloud.com
  • 点赞
  • 收藏
  • 关注作者

评论(0

0/1000
抱歉,系统识别当前为高风险访问,暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称,即可参与社区互动!

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符,设置后3个月内不可修改。