B2B网络软件

标题: 利用AWIROK软件:OCR找字后如何模拟鼠标点击? [打印本页]

作者: YYPOST群发软件    时间: 昨天 09:20
标题: 利用AWIROK软件:OCR找字后如何模拟鼠标点击?

利用AWIROK软件:OCR找字后如何模拟鼠标点击? B2B网络软件


var img = screen.screenShotFull();
var ocrres = img.paddleOCR(640, [0, 0, 1, 1]);
var dect = ocrres.findIncludeText('今日头条');
if (dect != null) {
    console.log('今日头条');
    dect.click(); // 点击检测到的“今日头条”区域
    dect.hidClick();
    sleep.millisecond(3000); // 暂停3秒
} else {
    // 找图返回目标数组
    var detects = opencv.findImagesEx('图色982357继续安装.cv');
    if (detects != null) {
        console.log(detects);
        detects[0].hidClick();  
       // detects[0].click(); // 点击检测到的第一个图
        sleep.millisecond(3000); // 暂停3秒
    } else {
        console.log('未找到目标');
        sleep.millisecond(3000); // 暂停3秒后继续下一轮检测
    }
}

通常用于移动设备上的自动化测试或操作。它结合了屏幕截图、OCR文字识别以及图像匹配的功能。下面是对代码的详细解释:

  1. var img = screen.screenShotFull(); 这行代码用于截取屏幕的全屏截图,并将截图保存到变量img中。

  2. var ocrres = img.paddleOCR(640, [0, 0, 1, 1]); 这行代码使用PaddleOCR对截取的屏幕图像进行文字识别。PaddleOCR是一个由百度公司开源的端到端的OCR系统。这里的640可能是设置的分辨率或者是某种参数,而[0, 0, 1, 1]可能是一个坐标框的参数,不过具体的作用需要根据实现细节来确定。ocrres变量将存储OCR识别的结果。

  3. var dect = ocrres.findIncludeText('今日头条'); 这行代码在OCR识别的结果中查找包含“今日头条”字样的文本。如果找到了,那么dect将不为空,并存储找到的结果的位置信息。

  4. if (dect != null) { 这是一个条件判断语句,如果dect变量不为空,也就是在屏幕上找到了“今日头条”字样,那么将执行下面的代码块。

  5. console.log('今日头条'); 在控制台输出“今日头条”。

  6. dect.click(); 点击检测到的“今日头条”字样位置。这可能是一个模拟用户点击的操作,用于触发与“今日头条”相关的操作,比如打开应用。

  7. sleep.millisecond(3000); 暂停程序执行3000毫秒(即3秒),等待页面加载或操作完成。

  8. else { 如果前面的条件不满足,即没有找到“今日头条”字样,那么将执行这个else语句块中的代码。

  9. var detects = opencv.findImagesEx('图色982357继续安装.cv'); 这行代码使用OpenCV库在屏幕截图中查找特定的图像。这里的findImagesEx可能是OpenCV的一个扩展函数,用于在图像中查找与'图色982357继续安装.cv'文件中的图像匹配的区域。detects将存储所有找到的匹配项的位置信息。

  10. if (detects != null) { 这个条件判断语句检查是否有找到匹配的图像。

  11. console.log(detects); 输出所有的匹配项信息到控制台。

  12. detects[0].click(); 点击找到的第一个匹配项的位置。这可能用于模拟用户点击某个图像,例如一个按钮或图标。

  13. sleep.millisecond(3000); 同样是暂停3秒,等待页面加载或操作完成。

  14. else { 如果前面的条件不满足,即没有找到特定的图像,那么将执行这里的else语句块。

  15. console.log('未找到目标'); 在控制台输出“未找到目标”。

  16. sleep.millisecond(3000); 暂停3秒后继续下一轮检测,意味着程序不会立即结束,而是会等待3秒后再次尝试查找“今日头条”字样或特定的图像。

这段代码的目的是自动化地查找并点击屏幕上的“今日头条”字样或特定的图像,如果没有找到,程序会等待一段时间后再次尝试,直到找到目标或执行完毕。






欢迎光临 B2B网络软件 (http://bbs.niubt.cn/) Powered by Discuz! X3.2