利用AWIROK软件：OCR找字后如何模拟鼠标点击？

YYPOST群发软件 · 发表于昨天 09:20

利用AWIROK软件：OCR找字后如何模拟鼠标点击？ B2B网络软件

var img = screen.screenShotFull();
var ocrres = img.paddleOCR(640, [0, 0, 1, 1]);
var dect = ocrres.findIncludeText('今日头条');
if (dect != null) {
    console.log('今日头条');
    dect.click(); // 点击检测到的“今日头条”区域
    dect.hidClick();
    sleep.millisecond(3000); // 暂停3秒
} else {
    // 找图返回目标数组
    var detects = opencv.findImagesEx('图色982357继续安装.cv');
    if (detects != null) {
        console.log(detects);
        detects[0].hidClick();  
       // detects[0].click(); // 点击检测到的第一个图
        sleep.millisecond(3000); // 暂停3秒
    } else {
        console.log('未找到目标');
        sleep.millisecond(3000); // 暂停3秒后继续下一轮检测
    }
}

通常用于移动设备上的自动化测试或操作。它结合了屏幕截图、OCR文字识别以及图像匹配的功能。下面是对代码的详细解释：

var img = screen.screenShotFull(); 这行代码用于截取屏幕的全屏截图，并将截图保存到变量img中。
var ocrres = img.paddleOCR(640, [0, 0, 1, 1]); 这行代码使用PaddleOCR对截取的屏幕图像进行文字识别。PaddleOCR是一个由百度公司开源的端到端的OCR系统。这里的640可能是设置的分辨率或者是某种参数，而[0, 0, 1, 1]可能是一个坐标框的参数，不过具体的作用需要根据实现细节来确定。ocrres变量将存储OCR识别的结果。
var dect = ocrres.findIncludeText('今日头条'); 这行代码在OCR识别的结果中查找包含“今日头条”字样的文本。如果找到了，那么dect将不为空，并存储找到的结果的位置信息。
if (dect != null) { 这是一个条件判断语句，如果dect变量不为空，也就是在屏幕上找到了“今日头条”字样，那么将执行下面的代码块。
console.log('今日头条'); 在控制台输出“今日头条”。
dect.click(); 点击检测到的“今日头条”字样位置。这可能是一个模拟用户点击的操作，用于触发与“今日头条”相关的操作，比如打开应用。
sleep.millisecond(3000); 暂停程序执行3000毫秒（即3秒），等待页面加载或操作完成。
else { 如果前面的条件不满足，即没有找到“今日头条”字样，那么将执行这个else语句块中的代码。
var detects = opencv.findImagesEx('图色982357继续安装.cv'); 这行代码使用OpenCV库在屏幕截图中查找特定的图像。这里的findImagesEx可能是OpenCV的一个扩展函数，用于在图像中查找与'图色982357继续安装.cv'文件中的图像匹配的区域。detects将存储所有找到的匹配项的位置信息。
if (detects != null) { 这个条件判断语句检查是否有找到匹配的图像。
console.log(detects); 输出所有的匹配项信息到控制台。
detects[0].click(); 点击找到的第一个匹配项的位置。这可能用于模拟用户点击某个图像，例如一个按钮或图标。
sleep.millisecond(3000); 同样是暂停3秒，等待页面加载或操作完成。
else { 如果前面的条件不满足，即没有找到特定的图像，那么将执行这里的else语句块。
console.log('未找到目标'); 在控制台输出“未找到目标”。
sleep.millisecond(3000); 暂停3秒后继续下一轮检测，意味着程序不会立即结束，而是会等待3秒后再次尝试查找“今日头条”字样或特定的图像。