B2B网络软件

标题: 通用找图OCR点字完整脚本骨架 [打印本页]

---

作者: YYPOST群发软件    时间: 1 小时前
标题: 通用找图OCR点字完整脚本骨架

通用找图OCR点字完整脚本骨架

1. // ============================================================================
   
2. //  AIWROK 通用「找图 + OCR 点字」完整脚本骨架  （案例 #02 配套）
   
3. // ============================================================================
   
4. //  这才是一条正常在跑的脚本：复位 → 主循环 → 每轮 找图/OCR → 命中就点 → 下滑 → 随机等待 → 打日志。
   
5. //  会持续运行（默认 20 轮、每轮等 1.5~4 秒，几十秒~几分钟），不是一秒结束的自检。
   
6. //
   
7. //  用法：
   
8. //    1) 只改【配置区 CFG】：targets 里填你的按钮模板(base64，没有就留 null)，words 里填界面真实文字；
   
9. //    2) 直接运行，看日志：每一轮做什么、点没点、坐标多少、下一轮什么时候开，全打出来；
   
10. //    3) 里面 findPic / ocrFind / doClick / doSwipe 都是可抠走的通用函数，避坑写法已焊死：
    
11. //       判 null 不崩、百分比坐标 percentToWidth/Height 转像素、截图用完 recycle。
    
12. //
    
13. //  安全：默认 RUN_CLICK=false 时只“找到并打印坐标”不真点，先空跑验证再放开，防误点。
    
14. // ============================================================================
    
15. 
    
16. // ============================ 一、配置区（只改这里） ============================
    
17. var CFG = {
    
18.     rounds: 20,                     // 跑多少轮后自动结束（想一直跑就写很大，如 999999）
    
19.     runClick: true,                // ★先 false 空跑看日志，确认找得对再改 true 真点
    
20.     scroll: true,                   // 每轮结束后下滑一屏（养机/信息流常用）
    
21.     waitMin: 1500, waitMax: 4000,   // 每轮随机等待(ms)，防封，别设固定值
    
22.     idleStop: 6,                    // 连续这么多轮啥都没命中就提前收工（0=不停）
    
23. 
    
24.     // 模板找图：{名字, base64模板(没有填 null), 搜索区域比例[x1,y1,x2,y2]}
    
25.     targets: [
    
26.         { name: "关注按钮", tpl: null, region: [0, 0, 1, 1] },
    
27.         { name: "关闭广告X", tpl: null, region: [0.80, 0, 1, 0.20] },
    
28.     ],
    
29.     // OCR 点字兜底：界面里出现这些文字就点它（换成你 App 的真实按钮文案）
    
30.     words: ["关注", "点赞", "下一条"],
    
31. 
    
32.     threshold: 0.82,                // 找图阈值，找不到先降到 0.75 再试
    
33. };
    
34. 
    
35. // ============================ 二、通用函数（可整段复制进工程） ============================
    
36. function log(msg) { printl("[" + new Date().getTime() % 100000 + "] " + msg); }  // printl 才有输出
    
37. 
    
38. function getScr() {
    
39.     var s = { w: 1080, h: 2400 };
    
40.     try { s.w = screen.getScreenWidth(); s.h = screen.getScreenHeight(); } catch (e) {}
    
41.     return s;
    
42. }
    
43. function rand(a, b) { return Math.floor(a + Math.random() * (b - a + 1)); }
    
44. function sleepMs(ms) { try { sleep.millisecond(ms); } catch (e) { java.lang.Thread.sleep(ms); } }
    
45. 
    
46. // 点击：无障碍 auto.clickPoint → 全局 click 两级降级（不用HID）；runClick=false 时只打印
    
47. function doClick(x, y, tag) {
    
48.     x = Math.max(1, Math.min(getScr().w - 1, x));
    
49.     y = Math.max(1, Math.min(getScr().h - 1, y));
    
50.     if (!CFG.runClick) { log("  占位不点[" + tag + "] (" + x + "," + y + ") —— runClick=false"); return false; }
    
51.     var ok = false;
    
52.     try { if (typeof auto !== "undefined" && auto.clickPoint) { auto.clickPoint(x, y); ok = true; } } catch (e) {}
    
53.     if (!ok) { try { click(x, y); ok = true; } catch (e) {} }
    
54.     log("  点击[" + tag + "] (" + x + "," + y + ") ok=" + ok);
    
55.     return ok;
    
56. }
    
57. 
    
58. // 下滑一屏：auto.swip → auto.dispatchGesture 两级降级（无障碍，不用HID）
    
59. function doSwipe() {
    
60.     if (!CFG.scroll) return;
    
61.     var s = getScr();
    
62.     var cx = Math.round(s.w * 0.5), y1 = Math.round(s.h * 0.75), y2 = Math.round(s.h * 0.30);
    
63.     var ok = false;
    
64.     try { if (typeof auto !== "undefined" && auto.swip) { auto.swip(cx, y1, cx, y2, 600, 0); ok = true; } } catch (e) {}
    
65.     if (!ok) { try { if (typeof auto !== "undefined" && auto.dispatchGesture) { auto.dispatchGesture(cx, y1, cx, y2, 600); ok = true; } } catch (e) {} }
    
66.     log("  下滑 (" + y1 + "→" + y2 + ") ok=" + ok);
    
67. }
    
68. 
    
69. // 找图：★判 null + ★百分比转像素（案例 #02 两条命门都在这）
    
70. function findPic(templateB64, regionPct, threshold) {
    
71.     if (!templateB64) return null;
    
72.     var region = regionPct || [0, 0, 1, 1];
    
73.     var detects = null;
    
74.     try { detects = auto.findImages([templateB64], threshold == null ? CFG.threshold : threshold, 0, 1, region); }
    
75.     catch (e) { log("  findImages异常(当null): " + e); return null; }
    
76.     if (!detects || detects.length === 0) return null;          // 命门①：先判空，找不到返回 null 不崩
    
77.     var cx = detects[0].getRect().getCenterX();                 // 命门②：这是百分比 0~1
    
78.     var cy = detects[0].getRect().getCenterY();
    
79.     var px = screen.percentToWidth(cx), py = screen.percentToHeight(cy); // 必须换算成像素
    
80.     return { px: Math.round(px), py: Math.round(py), count: detects.length };
    
81. }
    
82. 
    
83. // OCR 找字并点击（换分辨率/改版都能点，找图的最佳兜底）
    
84. function ocrFindAndClick(word) {
    
85.     var img = screen.screenShotFull();
    
86.     try {
    
87.         var ocr = img.paddleOCR(640, [0, 0, 1, 1]);
    
88.         var hit = (ocr && ocr.findIncludeText) ? ocr.findIncludeText(word) : null;
    
89.         if (!hit) return null;
    
90.         var r = (hit.getRect) ? hit.getRect() : null;
    
91.         var x, y;
    
92.         if (r) { x = screen.percentToWidth(r.getCenterX()); y = screen.percentToHeight(r.getCenterY()); }
    
93.         else { x = null; y = null; }
    
94.         if (CFG.runClick) { try { hit.click(); } catch (e) {} }
    
95.         return { x: x, y: y };
    
96.     } catch (e) { return null; }
    
97.     finally { try { img.recycle(); } catch (e) {} }              // 命门③：用完回收
    
98. }
    
99. 
    
100. // ============================ 三、主循环（真在跑的那段） ============================
     
101. function reset() {
     
102.     log("复位：回到桌面清残留，再进目标页");
     
103.     try { if (typeof auto !== "undefined" && auto.home) auto.home(); } catch (e) {}
     
104.     sleepMs(800);
     
105.     try { if (typeof back !== "undefined") back(); } catch (e) {}
     
106.     sleepMs(500);
     
107. }
     
108. 
     
109. function oneRound(i) {
     
110.     log("— 第 " + i + " 轮 开始（屏 " + getScr().w + "x" + getScr().h + "，runClick=" + CFG.runClick + "）");
     
111.     var acted = false;
     
112. 
     
113.     // 1) 先按模板找图
     
114.     for (var t = 0; t < CFG.targets.length; t++) {
     
115.         var tg = CFG.targets[t];
     
116.         if (!tg.tpl) continue;                                   // 没配模板跳过
     
117.         var f = findPic(tg.tpl, tg.region, CFG.threshold);
     
118.         if (f) { log("  找图命中[" + tg.name + "] 共" + f.count + "处 → 像素(" + f.px + "," + f.py + ")"); doClick(f.px, f.py, tg.name); acted = true; }
     
119.         else { log("  找图未命中[" + tg.name + "]（不崩，继续）"); }
     
120.     }
     
121. 
     
122.     // 2) 找图没中 → OCR 点字兜底
     
123.     if (!acted) {
     
124.         for (var w = 0; w < CFG.words.length; w++) {
     
125.             var o = ocrFindAndClick(CFG.words[w]);
     
126.             if (o) { log("  OCR命中文字「" + CFG.words[w] + "」→ " + (o.x == null ? "已点(未取坐标)" : "像素(" + o.x + "," + o.y + ")")); acted = true; break; }
     
127.         }
     
128.     }
     
129. 
     
130.     if (!acted) log("  本轮没找到任何目标 → 下滑换内容");
     
131. 
     
132.     // 3) 下滑 + 随机等待
     
133.     doSwipe();
     
134.     var wait = rand(CFG.waitMin, CFG.waitMax);
     
135.     log("  本轮结束，等待 " + wait + "ms 后进入下一轮\n");
     
136.     sleepMs(wait);
     
137.     return acted;
     
138. }
     
139. 
     
140. function main() {
     
141.     var s = getScr();
     
142.     log("========================================");
     
143.     log(" 启动 通用找图/OCR点击脚本  本机 " + s.w + "x" + s.h + "  共 " + CFG.rounds + " 轮");
     
144.     log(" runClick=" + CFG.runClick + "（false=空跑只看日志不真点，验证OK再改true）");
     
145.     log("========================================");
     
146.     reset();
     
147.     var idle = 0;
     
148.     for (var i = 1; i <= CFG.rounds; i++) {
     
149.         var acted = oneRound(i);
     
150.         if (acted) idle = 0; else idle++;
     
151.         if (CFG.idleStop > 0 && idle >= CFG.idleStop) { log("连续 " + idle + " 轮无命中，提前收工。多半是：目标文字/模板不对，或分辨率变了模板失配 → 见案例 #02 第6节"); break; }
     
152.     }
     
153.     log("全部结束。");
     
154. }
     
155. 
     
156. main();
     

复制代码

---

欢迎光临 B2B网络软件 (http://bbs.niubt.cn/)

Powered by Discuz! X3.2