MQTT远程本地局域网OCR例子
MQTT远程本地局域网OCR例子/**
* 本地 OCR 识别示例（AIWROK 端）
* ==================================================================
* 用你自己电脑上的 OCR_LAN_Server
* 手机截图 → 发给电脑识别 → 拿回文字和坐标 → 可点击。
*
* 服务端接口（源码 OCR_LAN_Server/server/app.py）
* GET/health 服务是否在线
* POST /ocr_all 全屏识别，返回 lines[{text,x,y,confidence}...]
* POST /ocr_find 找文字，返回 {found,best:{center_x,center_y}}
* POST /ocr_smart 智能路由（自动选引擎/分块/缓存），可带 text 直接找字
*
* 两个必须知道的坑（本示例已正确处理）
* 1) region 是【百分比】，服务端 crop_by_percent 裁完不还原坐标，
* 返回的文字坐标是"裁剪图"里的，必须客户端自己加回偏移量，否则点偏。
* 2) 如果为了省流量把截图缩小再上传，服务端返回的是"缩小图"的坐标，
* 必须按比例放大回屏幕坐标。
*
* 用法：改下面 OCR_SERVER 为你电脑局域网 IP（手机和服务端同一 WiFi），
* 在 AIWROK 里直接运行本脚本，看日志。
* ==================================================================
*/
// ==================== 配置 ====================
// 电脑地址候选表：逐个试 /health，谁通用谁。电脑 IP 变了不用改逻辑，
// 只要把电脑当前的 IPv4 加进这个表即可（本机实测就从 .103 变成了 .104）
var OCR_SERVERS = [
"http://192.168.10.104:9999",
"http://192.168.10.103:9999"
];
var OCR_SERVER = ""; // 由 ocrPickServer() 自动选定，别手改
var OCR_MAXW = 960; // 上传前把截图缩到该宽度。服务端本来就会缩到 960，
// 填 960 不丢精度还省约 1/3 流量；填 0 = 不缩放
var TIMEOUT_MS = 30000;// 单次识别超时
// ==============================================
// ---------- 小工具 ----------
function L(s) { try { printl(" " + s); } catch (e) {} }
function pad2(n) { return n < 10 ? "0" + n : "" + n; }
var SCREEN_W = 1080, SCREEN_H = 1920;
try { SCREEN_W = screen.getScreenWidth(); SCREEN_H = screen.getScreenHeight(); } catch (e) {}
L("屏幕 = " + SCREEN_W + "x" + SCREEN_H);
/** 依次探测候选地址，选定可用的那个 */
function ocrPickServer() {
for (var i = 0; i < OCR_SERVERS.length; i++) {
var url = OCR_SERVERS;
try {
var http = new okHttp();
try { http.setTimeout(4000); } catch (e) {}
var r = JSON.parse("" + http.get(url + "/health"));
if (r.code == 0) {
OCR_SERVER = url;
L("选定服务地址 " + url + "（候选第 " + (i + 1) + " 个）→ 在线可用");
return true;
}
L(url + " 有响应但异常：" + ("" + JSON.stringify(r)).slice(0, 80));
} catch (e2) {
L("候选 " + url + " 连不上：" + e2);
}
}
L("所有候选都不通，排查四步：");
L("1 电脑 OCR 服务开了吗：OCR_LAN_Server\\dist\\OCR_LAN_Server\\OCR_LAN_Server.exe");
L("2 电脑真实 IP 是多少：cmd 执行 ipconfig，看「IPv4 地址」，");
L(" 别用 192.168.163.x / 192.168.248.x（VMware 虚拟网卡，手机连不到）");
L("3 手机和电脑是否同一 WiFi/网段（手机设置里看 WiFi 的网关）");
L("4 把电脑当前地址加进本脚本顶部 OCR_SERVERS 列表");
return false;
}
/**
* 截图并（可选）缩放，返回 base64 和换算比例
* factor = 上传图宽 / 屏幕宽，后面要把服务端坐标除以它
*/
function shotForOcr(maxW) {
// 注意：AIWROK 的 screenShotFull() 返回它自己的 Image 对象，只有
// cutImagePercent / toBase64 / getWidth / getHeight / recycle，
// 没有 android Bitmap 的 compress、createBitmap —— 本机缩放会直接报
// "Can't find method android.graphics.Bitmap.createBitmap(...)"。
// 所以一律原图上传，缩放交给服务端（它内部本来就会缩到 960），
// factor 恒为 1，坐标无需再换算。
var bmp = screen.screenShotFull();
if (!bmp) throw new Error("截图返回空");
var b64 = "" + bmp.toBase64();
var w0 = 0, h0 = 0;
try { w0 = bmp.getWidth(); h0 = bmp.getHeight(); } catch (e) {}
try { bmp.recycle(); } catch (e2) {}
var sentW = w0 || SCREEN_W, sentH = h0 || SCREEN_H;
L("截图上传 " + sentW + "x" + sentH + " 约 " + Math.round(b64.length / 1024) + "KB（原图，缩放由服务端做）");
return { b64: b64, sentW: sentW, sentH: sentH, factor: 1 };
}
/** POST JSON，返回解析后的对象；异常返回 {code:-1,err:...} */
function post(path, obj) {
try {
var http = new okHttp();
try { http.setTimeout(TIMEOUT_MS); } catch (e) {}
try { http.setHeader("Content-Type", "application/json"); } catch (e) {}
var t0 = (new Date()).getTime();
var resp = "" + http.json(OCR_SERVER + path, obj);
var ms = (new Date()).getTime() - t0;
var r;
try { r = JSON.parse(resp); }
catch (e) { L("返回不是 JSON（服务没开或地址错）：" + resp.slice(0, 120)); return { code: -1, err: "非JSON响应" }; }
L(path + " 往返 " + ms + "ms，服务端 " + (r.elapsed != null ? r.elapsed + "s" : "?") +
(r.strategy ? ("，策略=" + r.strategy) : "") + (r.count != null ? ("，结果数=" + r.count) : ""));
return r;
} catch (e2) {
L(path + " 请求失败：" + e2);
return { code: -1, err: "" + e2 };
}
}
/** 健康检查（保留旧名字，内部走多候选探测） */
function ocrHealth() {
if (OCR_SERVER) {
try {
var http = new okHttp();
try { http.setTimeout(5000); } catch (e) {}
var r = JSON.parse("" + http.get(OCR_SERVER + "/health"));
return r.code == 0;
} catch (e2) { return false; }
}
return ocrPickServer();
}
/**
* 把服务端返回的坐标换算成真实屏幕坐标
* r : 服务端返回对象
* shot : shotForOcr 的返回（含 factor）
* reg: 百分比 或 null
*/
function toScreen(r, shot, reg) {
var out = [];
var list = r.words || r.lines || [];
var offX = 0, offY = 0;
if (reg) { // 裁剪偏移（在上传图坐标系里）
offX = shot.sentW * reg / 100;
offY = shot.sentH * reg / 100;
}
for (var i = 0; i < list.length; i++) {
var w = list;
var cx = (w.center_x != null ? w.center_x : w.x);
var cy = (w.center_y != null ? w.center_y : w.y);
out.push({
text: w.text,
x: Math.round((cx + offX) / shot.factor), // 加裁剪偏移 → 除缩放比例
y: Math.round((cy + offY) / shot.factor),
conf: w.confidence
});
}
return out;
}
/** 识别全部文字，返回 [{text,x,y,conf}] */
function ocrList(reg) {
var shot = shotForOcr(OCR_MAXW);
var req = { image: shot.b64 };
if (reg) req.region = reg;
var r = post("/ocr_smart", req);
if (r.code != 0) return [];
return toScreen(r, shot, reg);
}
/** 识别并拼成一段文本 */
function ocrText(reg) {
var list = ocrList(reg);
var s = [];
for (var i = 0; i < list.length; i++) s.push(list.text);
return s.join("");
}
/** 找文字，返回 {found,x,y,text} 不点击 */
function ocrFind(text, reg, mode) {
var shot = shotForOcr(OCR_MAXW);
var req = { image: shot.b64, text: text, mode: mode || "include" };
if (reg) req.region = reg;
var r = post("/ocr_smart", req);
if (r.code != 0) return { found: false };
if (!r.found || !r.best) return { found: false, text: text };
var offX = reg ? shot.sentW * reg / 100 : 0;
var offY = reg ? shot.sentH * reg / 100 : 0;
return {
found: true, text: text, matches: r.count_matches || 1,
x: Math.round((r.best.center_x + offX) / shot.factor),
y: Math.round((r.best.center_y + offY) / shot.factor)
};
}
/** 找字并点击 */
function ocrClick(text, reg, mode) {
var f = ocrFind(text, reg, mode);
if (!f.found) { L("没找到「" + text + "」"); return false; }
auto.clickPoint(f.x, f.y);
L("已点击「" + text + "」(" + f.x + "," + f.y + ") 共 " + f.matches + " 处");
return true;
}
/** 判断屏幕上有没有某个字 */
function ocrExists(text, reg) {
return ocrFind(text, reg).found === true;
}
/**
* 等某个字出现并点击，超时返回 false
* gapMs 默认 3200 毫秒：服务端结果缓存 TTL 是 3 秒，而且没有"单次请求绕缓存"的参数。
* 轮询比 3 秒快的话，拿到的往往是上一帧的缓存结果（日志里 strategy=cache_hit），
* 画面其实已经变了也可能被判成"没找到"。要更快响应，就去服务端
* ocr_config.json 把 cache_ttl 调小或 enable_cache 设 false。
*/
function ocrWaitClick(text, sec, reg, gapMs) {
var gap = gapMs || 3200;
var end = (new Date()).getTime() + (sec || 10) * 1000;
var tryN = 0;
L("开始等待「" + text + "」，每 " + gap + "ms 查一次（要快就调小服务端 cache_ttl）");
while ((new Date()).getTime() < end) {
tryN++;
L("第 " + tryN + " 次查找「" + text + "」…");
if (ocrClick(text, reg)) return true;
try { sleep.millisecond(gap); } catch (e) { java.lang.Thread.sleep(gap); }
}
L("等 " + sec + " 秒仍未出现「" + text + "」，放弃");
return false;
}
// ==================================================================
// 演示主流程：每一步都打日志
// ==================================================================
function main() {
L("================ 本地 OCR 示例开始 ================");
if (!ocrHealth()) { L("服务不可用，示例结束"); return; }
// 1) 全屏识别，列出所有文字和坐标
L("--- 1. 全屏识别 ---");
var all = ocrList(null);
L("共 " + all.length + " 个文字块：");
for (var i = 0; i < all.length && i < 40; i++) {
L("[" + (i + 1) + "] 「" + all.text + "」 坐标(" + all.x + "," + all.y + ") 置信度 " +
(all.conf != null ? all.conf.toFixed(2) : "?"));
}
if (all.length > 40) L("…其余 " + (all.length - 40) + " 条省略");
// 2) 只识别上半屏（区域用百分比）
L("--- 2. 区域识别（上半屏 0,0,100,50） ---");
var top = ocrList();
L("上半屏 " + top.length + " 个文字块：" + (top.length ? ("「" + top.text + "」(" + top.x + "," + top.y + ") 开头…") : "无"));
// 3) 拼成整段文本
L("--- 3. 整屏文本 ---");
L(ocrText(null).slice(0, 300));
// 4) 找字（不点）
L("--- 4. 找字测试 ---");
var probe = all.length ? all.text : "设置";
var f = ocrFind(probe, null);
L(f.found ? ("找到「" + probe + "」在 (" + f.x + "," + f.y + ")，共 " + f.matches + " 处")
: ("没找到「" + probe + "」"));
// 5) 找字并点击（示例用第 4 步找到的词，换成你自己的关键词）
L("--- 5. 找字并点击 ---");
if (f.found) {
L("演示点击：" + probe);
ocrClick(probe, null);
} else {
L("没找到可点的词，跳过点击");
}
// 6) 等某个字出现再点（把"点赞"换成你的目标词）
L("--- 6. 等待并点击（10 秒超时） ---");
var waitWord = "点赞";
L("演示等待「" + waitWord + "」出现（没有属正常，超时即退出）");
ocrWaitClick(waitWord, 10, null);
L("================ 示例结束 ================");
L("常用函数：ocrHealth() ocrList(区域) ocrText(区域) ocrFind(词,区域) ocrClick(词,区域) ocrExists(词) ocrWaitClick(词,秒,区域)");
L("区域一律用百分比 ，例： = 下半屏");
}
main();
页:
[1]