01 / AIoT · WSN

AIoT平台 · 无线传感器网络

将传感器·摄像头·控制器接入现场网络,在2D·3D监控画面中查看和控制。

AIoT监控画面 — 工地地图监控、养鸡场传感器图表、养鸡场2D实时地图、养鸡场3D视图 (1/4)
AIoT监控画面 — 工地地图监控、养鸡场传感器图表、养鸡场2D实时地图、养鸡场3D视图 (2/4)
AIoT监控画面 — 工地地图监控、养鸡场传感器图表、养鸡场2D实时地图、养鸡场3D视图 (3/4)
AIoT监控画面 — 工地地图监控、养鸡场传感器图表、养鸡场2D实时地图、养鸡场3D视图 (4/4)
AIoT PLATFORM

综合监测 · 2D/3D监控

将各现场不同的传感器·摄像头·设备接入统一的采集·存储·显示体系。通过平面图上的2D实时地图、3D视图以及地图,一目了然地掌握位置和状态。

核心功能
  • 传感器采集 — 周期采集Modbus TCP/RTU · RS485 · 4–20mA · 无线记录仪数据并存入时序数据库
  • 视频 — 中继IP摄像头RTSP,实现WebRTC·HLS实时流媒体,24小时录像
  • 监控 — 基于平面图的2D实时地图 · Three.js 3D视图 · 基于地图的多现场监控
  • 警报 — 超过阈值即通过App·Web推送即时通知,按角色设置查看权限
MQTTModbusInfluxDBMediaMTXWebRTCThree.jsBlazor
专利申请
10-2026-0096389
02 / EDGE DEVICE

边缘设备 · 端侧AI

在智能手机·嵌入式板·智能眼镜上直接运行模型,即使网络中断,现场也不会停摆。

SMARTPHONE EDGE

智能手机边缘 — 变身检测机的App

利用智能手机摄像头和NPU,就地完成检测·测量·识别。只需一个支架,即可直接部署到任何产线。

核心功能
  • Snapdragon NPU(QNN)加速ONNX推理 — YOLO26实时检测
  • 使用Galaxy S25 Ultra 50MP/200MP拍摄,实现 ±0.15mm 非接触式尺寸测量
  • 同时识别QR·Data Matrix·条形码·标签OCR后与服务器匹配
  • 让闲置手机变身WebRTC摄像头 — 智能家居摄像头App
AndroidKotlinONNX RuntimeQNNCameraXML Kit
嵌入式板应用 — Jetson边缘检测机、RVOS设备控制单元、智能手机·ESP32输送带架构图 (2/4)
嵌入式板应用 — Jetson边缘检测机、RVOS设备控制单元、智能手机·ESP32输送带架构图 (3/4)
嵌入式板应用 — Jetson边缘检测机、RVOS设备控制单元、智能手机·ESP32输送带架构图 (4/4)
EMBEDDED BOARD

嵌入式板 — Jetson · Raspberry Pi · ESP32

从产线旁的检测机、现场控制器到输送带驱动,均在板级完成设计与实现。

核心功能
  • NVIDIA Jetson Orin Nano(40 TOPS)— 边缘检测机 · 智能家居服务器 · 视频中继
  • Raspberry Pi CM5工业SBC — 广播·警报设备控制,5G/Wi-Fi切换设计
  • ESP32 BLE — 根据智能手机的判定结果使输送带电机减速·停止
JetPackDockerLinuxRS485BLE
智能眼镜检测概念图 — 在眼镜画面上显示合格/不良 (1/2)
智能眼镜检测概念图 — 在眼镜画面上显示合格/不良 (2/2)
概念图
SMART GLASSES

智能眼镜 — 把结果呈现在视线所及之处

眼镜负责拍摄,智能手机负责推理,结果叠加显示在眼镜画面上。双手可以继续专注于作业。

核心功能
  • YOLO26卸载 — 眼镜拍摄 → 手机推理 → 返回检测框,24fps · 推理20–29ms
  • 眼镜独立识别条码 — QR·Data Matrix等11种
  • 注册人员人脸识别 · 手机摄像头投屏,均采用同一传输规范
  • 将640×480原始像素1:1显示在屏幕上 — 无需校正,检测框位置即可吻合
RayNeo X3 ProCamera2ONNXML KitTCP/UDP
相关技术
眼镜协作平台
03 / AI MODELING

AI建模 — 从数据到部署

采集现场数据,经标注·增强后进行训练,再针对边缘设备进行轻量化并部署。

DETECTION · SEGMENTATION

目标检测 · 缺陷检测

使用YOLO系列模型训练检测·分割·姿态·分类,对数据较少的不良类型通过异常检测和图像合成加以补充。

核心功能
  • YOLO v8/v11/26 — Detection · Segmentation · Pose · Classification · OBB
  • Anomaly Detection — 仅凭正常数据检测微小缺陷
  • Image Replacement · 增强预览 — 补充不足的不良数据
  • 通过ONNX · TFLite · QNN转换,在Jetson·智能手机上实时推理
YOLOFaster R-CNNAnomalibOpenCVPyTorch
专利申请
10-2026-0081586
一次读取五片FPC代码的画面
CODE · OCR

代码 · 文字识别

在一帧画面中同时读取QR·Data Matrix·条形码和标签文字,并与零件履历关联。

核心功能
  • 实时读取QR · Data Matrix · Code128等1D/2D码
  • PaddleOCR(PP-OCRv5)· ML Kit 低分辨率标签OCR,领域词典校正
  • 将代码 + OCR结果与服务器匹配,实现零件追踪(Part Tracking)
ML KitPaddleOCRONNXOpenCV
应用项目
三技 FPC 检测
相关技术
智能眼镜
FACE · POSE

人脸 · 姿态 · 安全识别

将识别人员与危险的模型分布在多台设备上运行,轻量、快速地汇总结果。

核心功能
  • 多视角2D姿态估计 + 边缘服务器三角测量,实时3D关节重建
  • 智能眼镜·手机协同人脸识别(针对注册人员)
  • 火灾·烟雾·跌倒·人数·人群检测 — AI CCTV
YOLOv8-PoseTriangulationWebGLFace Recognition
04 / AI AGENT

AI智能体 — 能答、能看、能改的AI

将LLM与视觉语言模型应用于业务,运营能够依据规定作答、监看摄像头、修改网站的智能体。

网站自动修改 — 请求列表、智能体工作内容、部署记录 (1/3)
网站自动修改 — 请求列表、智能体工作内容、部署记录 (2/3)
网站自动修改 — 请求列表、智能体工作内容、部署记录 (3/3)
WEB OPS AGENT

网站自动修改 · 部署

管理员在页面上写下“请这样修改”,AI智能体即完成修改并发布到预览环境,经确认·批准后部署到正式环境。

核心功能
  • 中央智能体服务器 — 每个任务使用隔离容器(gVisor),按网站管理预算 · 用量
  • 验证构建 · 变更路径检查,先在预览环境上线,确认后才批准
  • 批准后同步至GitHub → 构建CI镜像 → 替换服务器容器,中断的画面自动恢复
  • 进度通过App · Web推送通知 — 已在院系 · 实验室 · 公司等5个网站运行
AI AgentClaude CodegVisorGitHub ActionsDocker
AI聊天机器人 — ICT机器人工程专业聊天机器人的回答与依据条文、安养大学院系聊天机器人、韩京国立大学AI聊天机器人首页 (1/3)
AI聊天机器人 — ICT机器人工程专业聊天机器人的回答与依据条文、安养大学院系聊天机器人、韩京国立大学AI聊天机器人首页 (2/3)
AI聊天机器人 — ICT机器人工程专业聊天机器人的回答与依据条文、安养大学院系聊天机器人、韩京国立大学AI聊天机器人首页 (3/3)
RAG · LOCAL LLM + CLOUD

给出依据的AI聊天机器人

检索学则 · 规章集 · 学校指南 · 公告,并附依据条文作答。问题先由校内GPU服务器上的本地模型处理,仅在需要更详细的回答时才询问云端模型。

核心功能
  • 192部规章集 · 4,529个片段采用关键词 + 向量混合检索(BM25 · bge-m3)
  • 优先使用本地LLM(Qwen3 14B),“更详细的回答”交由Claude — 学号 · 电话号码脱敏后发送
  • 每个回答均附依据条文 · 原文PDF · 帖子链接,仅显示实际引用的资料
  • 规章每周 · 学校网站与公告每天自动更新 — 已在3个网站运行
RAGQwen3ClaudeBM25bge-m3FastAPI
HawkAI CCTV — 3路实时摄像头、对话式智能体的回答与规则建议、显示屏温湿度读取与分析记录 (1/3)
HawkAI CCTV — 3路实时摄像头、对话式智能体的回答与规则建议、显示屏温湿度读取与分析记录 (2/3)
HawkAI CCTV — 3路实时摄像头、对话式智能体的回答与规则建议、显示屏温湿度读取与分析记录 (3/3)
VLM · CCTV AGENT

CCTV视觉AI智能体

24小时监看摄像头,识别人员 · 倒地 · 摄像头遮挡,并由视觉语言模型用文字概括场景。还可以像“温度超过28度时通知我”这样,用自然语言创建警报规则。

核心功能
  • 先由YOLO筛选运动 · 人员 · 倒地姿态,再由视觉语言模型(Qwen3-VL 30B · vLLM)二次判断
  • 镜头遮挡 · 模糊 · 方向偏移及其原因推断,读取电子显示屏上的时间 · 温度 · 湿度
  • 对话式智能体 — 询问当前状况 · 历史记录 · 温湿度统计,用自然语言创建警报规则并“应用”
  • 附带照片的App推送通知,视频不离开服务器 — 每张0.3 ~ 0.8秒
vLLMQwen3-VLYOLOWebRTCHK Push
05 / PLATFORM

平台 — 训练 · 部署 · 运营自动化

将模型训练、设备部署乃至协同推理等重复性工作平台化。

HawkAI控制台 — 仪表盘、模型管理、结果统计、图像合成 (1/5)
HawkAI控制台 — 仪表盘、模型管理、结果统计、图像合成 (2/5)
HawkAI控制台 — 仪表盘、模型管理、结果统计、图像合成 (3/5)
HawkAI控制台 — 仪表盘、模型管理、结果统计、图像合成 (4/5)
HawkAI控制台 — 仪表盘、模型管理、结果统计、图像合成 (5/5)
MLOPS · HAWKAI

HawkAI — AI模型运营平台

从数据集管理到训练·增强·部署·结果统计,尽在一个控制台。设备会自行获取新模型。

核心功能
  • 数据集 · 标注 · 模型版本管理,实时显示训练进度
  • 将YOLO训练 · 增强 · OCR读取拆分为GPU容器服务
  • 向检测设备OTA部署模型 · 配置文件 · 参数
  • 合格/不合格 · 测量值统计,结果图像查询 · 与NAS原始数据联动
BlazorMariaDBSignalRDockerNginxRTX 4090
MLOPS · HAWKAI

HawkAI — AI模型运营平台

ARCHITECTURE 系统架构 — 服务器(GPU+DB) ↔ Edge Device · Smartphone

HK AI Vision System 架构 — Platform / Detector / Ruler 一体化
点击可放大 · 即使网络中断,边缘检测也不会停止

FEATURES 平台功能

DB 管理

训练数据 / 数据集 / 模型与参数部署的统一存储库。

AI 建模

标注 → 增强 → Export → 训练 → 生成模型的完整流水线。

模型性能分析

将各薄膜的 ROI 区域与测量 pair 按模型以 JSON 保存和管理。

推理结果统计

实时汇总 / 可视化 Detector 合格·不合格结果与 Ruler 测量值。

Image Replacement

由正常图像合成不良图像,补充不足的不良数据。

Augment Preview

在训练前预先验证旋转、翻转、亮度、色调等增强效果。

CORE STACK 四项核心能力

Hybrid Edge Computing

在 NVIDIA Jetson Orin Nano (40 TOPS) 或智能手机上即时推理,训练、部署与统计在 GPU 服务器上完成。即使网络中断,检测也不会停止。

  • Jetson Orin Nano
  • RTX 4090 GPU Server
  • Edge Inference
  • OTA 模型部署

Computer Vision

YOLO·Faster R-CNN·Anomaly Detection·OpenCV — 根据缺陷类型和数据量,自行选择合适的模型架构进行训练。

  • YOLO v8/v11
  • Faster R-CNN
  • Anomaly Detection
  • OpenCV
  • Real-Time Inference

Data Engineering / MLOps

标注 → 增强(旋转·翻转·亮度) → Export → 训练 → 部署 → 统计,整条流水线在一个控制台中完成。

  • Labeling
  • Augmentation
  • Image Replacement
  • Model Profiling
  • Dataset Mgmt

Web Platform / Real-time

Blazor Server (.NET 8) · MariaDB · WebSocket · MQTT · WebRTC · RTSP · Docker / Kubernetes — 全栈自主开发。

  • .NET Blazor
  • MariaDB
  • SignalR · WebSocket
  • WebRTC · RTSP · MQTT
  • Docker · K8s

INSPECTION FLOW 现场检测的四个步骤

  1. 01
    产品输送 / 对位 传送带 · 视觉触发
  2. 02
    AI 视觉检测 Detector / Ruler
  3. 03
    合格·不合格判定 / 分类 Edge Inference
  4. 04
    履历存储 / MES 对接 OPC-UA · DB
协同推理架构 — 虚拟环境摄像头、边缘设备、边缘服务器、客户端
HYBRID MEC

Hybrid MEC — 协同推理

终端·边缘服务器·云端分担计算,同时降低延迟和功耗。

核心功能
  • 终端进行2D推理,边缘服务器进行多视角融合 — 3D姿态估计测试平台
  • 智能眼镜 → 智能手机卸载,手机 ↔ 服务器混合OCR
  • 根据通信状态进行分割 · 压缩传输,即使断网现场检测也不中断
Edge ServerOffloadingSplit InferenceWebRTC
相关技术
语义通信
智能眼镜协作平台 — 系统架构图、危险感知概念图、空间模型层级结构 (1/3)
智能眼镜协作平台 — 系统架构图、危险感知概念图、空间模型层级结构 (2/3)
智能眼镜协作平台 — 系统架构图、危险感知概念图、空间模型层级结构 (3/3)
SMART GLASSES PLATFORM

智能眼镜协作平台

汇集多人所戴眼镜的视野,构建统一的空间模型,率先向所有人预警危险。

核心功能
  • 收集多副眼镜的语义信息 · 多视角3D三角测量 · 共识
  • 集中式 · 分布式自组网 · 混合结构,移动跟踪(EKF)
  • 基于空间模型的危险感知 · 多感官警告
Spatial ModelMulti-viewEKFSemantic
相关技术
智能眼镜
06 / SEMANTIC COMM.

AI语义通信

研究不再原样还原比特、而是保留语义进行传输的AI原生无线网络技术。

USRP B210 演示 — 两个终端的视频(原始 · 语义 · 数字),4 路摄像头集线器叠加,物理 AI 语义通信概念图 (1/3)
USRP B210 演示 — 两个终端的视频(原始 · 语义 · 数字),4 路摄像头集线器叠加,物理 AI 语义通信概念图 (2/3)
USRP B210 演示 — 两个终端的视频(原始 · 语义 · 数字),4 路摄像头集线器叠加,物理 AI 语义通信概念图 (3/3)
AI-NATIVE · MULTI-USER

多用户语义复用

将多个用户的语义嵌入叠加在一个资源块中发送,接收端在尽量减少语义失真的同时按用户进行分离。

核心功能
  • 共享嵌入复用 — 通过可学习掩码叠加传输
  • 按用户的注意力接收 · 有符号(Signed)干扰消除
  • 元学习(MAML)信道自适应 — 少量数据即可快速适应
  • 错误率改善10倍 · 接收端轻量化14倍 · 自适应增益30%以上
AI-NativeSemantic Comm.TransformerMAMLIEEE JSAC · TVT
AI-NATIVE · MULTI-USER

多用户语义复用

PARADIGM 从比特还原到语义保持

将多个用户的语义嵌入叠加在一个共享资源块中发送,接收端在尽量减少语义失真的同时按用户进行分离。与为每个用户单独分配资源的正交分配相比,从根本上提高了资源效率。

  1. 01共享嵌入复用将用户嵌入投影到共享空间,通过可学习掩码叠加传输
  2. 02按用户的注意力接收通过 user-wise attention 实现语义解复用,轻量化接收结构
  3. 03有符号(Signed)干扰消除基于 Gram 矩阵的组合权重,抵消相关干扰
  4. 04元学习信道自适应MAML — 少量数据 · 仅需几次更新即可迅速适应信道变化

RESULTS 成果

错误率改善10×
接收端轻量化14×
自适应增益30%+
验证数据BERT · MNIST

在导频老化信道中,错误率比传统数字链路低一个数量级以上,在同等性能下接收端参数最多减少至1/14。通过任务条件元学习自适应,错误率又进一步降低30%以上。

PAPERS 代表性论文

  • Transformer-Based Shared Embedding for Multiple Access in Semantic Communications — IEEE JSAC, 2026
  • Attention-Driven Interference Alignment for Multi-User Semantic Communications — IEEE TVT, 2026
  • Attention-Driven Semantic Transmission Scheme for AI-Native Wireless Communications — IEEE Communications Letters, 2025

VISION Edge AI × Semantic Communications

将视觉AI边缘设备采集的语义信息通过AI语义通信传输的AIoT边缘智能平台——从检测现场的摄像头到下一代无线网络,实现全栈连接。

IP / PATENTS

专利申请

视觉检测 · 尺寸测量 · 智能眼镜 · 环境监测 · 语义通信 — 已申请 7 项专利。

  1. 申请 10-2026-0096389 2026.05.28

    基于多模态人工智能的环境监测与控制方法及系统

    이창민, 씨엠인싸이트 주식회사, 에이치케이랩 주식회사, 강경훈

  2. 申请 10-2026-0094523 2026.05.26

    基于智能眼镜的目标检测及增强现实叠加方法及系统

    최현호

  3. 申请 10-2026-0094524 2026.05.26

    利用多副智能眼镜协同生成全知空间模型的方法及系统

    최현호

  4. 申请 10-2026-0087932 2026.05.15

    基于扩展共享嵌入的多用户语义复用装置、方法及利用其的无线通信系统

    이정륜, 이기호, 최현호

  5. 申请 10-2026-0087933 2026.05.15

    基于多模态语义相关度(Relevance)的嵌入分割多址收发系统及方法

    이정륜, 이기호, 최현호

  6. 申请 10-2026-0082439 2026.05.07

    利用智能设备摄像头的基于AI视觉的尺寸测量方法及系统

    이창민, 최현호

  7. 申请 10-2026-0081586 2026.05.06

    利用智能设备的自适应视觉检测系统及方法

    이창민, 최현호

想了解适合您现场的技术?
欢迎与 HK Lab 一对一洽谈。

技术咨询
发生了意外错误。 刷新 🗙
与服务器的连接已断开,正在重新连接…