Kepler 盲人视觉辅助

👁️ 3599 ❤️ 132
Kepler 盲人视觉辅助

团队简称: Kepler 开普勒小队

团队介绍: 个人开发者团队,大模型商业化背景,微信号 cartman-ca

产品名称及一句短语介绍: Kepler 是一款多模态模型的穿戴设备,为视障人士提供视觉辅助

亮点介绍:

● 关键创新一:多模态大模型视觉理解能力,让日常活动有更多可能

● 关键创新二:智能设备支持语音实时交互,释放双手让行动更便捷

● 关键创新三:Mobile Agent自主完成任务,让手机应用不再有障碍

产品简介:

这款智能穿戴设备专门为视障人士设计,提供全方位的生活辅助,特别是购物、烹饪等日常活动。 设备包括了摄像头和耳机,摄像头可贴附在眼镜架或者手杖上,搭载多模态大模型能够识别物品和文字,用户通过无线耳机进行语音互动。

产品图片:

● 原型机采用智能眼镜设备

● 概念产品设计,摄像头可贴附在眼镜架或者手杖上

视频介绍:

主要功能:

● 提供视觉对话功能,实时识别物体如商品、货币等,帮助视障人士独立完成购物、烹饪等日常活动。

● 支持语音输入和输出,让视障人士无需触摸屏幕,在超市购物等公共场所,释放双手更加便捷和安全。

● 连接手机 Mobile Agent通过分析手机屏幕图像,自主完成各种任务,如购物、使用导航APP等。

技术运用:

● 智能设备通过摄像头采集视觉信息,无线耳机与用户交互

● APP应用端连接设备处理音视频,Mobile Agent自动操作购物 APP

● 服务端搭建云端,使用阿里云ECS和OSS,支持长期记忆对话

● 模型采用通义Qwen大模型,智谱GLM大模型,魔搭开源模型

客户案例:

项目来源自一个 up 主的分享 点击播放

← 角色类型,12 种主要类型 手工折纸~沙发(附教程) →