复旦研发出“眸思”大模型:助力视障者安全出行
时间:2024-07-04 04:26:33 来源:带水拖泥网 作者:知识 阅读:250次
快科技3月3日消息,眸思据复旦大学官微发文,复旦复旦大学自然语言处理实验室基于多模态大模型复旦眸思”(MouSi)为视障者量身打造的模型听见世界”APP上线,将成为视障人士的助力者安生活助手与智能管家。
2023年上半年,视障复旦大学自然语言处理实验室发布了开发MOSS对话式大型语言模型,全出被称为中国版的眸思GPT,仅用半年时间多模态模型眸思”问世。复旦
据介绍,模型眸思”与MOSS同音,助力者安眸思”和基于文本的视障MOSS不同,它能够理解并识别图片内容,全出致力于成为视障者的眸思一双眸”。
基于眸思”,复旦听见世界”APP为视障者日常生活需求量身打造街道行走模式、模型自由问答模式和寻物模式。
在街道行走模式中,眸思”如一位忠实的向导。红绿灯、十字路口、障碍物它能细致扫描道路情况,提示潜在风险,陪伴视障者安全通行看不见”的漫漫长路。
在自由问答模式中,眸思”则像一位贴心的朋友,走进博物馆、艺术馆、公园捕捉四周景象的每个细节,用声音构建丰富的生活场景,传递每一处日常之美。
在寻物模式中,眸思”将成为一名可靠的管家,被移动过的手杖、最爱口味的牛奶它可以让视障人士找寻日常物件变得轻松。
在基于几亿张图片训练出眸思”大模型基础上,针对视障者提出的各类需求,团队又用上万张图片进行特殊样本训练,使眸思”具备能够适配更多场景的能力。
据透露,今年上半年,团队将结合AR升级APP内的定位精度细化至亚米级别。下半年,团队希望将眸思”升级为基于视频的判断。目前,更多模式正在开发中,比如,阅读模式、解说模式等。
预计今年3月听见世界”APP将完成第一轮测试,在中国一、二线城市和地区同步开启试点,根据算力部署情况进行推广。
(责任编辑:业界)
最新内容
- ·58岁大叔骑摩托载妻返乡:更舒适 更自由
- ·雷军这次要玩新的:带领小米进入短剧领域
- ·通义灵码企业版正式发布,满足企业私域知识检索、数据合规、统一管理等需求
- ·雷军这次要玩新的:带领小米进入短剧领域
- ·AI拜年模拟器“决战拜年之巅”网络走红 快来看看你是不是“大孝子”
- ·OpenGlass完全指南:智能可穿戴眼镜 - 使用方法教程与免费体验入口
- ·取消节假日免费!网友建议高速阶梯优惠 减轻私家车负担:官方回应
- ·微调工程师岗位可能并不存在,但使用 AI 编码工具已经成为刚需
- ·反转与否不重要!《人民日报》评奔驰车男子:打砸引擎盖就是错 路怒损人害己
- ·抖音粉丝超255万!山东网红郭有才摊位前直播手机排成墙