
在目标识别领域,传统模型常需人工判断是否存在目标,存在明显局限性。WeVisOne-VL则开创性突破,采用单一模型集成多种任务,在‘图里没有’的评测中,其回答比例高达86.0%,在自建评测集中也达到96.4%,显著提升识别准确性。同时,该模型能同时完成找物体、数数量、读文字、分割和抠图等多项任务,摆脱任务切换带来的模型适配成本。团队通过严谨训练与标注流程优化,让模型在正确判定目标与精准处理细节方面达到较高水平,并开放了2B、4B版本模型权重,支持在线体验与本地部署,为视觉目标处理提供了高效解决方案。
--91likeyou---
当没有符合目标的答案时,它会直接返回 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:
在线体验:
模型权重:
公开评测复现说明:
解决|先教它分清有没有,再让一个模型干多种活
○专门练习“图里没有”的题
要让模型敢说“没有”,就得让它在训练里见到这类题:出这类题并不简单,因为模型没找到,不代表图里真的没有,也可能只是漏看了。
所以团队会对照整张图逐条复核:确认没有任何对象同时满足描述里的属性、动作和关系,才把它当作“没有”的题;一旦发现目标,就改回正常标注。
训练时还会重点练两类错题:一类是图里没有、模型却硬框了;另一类是图里有、模型却漏了或选错了。 两类一起练,模型才不会为了少犯错,动不动就说“没有”。
但只会拒绝也不行。在 WeRef-Bench 中图里确有目标的题目上,4B 的定位得分为 78.7,同表最高对比模型为 51.7。面对确认没有目标的题,只有什么都不框,模型才能拿到奖励。 它没有因为学会说“没有”,就变得不敢找。
○用 1 亿张标注图,教它找得准、描得细
图里真有目标时,还得找得准、描得细。为此,团队搭建了一套自动标注流程,由多个模型定位、交叉校验,再补上轮廓和透明度,累计标注超过 1 亿张图像、约 36 亿个目标框。
○画框、读字、抠图,交给同一个模型
找东西要画框,读字要给出文字和位置,抠图要精确到每个像素,过去这些往往分给不同模型来做。WeVisOne-VL 把它们写成同一种输出格式,一个模型全部学会,换任务不用换模型。
例如:一张海边照片,让模型把照片里的人找出来。同一张图,三种结果的差别是这样的:
图:基于 WeVisOne-VL 示例原图与抠图结果制作,框和分割为对比示意。
- 框:画一个矩形,告诉你人大概在哪。但框里还带着海水和栏杆,没法直接拿去用。
- 分割:沿着人的轮廓描边,每个像素只分“是人”或“不是人”。被风吹乱的发丝很细,夹在海水之间,一刀切下去边缘发硬、带毛刺。
- 抠图:再算出边缘每个像素“有几分是人”。发丝处可能只有三成是人、七成是海水,放到新背景上,飘起的头发也能自然保留。
后两种都要精确到像素。以前的常见做法是先用一个模型画框,再把框交给 SAM(Meta 开源的通用分割模型),由它沿着轮廓把目标分出来;而在WeVisOne-VL 则用模型里一个约 960 万参数的小模块直接完成,不需要再额外接一个 SAM。
○合进一个模型后,单项成绩并没有变弱
开源|可在线试用,也可本地部署
项目已开源2B、4B 两个版本的权重,以及技术报告、教程、评测代码和标注工具 Mask2Alpha,采用 Apache 2.0 许可。可以先在网页 Demo 试用,也可以在本地运行。
文中数据来自团队技术报告。当前版本只支持图片输入。
从判断“有没有”,到给出框、文字和抠图,WeVisOne-VL 把这些放进了同一个模型。图里有,就尽量找准;图里没有,就大声说 None。
项目与代码:Tencent / WeVisOne-VL
技术报告:
在线体验:
模型权重:
公开评测复现说明:
题图来自Unsplash,基于CC0协议
🔥 热词:#微信用户突破1亿时间 · #微信用户数量突破1亿是在哪一年 · #微信用户量突破10亿用了多久 · #微信用户量突破10亿用了几年 · #微信2亿图片制作神器 · #微信张小龙身价多少亿 · #微信2亿截图高清版 · #微信用户数量突破10亿用了多久