Segment Anything-语义分割里程碑

Scroll Down

引言

OpenAI提出的chatGPT引发了学术界的热烈讨论,而最近Meta提出的SAM也在语义分割领域取得了举世瞩目的成就,下面就来看看SAM是怎么使用的吧

什么是语义分割

语义分割是将标签或类别与图片的每个像素关联的一种深度学习算法。 它用来识别构成可区分类别的像素集合。 例如,自动驾驶汽车需要识别车辆、行人、交通信号、人行道和其他道路特征。 语义分割可用于多种应用场合,比如自动驾驶、医学成像和工业检测,下面给出一张图直接感受什么是语义分割:
image.png
上图中各部分用不同颜色表示出来,便于标识环境中不同内容,随着深度学习相关技术的发展,CNN也被用于语义分割中,并且取得了相当多的成果,而最近Meta提出的segment anything又是集大成者,我亲自体验了一下,效果真的是十分惊艳。

SAM

官网:https://segment-anything.com/
github网址: https://github.com/facebookresearch/segment-anything
打开: https://segment-anything.com/demo
image.png
左侧有几个选项,依次介绍有什么用:

  • upload 上传图片
  • gallery 从给出的图片中选择
  • Hover & click
  1. add mask 选择你要分割发部分,然后会自动识别那部分目标
    image.png
  2. multi mask 文字说明看似乎是给出多个可能的mask区域,效果大概这样
    image.png
  3. cut out 把分割的部分提取出来
    image.png
  • box 画出一个矩形框选出目标
    image.png
  • everything 最最牛逼的来了,点击这个可以自动帮我们分割出图像中各个部分
    以细胞图片为例
    image.png
    点击之后可以自动分割出所有成分,太强了,根本不需要人工做什么事情,大家感兴趣的可以动手尝试一下

结语

没钱没设现在卷深度学习人工智能是根本比不过那些大公司的