cocoapi的 rle 解码使用

cocoapi 是目前mask数据记录的一个比较好的解决方案, 网上有很多相关的使用资料.如COCO数据集介绍, 这里感谢大家的贡献.

cocoapi 数据本身是一组json描述结构, cocoapi 项目是解析和生成json数据结构, json有个不能嵌套的弊端, 所以一个json文件往往比较大.

cocoapi核心部分是rle数据的压缩, 我本地尝试了一张图片, 如果保存png格式, 数据大小在1.4M左右, 如果使用rle格式保存存储数据只有82.7K, 相对压缩了17倍, 对于传输和存储非常友好, 很多项目直接使用的 rle 数据结构, 而不是 cocoapi 的完整协议.

比如我这里参考的 SA-1B(segment-anything) 数据结构.SA-1B(segment-anything)/An_...Y0/sa_10001.json

{
    "image": {
        "image_id": 10001,
        "width": 2250,
        "height": 1500,
        "file_name": "sa_10001.jpg"
    },
    "annotations": [
        {
            "bbox": [
                957.0,
                514.0,
                75.0,
                91.0
            ],
            "area": 5437,
            "segmentation": {
                "size": [
                    1500,
                    2250
                ],
                "counts": "]]j[1<\\^17J5K5L3K6J6@?F:K5L3O2N1O2M2O1O100O00100O100O10O10O1000O10O1000O100000000O1000001O0O101O000O2O001O1N101O1O0O2O1O1O1O1N2O1O1O2M2O2N1O2N2N2M4M2N3L5K6I8D^Ufg1"
            },
            "predicted_iou": 0.9770874977111816,
            "point_coords": [
                [
                    1018.0625,
                    559.0625
                ]
            ],
            "crop_box": [
                499.0,
                311.0,
                755.0,
                567.0
            ],
            "id": 857953971,
            "stability_score": 0.985213577747345
        },
        {
            "bbox": [
                1373.0,
                575.0,
                83.0,
                75.0
            ],
            "area": 3007,
            "segmentation": {
                "size": [
                    1500,
                    2250
                ],
                "counts": "_ikn1=]^14N2M2O2N1N3N1O1O1O101N1O101N1O2O0O100O2O001O00001O001O1O001O001O10O0100O100O01N101N001O000000000O10001O00000000001O0O2O1O1O1O1O001O001O001O001O2N3M2M2O2N1O1O2N2M3N4IooXT1"
            },
            "predicted_iou": 0.9649069309234619,
            "point_coords": [
                [
                    1422.6875,
                    629.9375
                ]
            ],
            "crop_box": [
                998.0,
                311.0,
                755.0,
                567.0
            ],
            "id": 857953972,
            "stability_score": 0.9847984313964844
        },
...

其中 segmentation 数据结构就是 rle结构的.

python">from pycocotools import mask as maskUtils
import matplotlib.pyplot as plt
import json

# 下载和读取上面的 json数据文件到 mask_info 中, 下面代码进行rle数据解码
mask_a = maskUtils.decode(mask_info['annotations']['segmentation'])

# 展示
plt.figure('image')
plt.imshow(mask_a)
plt.show()