跳到内容

4m4n5/CLIP-Lite系列

Lite夹子

CLIP Lite的Pytorch实现| AISTATS 2023接受|纸张

安装

环境

  1. 从他们的下载站点安装基于Python 3.7.x的Anaconda或Miniconda发行版。

  2. 克隆存储库

git克隆git@github.com:4m4n5/CLIP-Litegit
  1. 创建一个conda环境并安装所有依赖项。
cd vislang-infomax光盘conda create-n vlinfo python=3.7--文件=环境.ymlconda激活vlinfopip安装-r要求.txt
  1. 登录日志权重和偏差
    • 运行wandb登录在航站楼或进口魔杖;wandb.login()在python解释器中,并按照提示进行操作

数据集集合

假设数据集存在于./data/datasets/目录(相对于项目根目录)遵循下面指定的结构。

  1. COCO用于预培训。当Detectron2用于下游任务时,此结构是兼容的。
./data/datasets/coco/注释/标题_{火车,val}2017.json实例_{火车,val}2017.json2017年培训/#2017年列车拆分中的图像2017年5月/#2017年val中的图像分割
  1. PASCAL VOC用于下游分类/检测任务
./data/datasets/VOC2007/注释/图像集/主要/trainval.txt(训练值.txt)测试.txtJPEG图像/
  1. ImageNet用于下游微调任务
./data/datasets/imagenet/列车/#每个类别一个目录,其中包含图像val值/#每个类别一个目录,其中包含图像ILSVRC2012_devkit_t12.tar.gz(ILSVRC2012 _ devkit _ t12.tar.gz)
  1. iNaturalist 2018用于下游分类任务
./data/datasets/inaturalist数据集/2018年全年列车/注释/2018.json列车val2018.json公司

预处理数据

序列化COCO标题(2017年列车2017年5月拆分)到LMDB文件中。预培训期间,这些数据读取速度更快。

python脚本/coco_preprocess.py\--模式列车_伯特\--data-root/data/datasets/coco/\--分体式列车\--输出数据集/序列化/

培训

第一次编辑工厂.py以包含所需数据集的路径。训练参数由位于的配置文件(YAML)指定./configs/已完成/.每次运行都会在检查点-目录日志和检查点的目录。

蟒蛇训练.py\--配置配置/sbert/from_scratch/fs_bs1024_ni250k.yaml\--每台机器8个gpus\--cpu工作人员0\--checkpoints-dir保存/检查点

关于

Pytorch实施CLIP-Lite | AISTATS 2023接受

话题

资源

许可证

星星

观察者

叉子

发布

未发布版本

包装

未发布包