Play
这个notebook的意义在于方便展示。
In [5]:
Copied!
!python utils/preprocess.py #ViT-B/16
!python utils/preprocess.py #ViT-B/16
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
epochs默认为30 batchsize默认为128 这两个超参数我就不调整了。我主要调整两个超参数——学习率lr和分类头大小D
linear probe+resnet/roberta¶
In [6]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.928: 100%|█████████████| 27/27 [00:00<00:00, 68.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 178.60it/s] [epoch 1] train_loss: 1.028 val_accuracy: 0.585 train epoch[2/30] loss:0.776: 100%|████████████| 27/27 [00:00<00:00, 167.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.31it/s] [epoch 2] train_loss: 0.805 val_accuracy: 0.653 train epoch[3/30] loss:0.688: 100%|████████████| 27/27 [00:00<00:00, 170.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 278.27it/s] [epoch 3] train_loss: 0.702 val_accuracy: 0.702 train epoch[4/30] loss:0.598: 100%|████████████| 27/27 [00:00<00:00, 171.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 278.58it/s] [epoch 4] train_loss: 0.644 val_accuracy: 0.683 train epoch[5/30] loss:0.596: 100%|████████████| 27/27 [00:00<00:00, 167.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.26it/s] [epoch 5] train_loss: 0.604 val_accuracy: 0.728 train epoch[6/30] loss:0.668: 100%|████████████| 27/27 [00:00<00:00, 172.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 278.51it/s] [epoch 6] train_loss: 0.576 val_accuracy: 0.720 train epoch[7/30] loss:0.422: 100%|████████████| 27/27 [00:00<00:00, 172.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.38it/s] [epoch 7] train_loss: 0.546 val_accuracy: 0.733 train epoch[8/30] loss:0.534: 100%|████████████| 27/27 [00:00<00:00, 165.98it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.14it/s] [epoch 8] train_loss: 0.526 val_accuracy: 0.717 train epoch[9/30] loss:0.478: 100%|████████████| 27/27 [00:00<00:00, 172.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.99it/s] [epoch 9] train_loss: 0.504 val_accuracy: 0.735 train epoch[10/30] loss:0.494: 100%|███████████| 27/27 [00:00<00:00, 174.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.42it/s] [epoch 10] train_loss: 0.489 val_accuracy: 0.712 train epoch[11/30] loss:0.447: 100%|███████████| 27/27 [00:00<00:00, 175.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.77it/s] [epoch 11] train_loss: 0.469 val_accuracy: 0.665 train epoch[12/30] loss:0.472: 100%|███████████| 27/27 [00:00<00:00, 173.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.06it/s] [epoch 12] train_loss: 0.455 val_accuracy: 0.718 train epoch[13/30] loss:0.440: 100%|███████████| 27/27 [00:00<00:00, 169.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.78it/s] [epoch 13] train_loss: 0.438 val_accuracy: 0.725 train epoch[14/30] loss:0.477: 100%|███████████| 27/27 [00:00<00:00, 167.34it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.26it/s] [epoch 14] train_loss: 0.425 val_accuracy: 0.680 train epoch[15/30] loss:0.454: 100%|███████████| 27/27 [00:00<00:00, 169.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.59it/s] [epoch 15] train_loss: 0.409 val_accuracy: 0.717 train epoch[16/30] loss:0.420: 100%|███████████| 27/27 [00:00<00:00, 167.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.19it/s] [epoch 16] train_loss: 0.393 val_accuracy: 0.715 train epoch[17/30] loss:0.439: 100%|███████████| 27/27 [00:00<00:00, 167.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 278.14it/s] [epoch 17] train_loss: 0.379 val_accuracy: 0.718 train epoch[18/30] loss:0.360: 100%|███████████| 27/27 [00:00<00:00, 169.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 279.33it/s] [epoch 18] train_loss: 0.364 val_accuracy: 0.722 train epoch[19/30] loss:0.355: 100%|███████████| 27/27 [00:00<00:00, 169.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 280.00it/s] [epoch 19] train_loss: 0.352 val_accuracy: 0.688 train epoch[20/30] loss:0.307: 100%|███████████| 27/27 [00:00<00:00, 167.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.23it/s] [epoch 20] train_loss: 0.340 val_accuracy: 0.717 train epoch[21/30] loss:0.348: 100%|███████████| 27/27 [00:00<00:00, 169.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.40it/s] [epoch 21] train_loss: 0.325 val_accuracy: 0.698 train epoch[22/30] loss:0.334: 100%|███████████| 27/27 [00:00<00:00, 166.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.82it/s] [epoch 22] train_loss: 0.313 val_accuracy: 0.700 train epoch[23/30] loss:0.312: 100%|███████████| 27/27 [00:00<00:00, 175.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.52it/s] [epoch 23] train_loss: 0.304 val_accuracy: 0.675 train epoch[24/30] loss:0.248: 100%|███████████| 27/27 [00:00<00:00, 174.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.33it/s] [epoch 24] train_loss: 0.295 val_accuracy: 0.698 train epoch[25/30] loss:0.263: 100%|███████████| 27/27 [00:00<00:00, 170.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.65it/s] [epoch 25] train_loss: 0.283 val_accuracy: 0.673 train epoch[26/30] loss:0.295: 100%|███████████| 27/27 [00:00<00:00, 178.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.01it/s] [epoch 26] train_loss: 0.270 val_accuracy: 0.700 train epoch[27/30] loss:0.205: 100%|███████████| 27/27 [00:00<00:00, 181.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.52it/s] [epoch 27] train_loss: 0.257 val_accuracy: 0.712 train epoch[28/30] loss:0.229: 100%|███████████| 27/27 [00:00<00:00, 180.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.75it/s] [epoch 28] train_loss: 0.253 val_accuracy: 0.703 train epoch[29/30] loss:0.194: 100%|███████████| 27/27 [00:00<00:00, 179.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.96it/s] [epoch 29] train_loss: 0.239 val_accuracy: 0.713 train epoch[30/30] loss:0.220: 100%|███████████| 27/27 [00:00<00:00, 176.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 262.85it/s] [epoch 30] train_loss: 0.231 val_accuracy: 0.710 Finished Training Best Accuracy: 0.735
In [7]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.140: 100%|█████████████| 27/27 [00:00<00:00, 62.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 154.36it/s] [epoch 1] train_loss: 1.177 val_accuracy: 0.350 train epoch[2/30] loss:1.070: 100%|████████████| 27/27 [00:00<00:00, 173.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.33it/s] [epoch 2] train_loss: 1.123 val_accuracy: 0.445 train epoch[3/30] loss:1.072: 100%|████████████| 27/27 [00:00<00:00, 176.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.76it/s] [epoch 3] train_loss: 1.080 val_accuracy: 0.510 train epoch[4/30] loss:1.004: 100%|████████████| 27/27 [00:00<00:00, 172.33it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.98it/s] [epoch 4] train_loss: 1.044 val_accuracy: 0.558 train epoch[5/30] loss:0.996: 100%|████████████| 27/27 [00:00<00:00, 171.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.33it/s] [epoch 5] train_loss: 1.011 val_accuracy: 0.587 train epoch[6/30] loss:1.007: 100%|████████████| 27/27 [00:00<00:00, 172.13it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.71it/s] [epoch 6] train_loss: 0.982 val_accuracy: 0.603 train epoch[7/30] loss:0.918: 100%|████████████| 27/27 [00:00<00:00, 167.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 244.73it/s] [epoch 7] train_loss: 0.955 val_accuracy: 0.620 train epoch[8/30] loss:0.931: 100%|████████████| 27/27 [00:00<00:00, 171.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.30it/s] [epoch 8] train_loss: 0.933 val_accuracy: 0.643 train epoch[9/30] loss:0.901: 100%|████████████| 27/27 [00:00<00:00, 171.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.21it/s] [epoch 9] train_loss: 0.909 val_accuracy: 0.657 train epoch[10/30] loss:0.849: 100%|███████████| 27/27 [00:00<00:00, 172.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.04it/s] [epoch 10] train_loss: 0.890 val_accuracy: 0.663 train epoch[11/30] loss:0.859: 100%|███████████| 27/27 [00:00<00:00, 171.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.46it/s] [epoch 11] train_loss: 0.872 val_accuracy: 0.667 train epoch[12/30] loss:0.865: 100%|███████████| 27/27 [00:00<00:00, 170.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.20it/s] [epoch 12] train_loss: 0.855 val_accuracy: 0.673 train epoch[13/30] loss:0.826: 100%|███████████| 27/27 [00:00<00:00, 172.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.58it/s] [epoch 13] train_loss: 0.838 val_accuracy: 0.677 train epoch[14/30] loss:0.851: 100%|███████████| 27/27 [00:00<00:00, 172.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.67it/s] [epoch 14] train_loss: 0.825 val_accuracy: 0.675 train epoch[15/30] loss:0.805: 100%|███████████| 27/27 [00:00<00:00, 171.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.29it/s] [epoch 15] train_loss: 0.810 val_accuracy: 0.682 train epoch[16/30] loss:0.825: 100%|███████████| 27/27 [00:00<00:00, 162.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 260.75it/s] [epoch 16] train_loss: 0.796 val_accuracy: 0.680 train epoch[17/30] loss:0.844: 100%|███████████| 27/27 [00:00<00:00, 172.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.99it/s] [epoch 17] train_loss: 0.784 val_accuracy: 0.690 train epoch[18/30] loss:0.786: 100%|███████████| 27/27 [00:00<00:00, 176.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.13it/s] [epoch 18] train_loss: 0.771 val_accuracy: 0.692 train epoch[19/30] loss:0.733: 100%|███████████| 27/27 [00:00<00:00, 176.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 264.50it/s] [epoch 19] train_loss: 0.759 val_accuracy: 0.693 train epoch[20/30] loss:0.684: 100%|███████████| 27/27 [00:00<00:00, 174.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 268.88it/s] [epoch 20] train_loss: 0.749 val_accuracy: 0.702 train epoch[21/30] loss:0.743: 100%|███████████| 27/27 [00:00<00:00, 172.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 265.89it/s] [epoch 21] train_loss: 0.739 val_accuracy: 0.703 train epoch[22/30] loss:0.704: 100%|███████████| 27/27 [00:00<00:00, 172.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.88it/s] [epoch 22] train_loss: 0.728 val_accuracy: 0.710 train epoch[23/30] loss:0.704: 100%|███████████| 27/27 [00:00<00:00, 172.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.05it/s] [epoch 23] train_loss: 0.719 val_accuracy: 0.713 train epoch[24/30] loss:0.635: 100%|███████████| 27/27 [00:00<00:00, 173.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 269.01it/s] [epoch 24] train_loss: 0.711 val_accuracy: 0.713 train epoch[25/30] loss:0.734: 100%|███████████| 27/27 [00:00<00:00, 170.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 269.38it/s] [epoch 25] train_loss: 0.706 val_accuracy: 0.715 train epoch[26/30] loss:0.678: 100%|███████████| 27/27 [00:00<00:00, 173.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 266.27it/s] [epoch 26] train_loss: 0.695 val_accuracy: 0.713 train epoch[27/30] loss:0.590: 100%|███████████| 27/27 [00:00<00:00, 172.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.05it/s] [epoch 27] train_loss: 0.686 val_accuracy: 0.712 train epoch[28/30] loss:0.689: 100%|███████████| 27/27 [00:00<00:00, 173.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 268.55it/s] [epoch 28] train_loss: 0.683 val_accuracy: 0.710 train epoch[29/30] loss:0.607: 100%|███████████| 27/27 [00:00<00:00, 170.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 266.89it/s] [epoch 29] train_loss: 0.673 val_accuracy: 0.718 train epoch[30/30] loss:0.666: 100%|███████████| 27/27 [00:00<00:00, 173.89it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 269.19it/s] [epoch 30] train_loss: 0.668 val_accuracy: 0.715 Finished Training Best Accuracy: 0.718
In [8]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.752: 100%|█████████████| 27/27 [00:00<00:00, 61.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 148.64it/s] [epoch 1] train_loss: 0.872 val_accuracy: 0.645 train epoch[2/30] loss:0.805: 100%|████████████| 27/27 [00:00<00:00, 171.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.67it/s] [epoch 2] train_loss: 0.691 val_accuracy: 0.670 train epoch[3/30] loss:0.737: 100%|████████████| 27/27 [00:00<00:00, 174.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.27it/s] [epoch 3] train_loss: 0.621 val_accuracy: 0.712 train epoch[4/30] loss:0.645: 100%|████████████| 27/27 [00:00<00:00, 173.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.07it/s] [epoch 4] train_loss: 0.575 val_accuracy: 0.712 train epoch[5/30] loss:0.519: 100%|████████████| 27/27 [00:00<00:00, 172.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 258.22it/s] [epoch 5] train_loss: 0.539 val_accuracy: 0.708 train epoch[6/30] loss:0.470: 100%|████████████| 27/27 [00:00<00:00, 171.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 218.46it/s] [epoch 6] train_loss: 0.506 val_accuracy: 0.725 train epoch[7/30] loss:0.597: 100%|████████████| 27/27 [00:00<00:00, 160.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.39it/s] [epoch 7] train_loss: 0.484 val_accuracy: 0.665 train epoch[8/30] loss:0.480: 100%|████████████| 27/27 [00:00<00:00, 164.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.95it/s] [epoch 8] train_loss: 0.457 val_accuracy: 0.718 train epoch[9/30] loss:0.374: 100%|████████████| 27/27 [00:00<00:00, 165.52it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.65it/s] [epoch 9] train_loss: 0.432 val_accuracy: 0.708 train epoch[10/30] loss:0.388: 100%|███████████| 27/27 [00:00<00:00, 165.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.03it/s] [epoch 10] train_loss: 0.408 val_accuracy: 0.665 train epoch[11/30] loss:0.404: 100%|███████████| 27/27 [00:00<00:00, 166.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.00it/s] [epoch 11] train_loss: 0.390 val_accuracy: 0.557 train epoch[12/30] loss:0.343: 100%|███████████| 27/27 [00:00<00:00, 164.41it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.17it/s] [epoch 12] train_loss: 0.370 val_accuracy: 0.688 train epoch[13/30] loss:0.378: 100%|███████████| 27/27 [00:00<00:00, 167.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.12it/s] [epoch 13] train_loss: 0.348 val_accuracy: 0.700 train epoch[14/30] loss:0.344: 100%|███████████| 27/27 [00:00<00:00, 164.21it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.88it/s] [epoch 14] train_loss: 0.332 val_accuracy: 0.643 train epoch[15/30] loss:0.349: 100%|███████████| 27/27 [00:00<00:00, 166.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.35it/s] [epoch 15] train_loss: 0.312 val_accuracy: 0.693 train epoch[16/30] loss:0.279: 100%|███████████| 27/27 [00:00<00:00, 165.41it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 269.92it/s] [epoch 16] train_loss: 0.292 val_accuracy: 0.708 train epoch[17/30] loss:0.316: 100%|███████████| 27/27 [00:00<00:00, 164.55it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.03it/s] [epoch 17] train_loss: 0.280 val_accuracy: 0.697 train epoch[18/30] loss:0.274: 100%|███████████| 27/27 [00:00<00:00, 166.21it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 261.57it/s] [epoch 18] train_loss: 0.261 val_accuracy: 0.682 train epoch[19/30] loss:0.284: 100%|███████████| 27/27 [00:00<00:00, 165.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.48it/s] [epoch 19] train_loss: 0.248 val_accuracy: 0.640 train epoch[20/30] loss:0.298: 100%|███████████| 27/27 [00:00<00:00, 164.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.50it/s] [epoch 20] train_loss: 0.239 val_accuracy: 0.702 train epoch[21/30] loss:0.212: 100%|███████████| 27/27 [00:00<00:00, 166.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.46it/s] [epoch 21] train_loss: 0.218 val_accuracy: 0.702 train epoch[22/30] loss:0.216: 100%|███████████| 27/27 [00:00<00:00, 167.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.97it/s] [epoch 22] train_loss: 0.210 val_accuracy: 0.698 train epoch[23/30] loss:0.194: 100%|███████████| 27/27 [00:00<00:00, 166.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.04it/s] [epoch 23] train_loss: 0.195 val_accuracy: 0.655 train epoch[24/30] loss:0.188: 100%|███████████| 27/27 [00:00<00:00, 166.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.65it/s] [epoch 24] train_loss: 0.186 val_accuracy: 0.663 train epoch[25/30] loss:0.196: 100%|███████████| 27/27 [00:00<00:00, 165.21it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.37it/s] [epoch 25] train_loss: 0.174 val_accuracy: 0.613 train epoch[26/30] loss:0.161: 100%|███████████| 27/27 [00:00<00:00, 164.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.50it/s] [epoch 26] train_loss: 0.164 val_accuracy: 0.700 train epoch[27/30] loss:0.176: 100%|███████████| 27/27 [00:00<00:00, 166.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.69it/s] [epoch 27] train_loss: 0.155 val_accuracy: 0.697 train epoch[28/30] loss:0.207: 100%|███████████| 27/27 [00:00<00:00, 164.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.14it/s] [epoch 28] train_loss: 0.149 val_accuracy: 0.683 train epoch[29/30] loss:0.119: 100%|███████████| 27/27 [00:00<00:00, 166.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.80it/s] [epoch 29] train_loss: 0.140 val_accuracy: 0.600 train epoch[30/30] loss:0.150: 100%|███████████| 27/27 [00:00<00:00, 165.48it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.86it/s] [epoch 30] train_loss: 0.134 val_accuracy: 0.702 Finished Training Best Accuracy: 0.725
In [9]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.956: 100%|█████████████| 27/27 [00:00<00:00, 61.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 150.90it/s] [epoch 1] train_loss: 1.011 val_accuracy: 0.575 train epoch[2/30] loss:1.037: 100%|████████████| 27/27 [00:00<00:00, 169.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.40it/s] [epoch 2] train_loss: 0.952 val_accuracy: 0.595 train epoch[3/30] loss:0.943: 100%|████████████| 27/27 [00:00<00:00, 162.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.85it/s] [epoch 3] train_loss: 0.905 val_accuracy: 0.628 train epoch[4/30] loss:0.925: 100%|████████████| 27/27 [00:00<00:00, 165.16it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 265.87it/s] [epoch 4] train_loss: 0.870 val_accuracy: 0.647 train epoch[5/30] loss:0.807: 100%|████████████| 27/27 [00:00<00:00, 168.96it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.09it/s] [epoch 5] train_loss: 0.838 val_accuracy: 0.663 train epoch[6/30] loss:0.810: 100%|████████████| 27/27 [00:00<00:00, 166.30it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.44it/s] [epoch 6] train_loss: 0.812 val_accuracy: 0.668 train epoch[7/30] loss:0.885: 100%|████████████| 27/27 [00:00<00:00, 166.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.73it/s] [epoch 7] train_loss: 0.792 val_accuracy: 0.678 train epoch[8/30] loss:0.796: 100%|████████████| 27/27 [00:00<00:00, 166.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.66it/s] [epoch 8] train_loss: 0.772 val_accuracy: 0.690 train epoch[9/30] loss:0.692: 100%|████████████| 27/27 [00:00<00:00, 168.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.00it/s] [epoch 9] train_loss: 0.754 val_accuracy: 0.697 train epoch[10/30] loss:0.721: 100%|███████████| 27/27 [00:00<00:00, 166.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.12it/s] [epoch 10] train_loss: 0.738 val_accuracy: 0.698 train epoch[11/30] loss:0.706: 100%|███████████| 27/27 [00:00<00:00, 168.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.87it/s] [epoch 11] train_loss: 0.723 val_accuracy: 0.695 train epoch[12/30] loss:0.672: 100%|███████████| 27/27 [00:00<00:00, 166.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.22it/s] [epoch 12] train_loss: 0.712 val_accuracy: 0.705 train epoch[13/30] loss:0.720: 100%|███████████| 27/27 [00:00<00:00, 167.90it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.33it/s] [epoch 13] train_loss: 0.700 val_accuracy: 0.708 train epoch[14/30] loss:0.713: 100%|███████████| 27/27 [00:00<00:00, 161.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 274.27it/s] [epoch 14] train_loss: 0.691 val_accuracy: 0.708 train epoch[15/30] loss:0.641: 100%|███████████| 27/27 [00:00<00:00, 166.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.28it/s] [epoch 15] train_loss: 0.679 val_accuracy: 0.710 train epoch[16/30] loss:0.674: 100%|███████████| 27/27 [00:00<00:00, 170.43it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 270.11it/s] [epoch 16] train_loss: 0.669 val_accuracy: 0.710 train epoch[17/30] loss:0.694: 100%|███████████| 27/27 [00:00<00:00, 171.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.82it/s] [epoch 17] train_loss: 0.663 val_accuracy: 0.712 train epoch[18/30] loss:0.605: 100%|███████████| 27/27 [00:00<00:00, 176.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.56it/s] [epoch 18] train_loss: 0.652 val_accuracy: 0.712 train epoch[19/30] loss:0.657: 100%|███████████| 27/27 [00:00<00:00, 169.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.21it/s] [epoch 19] train_loss: 0.647 val_accuracy: 0.718 train epoch[20/30] loss:0.688: 100%|███████████| 27/27 [00:00<00:00, 172.33it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 279.69it/s] [epoch 20] train_loss: 0.641 val_accuracy: 0.718 train epoch[21/30] loss:0.610: 100%|███████████| 27/27 [00:00<00:00, 173.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 279.68it/s] [epoch 21] train_loss: 0.630 val_accuracy: 0.720 train epoch[22/30] loss:0.638: 100%|███████████| 27/27 [00:00<00:00, 171.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 282.54it/s] [epoch 22] train_loss: 0.627 val_accuracy: 0.723 train epoch[23/30] loss:0.594: 100%|███████████| 27/27 [00:00<00:00, 172.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 280.35it/s] [epoch 23] train_loss: 0.619 val_accuracy: 0.720 train epoch[24/30] loss:0.578: 100%|███████████| 27/27 [00:00<00:00, 171.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 279.46it/s] [epoch 24] train_loss: 0.615 val_accuracy: 0.717 train epoch[25/30] loss:0.569: 100%|███████████| 27/27 [00:00<00:00, 156.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.93it/s] [epoch 25] train_loss: 0.607 val_accuracy: 0.717 train epoch[26/30] loss:0.602: 100%|███████████| 27/27 [00:00<00:00, 157.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 267.85it/s] [epoch 26] train_loss: 0.600 val_accuracy: 0.718 train epoch[27/30] loss:0.611: 100%|███████████| 27/27 [00:00<00:00, 165.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 282.13it/s] [epoch 27] train_loss: 0.596 val_accuracy: 0.720 train epoch[28/30] loss:0.694: 100%|███████████| 27/27 [00:00<00:00, 171.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.08it/s] [epoch 28] train_loss: 0.593 val_accuracy: 0.722 train epoch[29/30] loss:0.510: 100%|███████████| 27/27 [00:00<00:00, 173.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 278.34it/s] [epoch 29] train_loss: 0.586 val_accuracy: 0.717 train epoch[30/30] loss:0.635: 100%|███████████| 27/27 [00:00<00:00, 186.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 281.46it/s] [epoch 30] train_loss: 0.583 val_accuracy: 0.722 Finished Training Best Accuracy: 0.723
fine tuning+resnet/roberta¶
In [10]:
Copied!
!python utils/train_fine_tuning.py --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15)
using cuda device.
train epoch[1/30] loss:0.899: 100%|█████████████| 27/27 [00:17<00:00, 1.57it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.40it/s]
[epoch 1] train_loss: 0.952 val_accuracy: 0.675
train epoch[2/30] loss:0.329: 100%|█████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 2] train_loss: 0.461 val_accuracy: 0.667
train epoch[3/30] loss:0.234: 100%|█████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 3] train_loss: 0.205 val_accuracy: 0.653
train epoch[4/30] loss:0.136: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 4] train_loss: 0.108 val_accuracy: 0.630
train epoch[5/30] loss:0.108: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 5] train_loss: 0.073 val_accuracy: 0.668
train epoch[6/30] loss:0.048: 100%|█████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 6] train_loss: 0.052 val_accuracy: 0.655
train epoch[7/30] loss:0.045: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 7] train_loss: 0.044 val_accuracy: 0.642
train epoch[8/30] loss:0.035: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 8] train_loss: 0.037 val_accuracy: 0.672
train epoch[9/30] loss:0.032: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 9] train_loss: 0.034 val_accuracy: 0.657
train epoch[10/30] loss:0.039: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 10] train_loss: 0.029 val_accuracy: 0.658
train epoch[11/30] loss:0.010: 100%|████████████| 27/27 [00:16<00:00, 1.68it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 11] train_loss: 0.026 val_accuracy: 0.663
train epoch[12/30] loss:0.011: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 12] train_loss: 0.024 val_accuracy: 0.673
train epoch[13/30] loss:0.042: 100%|████████████| 27/27 [00:16<00:00, 1.67it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 13] train_loss: 0.024 val_accuracy: 0.665
train epoch[14/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 14] train_loss: 0.021 val_accuracy: 0.663
train epoch[15/30] loss:0.043: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 15] train_loss: 0.020 val_accuracy: 0.663
train epoch[16/30] loss:0.061: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.39it/s]
[epoch 16] train_loss: 0.020 val_accuracy: 0.647
train epoch[17/30] loss:0.008: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 17] train_loss: 0.019 val_accuracy: 0.647
train epoch[18/30] loss:0.008: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.31it/s]
[epoch 18] train_loss: 0.017 val_accuracy: 0.662
train epoch[19/30] loss:0.009: 100%|████████████| 27/27 [00:16<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.28it/s]
[epoch 19] train_loss: 0.017 val_accuracy: 0.660
train epoch[20/30] loss:0.041: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.34it/s]
[epoch 20] train_loss: 0.019 val_accuracy: 0.667
train epoch[21/30] loss:0.028: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 21] train_loss: 0.020 val_accuracy: 0.658
train epoch[22/30] loss:0.026: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.31it/s]
[epoch 22] train_loss: 0.019 val_accuracy: 0.655
train epoch[23/30] loss:0.073: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 23] train_loss: 0.019 val_accuracy: 0.655
train epoch[24/30] loss:0.020: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 24] train_loss: 0.019 val_accuracy: 0.665
train epoch[25/30] loss:0.029: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 25] train_loss: 0.015 val_accuracy: 0.655
train epoch[26/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 26] train_loss: 0.014 val_accuracy: 0.675
train epoch[27/30] loss:0.006: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 27] train_loss: 0.014 val_accuracy: 0.650
train epoch[28/30] loss:0.005: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 28] train_loss: 0.014 val_accuracy: 0.662
train epoch[29/30] loss:0.005: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 29] train_loss: 0.013 val_accuracy: 0.667
train epoch[30/30] loss:0.065: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 30] train_loss: 0.014 val_accuracy: 0.670
Finished Training
Best Accuracy: 0.675
In [11]:
Copied!
!python utils/train_fine_tuning.py --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15)
using cuda device.
train epoch[1/30] loss:1.124: 100%|█████████████| 27/27 [00:16<00:00, 1.67it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 1] train_loss: 1.153 val_accuracy: 0.502
train epoch[2/30] loss:0.891: 100%|█████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.36it/s]
[epoch 2] train_loss: 0.973 val_accuracy: 0.548
train epoch[3/30] loss:0.751: 100%|█████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 3] train_loss: 0.815 val_accuracy: 0.588
train epoch[4/30] loss:0.727: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 4] train_loss: 0.688 val_accuracy: 0.592
train epoch[5/30] loss:0.482: 100%|█████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 5] train_loss: 0.573 val_accuracy: 0.617
train epoch[6/30] loss:0.443: 100%|█████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 6] train_loss: 0.473 val_accuracy: 0.643
train epoch[7/30] loss:0.304: 100%|█████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 7] train_loss: 0.383 val_accuracy: 0.637
train epoch[8/30] loss:0.306: 100%|█████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 8] train_loss: 0.309 val_accuracy: 0.642
train epoch[9/30] loss:0.281: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 9] train_loss: 0.257 val_accuracy: 0.637
train epoch[10/30] loss:0.169: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 10] train_loss: 0.214 val_accuracy: 0.642
train epoch[11/30] loss:0.157: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 11] train_loss: 0.181 val_accuracy: 0.623
train epoch[12/30] loss:0.156: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 12] train_loss: 0.160 val_accuracy: 0.627
train epoch[13/30] loss:0.205: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 13] train_loss: 0.140 val_accuracy: 0.627
train epoch[14/30] loss:0.118: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 14] train_loss: 0.125 val_accuracy: 0.617
train epoch[15/30] loss:0.154: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.26it/s]
[epoch 15] train_loss: 0.114 val_accuracy: 0.617
train epoch[16/30] loss:0.180: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.38it/s]
[epoch 16] train_loss: 0.106 val_accuracy: 0.620
train epoch[17/30] loss:0.082: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.35it/s]
[epoch 17] train_loss: 0.096 val_accuracy: 0.618
train epoch[18/30] loss:0.076: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 18] train_loss: 0.090 val_accuracy: 0.620
train epoch[19/30] loss:0.060: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 19] train_loss: 0.085 val_accuracy: 0.625
train epoch[20/30] loss:0.075: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 20] train_loss: 0.078 val_accuracy: 0.635
train epoch[21/30] loss:0.073: 100%|████████████| 27/27 [00:16<00:00, 1.68it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 21] train_loss: 0.077 val_accuracy: 0.630
train epoch[22/30] loss:0.087: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 22] train_loss: 0.073 val_accuracy: 0.613
train epoch[23/30] loss:0.121: 100%|████████████| 27/27 [00:16<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.31it/s]
[epoch 23] train_loss: 0.070 val_accuracy: 0.615
train epoch[24/30] loss:0.057: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 24] train_loss: 0.069 val_accuracy: 0.625
train epoch[25/30] loss:0.061: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 25] train_loss: 0.063 val_accuracy: 0.615
train epoch[26/30] loss:0.040: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 26] train_loss: 0.061 val_accuracy: 0.625
train epoch[27/30] loss:0.075: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 27] train_loss: 0.059 val_accuracy: 0.615
train epoch[28/30] loss:0.055: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 28] train_loss: 0.058 val_accuracy: 0.615
train epoch[29/30] loss:0.051: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 29] train_loss: 0.055 val_accuracy: 0.620
train epoch[30/30] loss:0.119: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.36it/s]
[epoch 30] train_loss: 0.056 val_accuracy: 0.622
Finished Training
Best Accuracy: 0.643
In [12]:
Copied!
!python utils/train_fine_tuning.py --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15)
using cuda device.
train epoch[1/30] loss:0.842: 100%|█████████████| 27/27 [00:16<00:00, 1.65it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 1] train_loss: 0.937 val_accuracy: 0.662
train epoch[2/30] loss:0.358: 100%|█████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 2] train_loss: 0.475 val_accuracy: 0.680
train epoch[3/30] loss:0.126: 100%|█████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.35it/s]
[epoch 3] train_loss: 0.183 val_accuracy: 0.653
train epoch[4/30] loss:0.073: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 4] train_loss: 0.087 val_accuracy: 0.643
train epoch[5/30] loss:0.059: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 5] train_loss: 0.050 val_accuracy: 0.667
train epoch[6/30] loss:0.089: 100%|█████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 6] train_loss: 0.034 val_accuracy: 0.665
train epoch[7/30] loss:0.073: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 7] train_loss: 0.028 val_accuracy: 0.670
train epoch[8/30] loss:0.016: 100%|█████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 8] train_loss: 0.024 val_accuracy: 0.675
train epoch[9/30] loss:0.053: 100%|█████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 9] train_loss: 0.022 val_accuracy: 0.658
train epoch[10/30] loss:0.007: 100%|████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 10] train_loss: 0.021 val_accuracy: 0.677
train epoch[11/30] loss:0.024: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 11] train_loss: 0.020 val_accuracy: 0.670
train epoch[12/30] loss:0.027: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 12] train_loss: 0.019 val_accuracy: 0.662
train epoch[13/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 13] train_loss: 0.017 val_accuracy: 0.672
train epoch[14/30] loss:0.007: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.38it/s]
[epoch 14] train_loss: 0.016 val_accuracy: 0.675
train epoch[15/30] loss:0.018: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:04<00:00, 1.25it/s]
[epoch 15] train_loss: 0.017 val_accuracy: 0.668
train epoch[16/30] loss:0.050: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:04<00:00, 1.24it/s]
[epoch 16] train_loss: 0.016 val_accuracy: 0.677
train epoch[17/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 17] train_loss: 0.016 val_accuracy: 0.660
train epoch[18/30] loss:0.044: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.38it/s]
[epoch 18] train_loss: 0.016 val_accuracy: 0.683
train epoch[19/30] loss:0.016: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 19] train_loss: 0.014 val_accuracy: 0.670
train epoch[20/30] loss:0.004: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 20] train_loss: 0.013 val_accuracy: 0.678
train epoch[21/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 21] train_loss: 0.014 val_accuracy: 0.673
train epoch[22/30] loss:0.006: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 22] train_loss: 0.013 val_accuracy: 0.670
train epoch[23/30] loss:0.048: 100%|████████████| 27/27 [00:16<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.32it/s]
[epoch 23] train_loss: 0.013 val_accuracy: 0.672
train epoch[24/30] loss:0.034: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 24] train_loss: 0.013 val_accuracy: 0.680
train epoch[25/30] loss:0.028: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.31it/s]
[epoch 25] train_loss: 0.013 val_accuracy: 0.678
train epoch[26/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 26] train_loss: 0.012 val_accuracy: 0.685
train epoch[27/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 27] train_loss: 0.011 val_accuracy: 0.673
train epoch[28/30] loss:0.004: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 28] train_loss: 0.011 val_accuracy: 0.687
train epoch[29/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 29] train_loss: 0.011 val_accuracy: 0.675
train epoch[30/30] loss:0.011: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 30] train_loss: 0.010 val_accuracy: 0.682
Finished Training
Best Accuracy: 0.687
In [13]:
Copied!
!python utils/train_fine_tuning.py --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15)
using cuda device.
train epoch[1/30] loss:1.149: 100%|█████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.40it/s]
[epoch 1] train_loss: 1.190 val_accuracy: 0.397
train epoch[2/30] loss:0.871: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.40it/s]
[epoch 2] train_loss: 0.975 val_accuracy: 0.517
train epoch[3/30] loss:0.780: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 3] train_loss: 0.791 val_accuracy: 0.568
train epoch[4/30] loss:0.651: 100%|█████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 4] train_loss: 0.653 val_accuracy: 0.585
train epoch[5/30] loss:0.565: 100%|█████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 5] train_loss: 0.538 val_accuracy: 0.607
train epoch[6/30] loss:0.522: 100%|█████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 6] train_loss: 0.423 val_accuracy: 0.617
train epoch[7/30] loss:0.306: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 7] train_loss: 0.333 val_accuracy: 0.620
train epoch[8/30] loss:0.342: 100%|█████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 8] train_loss: 0.262 val_accuracy: 0.642
train epoch[9/30] loss:0.241: 100%|█████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 9] train_loss: 0.200 val_accuracy: 0.633
train epoch[10/30] loss:0.132: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 10] train_loss: 0.166 val_accuracy: 0.630
train epoch[11/30] loss:0.122: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.34it/s]
[epoch 11] train_loss: 0.131 val_accuracy: 0.620
train epoch[12/30] loss:0.102: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 12] train_loss: 0.105 val_accuracy: 0.633
train epoch[13/30] loss:0.096: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.39it/s]
[epoch 13] train_loss: 0.088 val_accuracy: 0.617
train epoch[14/30] loss:0.081: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.39it/s]
[epoch 14] train_loss: 0.081 val_accuracy: 0.618
train epoch[15/30] loss:0.077: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 15] train_loss: 0.068 val_accuracy: 0.633
train epoch[16/30] loss:0.104: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.36it/s]
[epoch 16] train_loss: 0.062 val_accuracy: 0.628
train epoch[17/30] loss:0.055: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 17] train_loss: 0.056 val_accuracy: 0.630
train epoch[18/30] loss:0.063: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.36it/s]
[epoch 18] train_loss: 0.052 val_accuracy: 0.640
train epoch[19/30] loss:0.036: 100%|████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 19] train_loss: 0.045 val_accuracy: 0.630
train epoch[20/30] loss:0.036: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 20] train_loss: 0.042 val_accuracy: 0.633
train epoch[21/30] loss:0.027: 100%|████████████| 27/27 [00:16<00:00, 1.68it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 21] train_loss: 0.043 val_accuracy: 0.635
train epoch[22/30] loss:0.033: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 22] train_loss: 0.040 val_accuracy: 0.620
train epoch[23/30] loss:0.094: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 23] train_loss: 0.040 val_accuracy: 0.612
train epoch[24/30] loss:0.122: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 24] train_loss: 0.041 val_accuracy: 0.630
train epoch[25/30] loss:0.040: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 25] train_loss: 0.035 val_accuracy: 0.635
train epoch[26/30] loss:0.036: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 26] train_loss: 0.034 val_accuracy: 0.637
train epoch[27/30] loss:0.021: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 27] train_loss: 0.032 val_accuracy: 0.625
train epoch[28/30] loss:0.017: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 28] train_loss: 0.030 val_accuracy: 0.642
train epoch[29/30] loss:0.030: 100%|████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 29] train_loss: 0.028 val_accuracy: 0.635
train epoch[30/30] loss:0.035: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 30] train_loss: 0.027 val_accuracy: 0.642
Finished Training
Best Accuracy: 0.642
linear probe+clip(ViT-B/16)¶
In [14]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.893: 100%|█████████████| 27/27 [00:00<00:00, 68.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 150.88it/s] [epoch 1] train_loss: 0.958 val_accuracy: 0.678 train epoch[2/30] loss:0.799: 100%|████████████| 27/27 [00:00<00:00, 175.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 291.10it/s] [epoch 2] train_loss: 0.786 val_accuracy: 0.735 train epoch[3/30] loss:0.715: 100%|████████████| 27/27 [00:00<00:00, 176.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.47it/s] [epoch 3] train_loss: 0.690 val_accuracy: 0.755 train epoch[4/30] loss:0.607: 100%|████████████| 27/27 [00:00<00:00, 177.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.08it/s] [epoch 4] train_loss: 0.629 val_accuracy: 0.760 train epoch[5/30] loss:0.530: 100%|████████████| 27/27 [00:00<00:00, 180.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.06it/s] [epoch 5] train_loss: 0.583 val_accuracy: 0.772 train epoch[6/30] loss:0.691: 100%|████████████| 27/27 [00:00<00:00, 178.52it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.95it/s] [epoch 6] train_loss: 0.553 val_accuracy: 0.772 train epoch[7/30] loss:0.468: 100%|████████████| 27/27 [00:00<00:00, 182.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.25it/s] [epoch 7] train_loss: 0.517 val_accuracy: 0.778 train epoch[8/30] loss:0.509: 100%|████████████| 27/27 [00:00<00:00, 176.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.36it/s] [epoch 8] train_loss: 0.493 val_accuracy: 0.783 train epoch[9/30] loss:0.531: 100%|████████████| 27/27 [00:00<00:00, 178.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.05it/s] [epoch 9] train_loss: 0.471 val_accuracy: 0.782 train epoch[10/30] loss:0.537: 100%|███████████| 27/27 [00:00<00:00, 180.21it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.75it/s] [epoch 10] train_loss: 0.448 val_accuracy: 0.785 train epoch[11/30] loss:0.464: 100%|███████████| 27/27 [00:00<00:00, 179.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.96it/s] [epoch 11] train_loss: 0.425 val_accuracy: 0.782 train epoch[12/30] loss:0.424: 100%|███████████| 27/27 [00:00<00:00, 177.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.90it/s] [epoch 12] train_loss: 0.404 val_accuracy: 0.783 train epoch[13/30] loss:0.438: 100%|███████████| 27/27 [00:00<00:00, 178.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.99it/s] [epoch 13] train_loss: 0.385 val_accuracy: 0.778 train epoch[14/30] loss:0.486: 100%|███████████| 27/27 [00:00<00:00, 180.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.53it/s] [epoch 14] train_loss: 0.367 val_accuracy: 0.783 train epoch[15/30] loss:0.280: 100%|███████████| 27/27 [00:00<00:00, 178.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.87it/s] [epoch 15] train_loss: 0.347 val_accuracy: 0.782 train epoch[16/30] loss:0.340: 100%|███████████| 27/27 [00:00<00:00, 179.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.42it/s] [epoch 16] train_loss: 0.334 val_accuracy: 0.780 train epoch[17/30] loss:0.385: 100%|███████████| 27/27 [00:00<00:00, 180.42it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.50it/s] [epoch 17] train_loss: 0.317 val_accuracy: 0.780 train epoch[18/30] loss:0.228: 100%|███████████| 27/27 [00:00<00:00, 177.21it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.75it/s] [epoch 18] train_loss: 0.298 val_accuracy: 0.780 train epoch[19/30] loss:0.391: 100%|███████████| 27/27 [00:00<00:00, 178.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.92it/s] [epoch 19] train_loss: 0.288 val_accuracy: 0.780 train epoch[20/30] loss:0.258: 100%|███████████| 27/27 [00:00<00:00, 187.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.20it/s] [epoch 20] train_loss: 0.269 val_accuracy: 0.775 train epoch[21/30] loss:0.266: 100%|███████████| 27/27 [00:00<00:00, 185.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.63it/s] [epoch 21] train_loss: 0.256 val_accuracy: 0.778 train epoch[22/30] loss:0.222: 100%|███████████| 27/27 [00:00<00:00, 177.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.46it/s] [epoch 22] train_loss: 0.241 val_accuracy: 0.777 train epoch[23/30] loss:0.246: 100%|███████████| 27/27 [00:00<00:00, 176.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.00it/s] [epoch 23] train_loss: 0.232 val_accuracy: 0.770 train epoch[24/30] loss:0.220: 100%|███████████| 27/27 [00:00<00:00, 178.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.00it/s] [epoch 24] train_loss: 0.216 val_accuracy: 0.770 train epoch[25/30] loss:0.251: 100%|███████████| 27/27 [00:00<00:00, 172.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.17it/s] [epoch 25] train_loss: 0.207 val_accuracy: 0.773 train epoch[26/30] loss:0.198: 100%|███████████| 27/27 [00:00<00:00, 184.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.15it/s] [epoch 26] train_loss: 0.194 val_accuracy: 0.770 train epoch[27/30] loss:0.210: 100%|███████████| 27/27 [00:00<00:00, 182.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.06it/s] [epoch 27] train_loss: 0.184 val_accuracy: 0.770 train epoch[28/30] loss:0.225: 100%|███████████| 27/27 [00:00<00:00, 182.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.92it/s] [epoch 28] train_loss: 0.176 val_accuracy: 0.768 train epoch[29/30] loss:0.172: 100%|███████████| 27/27 [00:00<00:00, 184.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.77it/s] [epoch 29] train_loss: 0.166 val_accuracy: 0.768 train epoch[30/30] loss:0.141: 100%|███████████| 27/27 [00:00<00:00, 185.43it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.65it/s] [epoch 30] train_loss: 0.158 val_accuracy: 0.768 Finished Training Best Accuracy: 0.785
In [15]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.047: 100%|█████████████| 27/27 [00:00<00:00, 64.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 156.71it/s] [epoch 1] train_loss: 1.047 val_accuracy: 0.507 train epoch[2/30] loss:1.017: 100%|████████████| 27/27 [00:00<00:00, 194.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.53it/s] [epoch 2] train_loss: 1.021 val_accuracy: 0.522 train epoch[3/30] loss:0.986: 100%|████████████| 27/27 [00:00<00:00, 189.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.48it/s] [epoch 3] train_loss: 0.995 val_accuracy: 0.555 train epoch[4/30] loss:0.960: 100%|████████████| 27/27 [00:00<00:00, 191.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.21it/s] [epoch 4] train_loss: 0.972 val_accuracy: 0.592 train epoch[5/30] loss:0.952: 100%|████████████| 27/27 [00:00<00:00, 190.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.64it/s] [epoch 5] train_loss: 0.949 val_accuracy: 0.603 train epoch[6/30] loss:0.958: 100%|████████████| 27/27 [00:00<00:00, 189.89it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.60it/s] [epoch 6] train_loss: 0.930 val_accuracy: 0.620 train epoch[7/30] loss:0.852: 100%|████████████| 27/27 [00:00<00:00, 190.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.75it/s] [epoch 7] train_loss: 0.908 val_accuracy: 0.640 train epoch[8/30] loss:0.899: 100%|████████████| 27/27 [00:00<00:00, 183.13it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.30it/s] [epoch 8] train_loss: 0.891 val_accuracy: 0.653 train epoch[9/30] loss:0.864: 100%|████████████| 27/27 [00:00<00:00, 178.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.11it/s] [epoch 9] train_loss: 0.875 val_accuracy: 0.662 train epoch[10/30] loss:0.909: 100%|███████████| 27/27 [00:00<00:00, 178.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.32it/s] [epoch 10] train_loss: 0.859 val_accuracy: 0.663 train epoch[11/30] loss:0.857: 100%|███████████| 27/27 [00:00<00:00, 182.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.75it/s] [epoch 11] train_loss: 0.843 val_accuracy: 0.677 train epoch[12/30] loss:0.814: 100%|███████████| 27/27 [00:00<00:00, 182.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.50it/s] [epoch 12] train_loss: 0.828 val_accuracy: 0.677 train epoch[13/30] loss:0.838: 100%|███████████| 27/27 [00:00<00:00, 180.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.55it/s] [epoch 13] train_loss: 0.815 val_accuracy: 0.683 train epoch[14/30] loss:0.915: 100%|███████████| 27/27 [00:00<00:00, 179.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.59it/s] [epoch 14] train_loss: 0.803 val_accuracy: 0.690 train epoch[15/30] loss:0.677: 100%|███████████| 27/27 [00:00<00:00, 179.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.39it/s] [epoch 15] train_loss: 0.787 val_accuracy: 0.697 train epoch[16/30] loss:0.787: 100%|███████████| 27/27 [00:00<00:00, 180.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 307.23it/s] [epoch 16] train_loss: 0.778 val_accuracy: 0.702 train epoch[17/30] loss:0.819: 100%|███████████| 27/27 [00:00<00:00, 177.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 271.09it/s] [epoch 17] train_loss: 0.768 val_accuracy: 0.703 train epoch[18/30] loss:0.671: 100%|███████████| 27/27 [00:00<00:00, 180.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.82it/s] [epoch 18] train_loss: 0.754 val_accuracy: 0.712 train epoch[19/30] loss:0.750: 100%|███████████| 27/27 [00:00<00:00, 180.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.12it/s] [epoch 19] train_loss: 0.747 val_accuracy: 0.720 train epoch[20/30] loss:0.734: 100%|███████████| 27/27 [00:00<00:00, 179.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.01it/s] [epoch 20] train_loss: 0.736 val_accuracy: 0.728 train epoch[21/30] loss:0.750: 100%|███████████| 27/27 [00:00<00:00, 178.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.01it/s] [epoch 21] train_loss: 0.728 val_accuracy: 0.733 train epoch[22/30] loss:0.707: 100%|███████████| 27/27 [00:00<00:00, 179.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.80it/s] [epoch 22] train_loss: 0.717 val_accuracy: 0.743 train epoch[23/30] loss:0.664: 100%|███████████| 27/27 [00:00<00:00, 180.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.64it/s] [epoch 23] train_loss: 0.710 val_accuracy: 0.742 train epoch[24/30] loss:0.753: 100%|███████████| 27/27 [00:00<00:00, 177.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.27it/s] [epoch 24] train_loss: 0.702 val_accuracy: 0.748 train epoch[25/30] loss:0.730: 100%|███████████| 27/27 [00:00<00:00, 176.42it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.33it/s] [epoch 25] train_loss: 0.695 val_accuracy: 0.747 train epoch[26/30] loss:0.730: 100%|███████████| 27/27 [00:00<00:00, 182.98it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.94it/s] [epoch 26] train_loss: 0.687 val_accuracy: 0.745 train epoch[27/30] loss:0.682: 100%|███████████| 27/27 [00:00<00:00, 177.52it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 275.35it/s] [epoch 27] train_loss: 0.678 val_accuracy: 0.743 train epoch[28/30] loss:0.727: 100%|███████████| 27/27 [00:00<00:00, 173.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.52it/s] [epoch 28] train_loss: 0.675 val_accuracy: 0.747 train epoch[29/30] loss:0.607: 100%|███████████| 27/27 [00:00<00:00, 192.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.62it/s] [epoch 29] train_loss: 0.665 val_accuracy: 0.745 train epoch[30/30] loss:0.587: 100%|███████████| 27/27 [00:00<00:00, 190.98it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.66it/s] [epoch 30] train_loss: 0.659 val_accuracy: 0.747 Finished Training Best Accuracy: 0.748
In [16]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.789: 100%|█████████████| 27/27 [00:00<00:00, 72.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 194.32it/s] [epoch 1] train_loss: 1.013 val_accuracy: 0.728 train epoch[2/30] loss:0.603: 100%|████████████| 27/27 [00:00<00:00, 184.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.51it/s] [epoch 2] train_loss: 0.736 val_accuracy: 0.758 train epoch[3/30] loss:0.637: 100%|████████████| 27/27 [00:00<00:00, 186.13it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 291.25it/s] [epoch 3] train_loss: 0.630 val_accuracy: 0.757 train epoch[4/30] loss:0.591: 100%|████████████| 27/27 [00:00<00:00, 185.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.01it/s] [epoch 4] train_loss: 0.575 val_accuracy: 0.767 train epoch[5/30] loss:0.577: 100%|████████████| 27/27 [00:00<00:00, 182.97it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.73it/s] [epoch 5] train_loss: 0.528 val_accuracy: 0.772 train epoch[6/30] loss:0.461: 100%|████████████| 27/27 [00:00<00:00, 183.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.10it/s] [epoch 6] train_loss: 0.489 val_accuracy: 0.772 train epoch[7/30] loss:0.483: 100%|████████████| 27/27 [00:00<00:00, 182.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 307.19it/s] [epoch 7] train_loss: 0.460 val_accuracy: 0.773 train epoch[8/30] loss:0.523: 100%|████████████| 27/27 [00:00<00:00, 186.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.27it/s] [epoch 8] train_loss: 0.433 val_accuracy: 0.775 train epoch[9/30] loss:0.369: 100%|████████████| 27/27 [00:00<00:00, 186.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.11it/s] [epoch 9] train_loss: 0.405 val_accuracy: 0.782 train epoch[10/30] loss:0.371: 100%|███████████| 27/27 [00:00<00:00, 178.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.40it/s] [epoch 10] train_loss: 0.380 val_accuracy: 0.780 train epoch[11/30] loss:0.363: 100%|███████████| 27/27 [00:00<00:00, 179.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 255.06it/s] [epoch 11] train_loss: 0.355 val_accuracy: 0.787 train epoch[12/30] loss:0.341: 100%|███████████| 27/27 [00:00<00:00, 181.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.00it/s] [epoch 12] train_loss: 0.338 val_accuracy: 0.780 train epoch[13/30] loss:0.270: 100%|███████████| 27/27 [00:00<00:00, 178.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.96it/s] [epoch 13] train_loss: 0.313 val_accuracy: 0.787 train epoch[14/30] loss:0.314: 100%|███████████| 27/27 [00:00<00:00, 182.89it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.74it/s] [epoch 14] train_loss: 0.295 val_accuracy: 0.783 train epoch[15/30] loss:0.198: 100%|███████████| 27/27 [00:00<00:00, 186.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.56it/s] [epoch 15] train_loss: 0.275 val_accuracy: 0.780 train epoch[16/30] loss:0.343: 100%|███████████| 27/27 [00:00<00:00, 183.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.08it/s] [epoch 16] train_loss: 0.260 val_accuracy: 0.785 train epoch[17/30] loss:0.250: 100%|███████████| 27/27 [00:00<00:00, 179.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.69it/s] [epoch 17] train_loss: 0.244 val_accuracy: 0.780 train epoch[18/30] loss:0.174: 100%|███████████| 27/27 [00:00<00:00, 170.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.34it/s] [epoch 18] train_loss: 0.222 val_accuracy: 0.783 train epoch[19/30] loss:0.204: 100%|███████████| 27/27 [00:00<00:00, 182.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.40it/s] [epoch 19] train_loss: 0.209 val_accuracy: 0.783 train epoch[20/30] loss:0.203: 100%|███████████| 27/27 [00:00<00:00, 187.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.03it/s] [epoch 20] train_loss: 0.197 val_accuracy: 0.782 train epoch[21/30] loss:0.181: 100%|███████████| 27/27 [00:00<00:00, 181.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 288.84it/s] [epoch 21] train_loss: 0.185 val_accuracy: 0.778 train epoch[22/30] loss:0.223: 100%|███████████| 27/27 [00:00<00:00, 190.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.84it/s] [epoch 22] train_loss: 0.172 val_accuracy: 0.782 train epoch[23/30] loss:0.157: 100%|███████████| 27/27 [00:00<00:00, 196.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.92it/s] [epoch 23] train_loss: 0.159 val_accuracy: 0.777 train epoch[24/30] loss:0.156: 100%|███████████| 27/27 [00:00<00:00, 196.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.16it/s] [epoch 24] train_loss: 0.148 val_accuracy: 0.780 train epoch[25/30] loss:0.113: 100%|███████████| 27/27 [00:00<00:00, 192.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.81it/s] [epoch 25] train_loss: 0.136 val_accuracy: 0.778 train epoch[26/30] loss:0.125: 100%|███████████| 27/27 [00:00<00:00, 192.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.97it/s] [epoch 26] train_loss: 0.130 val_accuracy: 0.785 train epoch[27/30] loss:0.164: 100%|███████████| 27/27 [00:00<00:00, 195.23it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.03it/s] [epoch 27] train_loss: 0.122 val_accuracy: 0.778 train epoch[28/30] loss:0.116: 100%|███████████| 27/27 [00:00<00:00, 193.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.86it/s] [epoch 28] train_loss: 0.112 val_accuracy: 0.775 train epoch[29/30] loss:0.098: 100%|███████████| 27/27 [00:00<00:00, 194.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.24it/s] [epoch 29] train_loss: 0.106 val_accuracy: 0.775 train epoch[30/30] loss:0.085: 100%|███████████| 27/27 [00:00<00:00, 194.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.19it/s] [epoch 30] train_loss: 0.101 val_accuracy: 0.782 Finished Training Best Accuracy: 0.787
In [17]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.171: 100%|█████████████| 27/27 [00:00<00:00, 72.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 190.45it/s] [epoch 1] train_loss: 1.207 val_accuracy: 0.277 train epoch[2/30] loss:1.078: 100%|████████████| 27/27 [00:00<00:00, 186.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.66it/s] [epoch 2] train_loss: 1.149 val_accuracy: 0.338 train epoch[3/30] loss:1.123: 100%|████████████| 27/27 [00:00<00:00, 188.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.30it/s] [epoch 3] train_loss: 1.099 val_accuracy: 0.385 train epoch[4/30] loss:1.060: 100%|████████████| 27/27 [00:00<00:00, 184.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.29it/s] [epoch 4] train_loss: 1.053 val_accuracy: 0.468 train epoch[5/30] loss:1.042: 100%|████████████| 27/27 [00:00<00:00, 184.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.81it/s] [epoch 5] train_loss: 1.009 val_accuracy: 0.527 train epoch[6/30] loss:0.963: 100%|████████████| 27/27 [00:00<00:00, 187.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 291.39it/s] [epoch 6] train_loss: 0.969 val_accuracy: 0.602 train epoch[7/30] loss:0.936: 100%|████████████| 27/27 [00:00<00:00, 188.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.94it/s] [epoch 7] train_loss: 0.935 val_accuracy: 0.632 train epoch[8/30] loss:0.956: 100%|████████████| 27/27 [00:00<00:00, 186.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.41it/s] [epoch 8] train_loss: 0.904 val_accuracy: 0.675 train epoch[9/30] loss:0.825: 100%|████████████| 27/27 [00:00<00:00, 187.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.52it/s] [epoch 9] train_loss: 0.873 val_accuracy: 0.688 train epoch[10/30] loss:0.823: 100%|███████████| 27/27 [00:00<00:00, 188.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.17it/s] [epoch 10] train_loss: 0.849 val_accuracy: 0.702 train epoch[11/30] loss:0.810: 100%|███████████| 27/27 [00:00<00:00, 184.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.73it/s] [epoch 11] train_loss: 0.825 val_accuracy: 0.718 train epoch[12/30] loss:0.769: 100%|███████████| 27/27 [00:00<00:00, 186.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.35it/s] [epoch 12] train_loss: 0.805 val_accuracy: 0.723 train epoch[13/30] loss:0.751: 100%|███████████| 27/27 [00:00<00:00, 188.30it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.30it/s] [epoch 13] train_loss: 0.783 val_accuracy: 0.735 train epoch[14/30] loss:0.766: 100%|███████████| 27/27 [00:00<00:00, 186.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.81it/s] [epoch 14] train_loss: 0.767 val_accuracy: 0.738 train epoch[15/30] loss:0.687: 100%|███████████| 27/27 [00:00<00:00, 186.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 288.86it/s] [epoch 15] train_loss: 0.749 val_accuracy: 0.742 train epoch[16/30] loss:0.804: 100%|███████████| 27/27 [00:00<00:00, 186.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.55it/s] [epoch 16] train_loss: 0.736 val_accuracy: 0.745 train epoch[17/30] loss:0.781: 100%|███████████| 27/27 [00:00<00:00, 184.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 265.19it/s] [epoch 17] train_loss: 0.723 val_accuracy: 0.752 train epoch[18/30] loss:0.665: 100%|███████████| 27/27 [00:00<00:00, 180.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.01it/s] [epoch 18] train_loss: 0.705 val_accuracy: 0.760 train epoch[19/30] loss:0.715: 100%|███████████| 27/27 [00:00<00:00, 184.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.40it/s] [epoch 19] train_loss: 0.695 val_accuracy: 0.758 train epoch[20/30] loss:0.654: 100%|███████████| 27/27 [00:00<00:00, 186.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 285.80it/s] [epoch 20] train_loss: 0.683 val_accuracy: 0.755 train epoch[21/30] loss:0.613: 100%|███████████| 27/27 [00:00<00:00, 184.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.66it/s] [epoch 21] train_loss: 0.674 val_accuracy: 0.758 train epoch[22/30] loss:0.693: 100%|███████████| 27/27 [00:00<00:00, 185.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.30it/s] [epoch 22] train_loss: 0.664 val_accuracy: 0.760 train epoch[23/30] loss:0.640: 100%|███████████| 27/27 [00:00<00:00, 185.55it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.26it/s] [epoch 23] train_loss: 0.654 val_accuracy: 0.758 train epoch[24/30] loss:0.678: 100%|███████████| 27/27 [00:00<00:00, 186.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.42it/s] [epoch 24] train_loss: 0.645 val_accuracy: 0.757 train epoch[25/30] loss:0.629: 100%|███████████| 27/27 [00:00<00:00, 187.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 286.57it/s] [epoch 25] train_loss: 0.636 val_accuracy: 0.758 train epoch[26/30] loss:0.496: 100%|███████████| 27/27 [00:00<00:00, 176.48it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.67it/s] [epoch 26] train_loss: 0.627 val_accuracy: 0.755 train epoch[27/30] loss:0.734: 100%|███████████| 27/27 [00:00<00:00, 184.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.66it/s] [epoch 27] train_loss: 0.624 val_accuracy: 0.758 train epoch[28/30] loss:0.655: 100%|███████████| 27/27 [00:00<00:00, 187.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.56it/s] [epoch 28] train_loss: 0.614 val_accuracy: 0.762 train epoch[29/30] loss:0.587: 100%|███████████| 27/27 [00:00<00:00, 183.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 291.01it/s] [epoch 29] train_loss: 0.608 val_accuracy: 0.760 train epoch[30/30] loss:0.586: 100%|███████████| 27/27 [00:00<00:00, 183.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 291.55it/s] [epoch 30] train_loss: 0.602 val_accuracy: 0.758 Finished Training Best Accuracy: 0.762
linear probe+clip(ViT-B/32)¶
In [18]:
Copied!
!python utils/preprocess.py
!python utils/preprocess.py
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
In [19]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.950: 100%|█████████████| 27/27 [00:00<00:00, 71.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 156.51it/s] [epoch 1] train_loss: 0.987 val_accuracy: 0.658 train epoch[2/30] loss:0.810: 100%|████████████| 27/27 [00:00<00:00, 177.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.62it/s] [epoch 2] train_loss: 0.812 val_accuracy: 0.715 train epoch[3/30] loss:0.687: 100%|████████████| 27/27 [00:00<00:00, 175.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.53it/s] [epoch 3] train_loss: 0.712 val_accuracy: 0.740 train epoch[4/30] loss:0.616: 100%|████████████| 27/27 [00:00<00:00, 178.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.29it/s] [epoch 4] train_loss: 0.648 val_accuracy: 0.752 train epoch[5/30] loss:0.508: 100%|████████████| 27/27 [00:00<00:00, 185.89it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 261.78it/s] [epoch 5] train_loss: 0.602 val_accuracy: 0.758 train epoch[6/30] loss:0.727: 100%|████████████| 27/27 [00:00<00:00, 169.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 281.44it/s] [epoch 6] train_loss: 0.569 val_accuracy: 0.760 train epoch[7/30] loss:0.536: 100%|████████████| 27/27 [00:00<00:00, 169.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.88it/s] [epoch 7] train_loss: 0.534 val_accuracy: 0.768 train epoch[8/30] loss:0.506: 100%|████████████| 27/27 [00:00<00:00, 173.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 287.88it/s] [epoch 8] train_loss: 0.506 val_accuracy: 0.765 train epoch[9/30] loss:0.554: 100%|████████████| 27/27 [00:00<00:00, 173.56it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 286.80it/s] [epoch 9] train_loss: 0.486 val_accuracy: 0.768 train epoch[10/30] loss:0.567: 100%|███████████| 27/27 [00:00<00:00, 173.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 284.69it/s] [epoch 10] train_loss: 0.462 val_accuracy: 0.773 train epoch[11/30] loss:0.477: 100%|███████████| 27/27 [00:00<00:00, 170.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 279.64it/s] [epoch 11] train_loss: 0.438 val_accuracy: 0.778 train epoch[12/30] loss:0.419: 100%|███████████| 27/27 [00:00<00:00, 171.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 282.19it/s] [epoch 12] train_loss: 0.417 val_accuracy: 0.778 train epoch[13/30] loss:0.429: 100%|███████████| 27/27 [00:00<00:00, 167.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 281.55it/s] [epoch 13] train_loss: 0.397 val_accuracy: 0.783 train epoch[14/30] loss:0.542: 100%|███████████| 27/27 [00:00<00:00, 169.42it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 288.59it/s] [epoch 14] train_loss: 0.382 val_accuracy: 0.783 train epoch[15/30] loss:0.316: 100%|███████████| 27/27 [00:00<00:00, 176.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.66it/s] [epoch 15] train_loss: 0.359 val_accuracy: 0.782 train epoch[16/30] loss:0.354: 100%|███████████| 27/27 [00:00<00:00, 172.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.95it/s] [epoch 16] train_loss: 0.348 val_accuracy: 0.783 train epoch[17/30] loss:0.412: 100%|███████████| 27/27 [00:00<00:00, 175.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 268.49it/s] [epoch 17] train_loss: 0.329 val_accuracy: 0.780 train epoch[18/30] loss:0.223: 100%|███████████| 27/27 [00:00<00:00, 175.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.56it/s] [epoch 18] train_loss: 0.310 val_accuracy: 0.783 train epoch[19/30] loss:0.350: 100%|███████████| 27/27 [00:00<00:00, 179.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.30it/s] [epoch 19] train_loss: 0.300 val_accuracy: 0.782 train epoch[20/30] loss:0.255: 100%|███████████| 27/27 [00:00<00:00, 176.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.67it/s] [epoch 20] train_loss: 0.280 val_accuracy: 0.777 train epoch[21/30] loss:0.280: 100%|███████████| 27/27 [00:00<00:00, 178.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.95it/s] [epoch 21] train_loss: 0.267 val_accuracy: 0.780 train epoch[22/30] loss:0.248: 100%|███████████| 27/27 [00:00<00:00, 179.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.29it/s] [epoch 22] train_loss: 0.253 val_accuracy: 0.775 train epoch[23/30] loss:0.237: 100%|███████████| 27/27 [00:00<00:00, 177.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.54it/s] [epoch 23] train_loss: 0.243 val_accuracy: 0.777 train epoch[24/30] loss:0.250: 100%|███████████| 27/27 [00:00<00:00, 175.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.00it/s] [epoch 24] train_loss: 0.228 val_accuracy: 0.785 train epoch[25/30] loss:0.236: 100%|███████████| 27/27 [00:00<00:00, 167.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.36it/s] [epoch 25] train_loss: 0.216 val_accuracy: 0.782 train epoch[26/30] loss:0.202: 100%|███████████| 27/27 [00:00<00:00, 176.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.56it/s] [epoch 26] train_loss: 0.204 val_accuracy: 0.782 train epoch[27/30] loss:0.220: 100%|███████████| 27/27 [00:00<00:00, 172.90it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.69it/s] [epoch 27] train_loss: 0.194 val_accuracy: 0.783 train epoch[28/30] loss:0.190: 100%|███████████| 27/27 [00:00<00:00, 174.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 277.18it/s] [epoch 28] train_loss: 0.185 val_accuracy: 0.778 train epoch[29/30] loss:0.157: 100%|███████████| 27/27 [00:00<00:00, 167.00it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.63it/s] [epoch 29] train_loss: 0.174 val_accuracy: 0.780 train epoch[30/30] loss:0.155: 100%|███████████| 27/27 [00:00<00:00, 174.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.76it/s] [epoch 30] train_loss: 0.167 val_accuracy: 0.778 Finished Training Best Accuracy: 0.785
In [20]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.093: 100%|█████████████| 27/27 [00:00<00:00, 62.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 133.08it/s] [epoch 1] train_loss: 1.074 val_accuracy: 0.485 train epoch[2/30] loss:1.021: 100%|████████████| 27/27 [00:00<00:00, 182.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.85it/s] [epoch 2] train_loss: 1.048 val_accuracy: 0.517 train epoch[3/30] loss:0.991: 100%|████████████| 27/27 [00:00<00:00, 183.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.02it/s] [epoch 3] train_loss: 1.022 val_accuracy: 0.540 train epoch[4/30] loss:0.967: 100%|████████████| 27/27 [00:00<00:00, 182.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.15it/s] [epoch 4] train_loss: 0.999 val_accuracy: 0.573 train epoch[5/30] loss:0.933: 100%|████████████| 27/27 [00:00<00:00, 184.07it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.64it/s] [epoch 5] train_loss: 0.977 val_accuracy: 0.593 train epoch[6/30] loss:1.019: 100%|████████████| 27/27 [00:00<00:00, 180.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.52it/s] [epoch 6] train_loss: 0.958 val_accuracy: 0.600 train epoch[7/30] loss:0.961: 100%|████████████| 27/27 [00:00<00:00, 183.06it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.18it/s] [epoch 7] train_loss: 0.938 val_accuracy: 0.612 train epoch[8/30] loss:0.908: 100%|████████████| 27/27 [00:00<00:00, 182.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 308.74it/s] [epoch 8] train_loss: 0.919 val_accuracy: 0.625 train epoch[9/30] loss:0.945: 100%|████████████| 27/27 [00:00<00:00, 180.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.36it/s] [epoch 9] train_loss: 0.903 val_accuracy: 0.637 train epoch[10/30] loss:0.918: 100%|███████████| 27/27 [00:00<00:00, 183.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.81it/s] [epoch 10] train_loss: 0.886 val_accuracy: 0.645 train epoch[11/30] loss:0.878: 100%|███████████| 27/27 [00:00<00:00, 184.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.68it/s] [epoch 11] train_loss: 0.870 val_accuracy: 0.660 train epoch[12/30] loss:0.832: 100%|███████████| 27/27 [00:00<00:00, 180.40it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.85it/s] [epoch 12] train_loss: 0.855 val_accuracy: 0.660 train epoch[13/30] loss:0.847: 100%|███████████| 27/27 [00:00<00:00, 184.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 308.51it/s] [epoch 13] train_loss: 0.840 val_accuracy: 0.663 train epoch[14/30] loss:0.933: 100%|███████████| 27/27 [00:00<00:00, 181.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.68it/s] [epoch 14] train_loss: 0.830 val_accuracy: 0.665 train epoch[15/30] loss:0.771: 100%|███████████| 27/27 [00:00<00:00, 182.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.23it/s] [epoch 15] train_loss: 0.813 val_accuracy: 0.678 train epoch[16/30] loss:0.782: 100%|███████████| 27/27 [00:00<00:00, 181.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.85it/s] [epoch 16] train_loss: 0.803 val_accuracy: 0.687 train epoch[17/30] loss:0.833: 100%|███████████| 27/27 [00:00<00:00, 183.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.71it/s] [epoch 17] train_loss: 0.792 val_accuracy: 0.700 train epoch[18/30] loss:0.696: 100%|███████████| 27/27 [00:00<00:00, 175.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.32it/s] [epoch 18] train_loss: 0.779 val_accuracy: 0.707 train epoch[19/30] loss:0.770: 100%|███████████| 27/27 [00:00<00:00, 183.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.84it/s] [epoch 19] train_loss: 0.771 val_accuracy: 0.712 train epoch[20/30] loss:0.759: 100%|███████████| 27/27 [00:00<00:00, 175.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.57it/s] [epoch 20] train_loss: 0.760 val_accuracy: 0.713 train epoch[21/30] loss:0.759: 100%|███████████| 27/27 [00:00<00:00, 180.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.02it/s] [epoch 21] train_loss: 0.752 val_accuracy: 0.715 train epoch[22/30] loss:0.770: 100%|███████████| 27/27 [00:00<00:00, 183.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.39it/s] [epoch 22] train_loss: 0.742 val_accuracy: 0.718 train epoch[23/30] loss:0.736: 100%|███████████| 27/27 [00:00<00:00, 183.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.85it/s] [epoch 23] train_loss: 0.734 val_accuracy: 0.722 train epoch[24/30] loss:0.763: 100%|███████████| 27/27 [00:00<00:00, 180.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.58it/s] [epoch 24] train_loss: 0.725 val_accuracy: 0.727 train epoch[25/30] loss:0.710: 100%|███████████| 27/27 [00:00<00:00, 178.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.56it/s] [epoch 25] train_loss: 0.716 val_accuracy: 0.730 train epoch[26/30] loss:0.747: 100%|███████████| 27/27 [00:00<00:00, 181.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.02it/s] [epoch 26] train_loss: 0.709 val_accuracy: 0.732 train epoch[27/30] loss:0.712: 100%|███████████| 27/27 [00:00<00:00, 180.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.98it/s] [epoch 27] train_loss: 0.701 val_accuracy: 0.732 train epoch[28/30] loss:0.763: 100%|███████████| 27/27 [00:00<00:00, 177.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.85it/s] [epoch 28] train_loss: 0.697 val_accuracy: 0.732 train epoch[29/30] loss:0.639: 100%|███████████| 27/27 [00:00<00:00, 183.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.43it/s] [epoch 29] train_loss: 0.688 val_accuracy: 0.737 train epoch[30/30] loss:0.656: 100%|███████████| 27/27 [00:00<00:00, 194.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.39it/s] [epoch 30] train_loss: 0.682 val_accuracy: 0.735 Finished Training Best Accuracy: 0.737
In [21]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.791: 100%|█████████████| 27/27 [00:00<00:00, 63.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 167.05it/s] [epoch 1] train_loss: 1.024 val_accuracy: 0.677 train epoch[2/30] loss:0.680: 100%|████████████| 27/27 [00:00<00:00, 177.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.58it/s] [epoch 2] train_loss: 0.749 val_accuracy: 0.732 train epoch[3/30] loss:0.662: 100%|████████████| 27/27 [00:00<00:00, 182.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.42it/s] [epoch 3] train_loss: 0.641 val_accuracy: 0.757 train epoch[4/30] loss:0.568: 100%|████████████| 27/27 [00:00<00:00, 180.06it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.44it/s] [epoch 4] train_loss: 0.582 val_accuracy: 0.758 train epoch[5/30] loss:0.570: 100%|████████████| 27/27 [00:00<00:00, 178.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.10it/s] [epoch 5] train_loss: 0.535 val_accuracy: 0.758 train epoch[6/30] loss:0.441: 100%|████████████| 27/27 [00:00<00:00, 175.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 276.01it/s] [epoch 6] train_loss: 0.495 val_accuracy: 0.760 train epoch[7/30] loss:0.452: 100%|████████████| 27/27 [00:00<00:00, 168.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.08it/s] [epoch 7] train_loss: 0.466 val_accuracy: 0.770 train epoch[8/30] loss:0.496: 100%|████████████| 27/27 [00:00<00:00, 188.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.51it/s] [epoch 8] train_loss: 0.439 val_accuracy: 0.775 train epoch[9/30] loss:0.407: 100%|████████████| 27/27 [00:00<00:00, 199.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.88it/s] [epoch 9] train_loss: 0.411 val_accuracy: 0.773 train epoch[10/30] loss:0.366: 100%|███████████| 27/27 [00:00<00:00, 193.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.63it/s] [epoch 10] train_loss: 0.386 val_accuracy: 0.773 train epoch[11/30] loss:0.432: 100%|███████████| 27/27 [00:00<00:00, 191.00it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.49it/s] [epoch 11] train_loss: 0.362 val_accuracy: 0.773 train epoch[12/30] loss:0.350: 100%|███████████| 27/27 [00:00<00:00, 187.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.70it/s] [epoch 12] train_loss: 0.343 val_accuracy: 0.773 train epoch[13/30] loss:0.270: 100%|███████████| 27/27 [00:00<00:00, 193.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.35it/s] [epoch 13] train_loss: 0.318 val_accuracy: 0.775 train epoch[14/30] loss:0.314: 100%|███████████| 27/27 [00:00<00:00, 190.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.27it/s] [epoch 14] train_loss: 0.300 val_accuracy: 0.773 train epoch[15/30] loss:0.189: 100%|███████████| 27/27 [00:00<00:00, 192.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.21it/s] [epoch 15] train_loss: 0.281 val_accuracy: 0.770 train epoch[16/30] loss:0.328: 100%|███████████| 27/27 [00:00<00:00, 191.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.61it/s] [epoch 16] train_loss: 0.267 val_accuracy: 0.768 train epoch[17/30] loss:0.236: 100%|███████████| 27/27 [00:00<00:00, 193.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.81it/s] [epoch 17] train_loss: 0.250 val_accuracy: 0.770 train epoch[18/30] loss:0.192: 100%|███████████| 27/27 [00:00<00:00, 197.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.46it/s] [epoch 18] train_loss: 0.228 val_accuracy: 0.772 train epoch[19/30] loss:0.236: 100%|███████████| 27/27 [00:00<00:00, 190.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.21it/s] [epoch 19] train_loss: 0.215 val_accuracy: 0.770 train epoch[20/30] loss:0.197: 100%|███████████| 27/27 [00:00<00:00, 190.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.57it/s] [epoch 20] train_loss: 0.202 val_accuracy: 0.770 train epoch[21/30] loss:0.200: 100%|███████████| 27/27 [00:00<00:00, 183.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.52it/s] [epoch 21] train_loss: 0.191 val_accuracy: 0.770 train epoch[22/30] loss:0.211: 100%|███████████| 27/27 [00:00<00:00, 184.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 308.26it/s] [epoch 22] train_loss: 0.176 val_accuracy: 0.765 train epoch[23/30] loss:0.160: 100%|███████████| 27/27 [00:00<00:00, 176.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 272.17it/s] [epoch 23] train_loss: 0.163 val_accuracy: 0.767 train epoch[24/30] loss:0.165: 100%|███████████| 27/27 [00:00<00:00, 166.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.27it/s] [epoch 24] train_loss: 0.152 val_accuracy: 0.765 train epoch[25/30] loss:0.123: 100%|███████████| 27/27 [00:00<00:00, 180.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.70it/s] [epoch 25] train_loss: 0.141 val_accuracy: 0.762 train epoch[26/30] loss:0.133: 100%|███████████| 27/27 [00:00<00:00, 181.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.47it/s] [epoch 26] train_loss: 0.135 val_accuracy: 0.763 train epoch[27/30] loss:0.214: 100%|███████████| 27/27 [00:00<00:00, 180.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.52it/s] [epoch 27] train_loss: 0.127 val_accuracy: 0.765 train epoch[28/30] loss:0.109: 100%|███████████| 27/27 [00:00<00:00, 181.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.21it/s] [epoch 28] train_loss: 0.115 val_accuracy: 0.765 train epoch[29/30] loss:0.093: 100%|███████████| 27/27 [00:00<00:00, 190.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.97it/s] [epoch 29] train_loss: 0.110 val_accuracy: 0.767 train epoch[30/30] loss:0.090: 100%|███████████| 27/27 [00:00<00:00, 194.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.11it/s] [epoch 30] train_loss: 0.104 val_accuracy: 0.765 Finished Training Best Accuracy: 0.775
In [22]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.153: 100%|█████████████| 27/27 [00:00<00:00, 73.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 184.61it/s] [epoch 1] train_loss: 1.210 val_accuracy: 0.285 train epoch[2/30] loss:1.140: 100%|████████████| 27/27 [00:00<00:00, 185.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.79it/s] [epoch 2] train_loss: 1.155 val_accuracy: 0.342 train epoch[3/30] loss:1.087: 100%|████████████| 27/27 [00:00<00:00, 183.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 280.37it/s] [epoch 3] train_loss: 1.106 val_accuracy: 0.412 train epoch[4/30] loss:1.022: 100%|████████████| 27/27 [00:00<00:00, 183.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.53it/s] [epoch 4] train_loss: 1.061 val_accuracy: 0.490 train epoch[5/30] loss:1.048: 100%|████████████| 27/27 [00:00<00:00, 188.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.65it/s] [epoch 5] train_loss: 1.020 val_accuracy: 0.528 train epoch[6/30] loss:0.952: 100%|████████████| 27/27 [00:00<00:00, 184.96it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.93it/s] [epoch 6] train_loss: 0.981 val_accuracy: 0.565 train epoch[7/30] loss:0.898: 100%|████████████| 27/27 [00:00<00:00, 185.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.97it/s] [epoch 7] train_loss: 0.947 val_accuracy: 0.600 train epoch[8/30] loss:0.955: 100%|████████████| 27/27 [00:00<00:00, 189.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.56it/s] [epoch 8] train_loss: 0.917 val_accuracy: 0.625 train epoch[9/30] loss:0.905: 100%|████████████| 27/27 [00:00<00:00, 188.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.88it/s] [epoch 9] train_loss: 0.888 val_accuracy: 0.657 train epoch[10/30] loss:0.834: 100%|███████████| 27/27 [00:00<00:00, 188.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.61it/s] [epoch 10] train_loss: 0.862 val_accuracy: 0.663 train epoch[11/30] loss:0.873: 100%|███████████| 27/27 [00:00<00:00, 176.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 286.97it/s] [epoch 11] train_loss: 0.837 val_accuracy: 0.680 train epoch[12/30] loss:0.825: 100%|███████████| 27/27 [00:00<00:00, 183.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.28it/s] [epoch 12] train_loss: 0.817 val_accuracy: 0.685 train epoch[13/30] loss:0.781: 100%|███████████| 27/27 [00:00<00:00, 195.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.86it/s] [epoch 13] train_loss: 0.796 val_accuracy: 0.698 train epoch[14/30] loss:0.803: 100%|███████████| 27/27 [00:00<00:00, 195.16it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.53it/s] [epoch 14] train_loss: 0.779 val_accuracy: 0.713 train epoch[15/30] loss:0.689: 100%|███████████| 27/27 [00:00<00:00, 193.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.14it/s] [epoch 15] train_loss: 0.761 val_accuracy: 0.722 train epoch[16/30] loss:0.807: 100%|███████████| 27/27 [00:00<00:00, 191.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.51it/s] [epoch 16] train_loss: 0.748 val_accuracy: 0.730 train epoch[17/30] loss:0.770: 100%|███████████| 27/27 [00:00<00:00, 190.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.51it/s] [epoch 17] train_loss: 0.734 val_accuracy: 0.730 train epoch[18/30] loss:0.684: 100%|███████████| 27/27 [00:00<00:00, 192.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.15it/s] [epoch 18] train_loss: 0.717 val_accuracy: 0.735 train epoch[19/30] loss:0.697: 100%|███████████| 27/27 [00:00<00:00, 192.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.31it/s] [epoch 19] train_loss: 0.706 val_accuracy: 0.735 train epoch[20/30] loss:0.653: 100%|███████████| 27/27 [00:00<00:00, 192.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.72it/s] [epoch 20] train_loss: 0.695 val_accuracy: 0.737 train epoch[21/30] loss:0.691: 100%|███████████| 27/27 [00:00<00:00, 193.23it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.48it/s] [epoch 21] train_loss: 0.686 val_accuracy: 0.738 train epoch[22/30] loss:0.681: 100%|███████████| 27/27 [00:00<00:00, 193.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.59it/s] [epoch 22] train_loss: 0.674 val_accuracy: 0.735 train epoch[23/30] loss:0.663: 100%|███████████| 27/27 [00:00<00:00, 190.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 288.19it/s] [epoch 23] train_loss: 0.664 val_accuracy: 0.738 train epoch[24/30] loss:0.715: 100%|███████████| 27/27 [00:00<00:00, 181.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 263.62it/s] [epoch 24] train_loss: 0.655 val_accuracy: 0.738 train epoch[25/30] loss:0.616: 100%|███████████| 27/27 [00:00<00:00, 168.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 273.76it/s] [epoch 25] train_loss: 0.645 val_accuracy: 0.740 train epoch[26/30] loss:0.529: 100%|███████████| 27/27 [00:00<00:00, 193.34it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.26it/s] [epoch 26] train_loss: 0.638 val_accuracy: 0.742 train epoch[27/30] loss:0.743: 100%|███████████| 27/27 [00:00<00:00, 193.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.67it/s] [epoch 27] train_loss: 0.634 val_accuracy: 0.743 train epoch[28/30] loss:0.643: 100%|███████████| 27/27 [00:00<00:00, 193.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.06it/s] [epoch 28] train_loss: 0.622 val_accuracy: 0.747 train epoch[29/30] loss:0.567: 100%|███████████| 27/27 [00:00<00:00, 193.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.10it/s] [epoch 29] train_loss: 0.616 val_accuracy: 0.747 train epoch[30/30] loss:0.597: 100%|███████████| 27/27 [00:00<00:00, 193.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.49it/s] [epoch 30] train_loss: 0.611 val_accuracy: 0.750 Finished Training Best Accuracy: 0.750
linear probe+CrossAttention¶
In [23]:
Copied!
!python utils/preprocess.py #back to ViT-B/16
!python utils/preprocess.py #back to ViT-B/16
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
In [32]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.906: 100%|█████████████| 27/27 [00:00<00:00, 49.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 122.17it/s] [epoch 1] train_loss: 1.019 val_accuracy: 0.605 train epoch[2/30] loss:0.860: 100%|████████████| 27/27 [00:00<00:00, 116.33it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.31it/s] [epoch 2] train_loss: 0.816 val_accuracy: 0.640 train epoch[3/30] loss:0.664: 100%|████████████| 27/27 [00:00<00:00, 115.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.51it/s] [epoch 3] train_loss: 0.702 val_accuracy: 0.668 train epoch[4/30] loss:0.541: 100%|████████████| 27/27 [00:00<00:00, 115.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.91it/s] [epoch 4] train_loss: 0.627 val_accuracy: 0.710 train epoch[5/30] loss:0.471: 100%|████████████| 27/27 [00:00<00:00, 116.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.41it/s] [epoch 5] train_loss: 0.570 val_accuracy: 0.688 train epoch[6/30] loss:0.617: 100%|████████████| 27/27 [00:00<00:00, 117.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.08it/s] [epoch 6] train_loss: 0.523 val_accuracy: 0.728 train epoch[7/30] loss:0.482: 100%|████████████| 27/27 [00:00<00:00, 117.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.88it/s] [epoch 7] train_loss: 0.470 val_accuracy: 0.642 train epoch[8/30] loss:0.295: 100%|████████████| 27/27 [00:00<00:00, 117.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.62it/s] [epoch 8] train_loss: 0.417 val_accuracy: 0.627 train epoch[9/30] loss:0.290: 100%|████████████| 27/27 [00:00<00:00, 114.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.36it/s] [epoch 9] train_loss: 0.363 val_accuracy: 0.660 train epoch[10/30] loss:0.307: 100%|███████████| 27/27 [00:00<00:00, 117.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.78it/s] [epoch 10] train_loss: 0.306 val_accuracy: 0.612 train epoch[11/30] loss:0.211: 100%|███████████| 27/27 [00:00<00:00, 116.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.56it/s] [epoch 11] train_loss: 0.248 val_accuracy: 0.670 train epoch[12/30] loss:0.251: 100%|███████████| 27/27 [00:00<00:00, 117.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.75it/s] [epoch 12] train_loss: 0.194 val_accuracy: 0.625 train epoch[13/30] loss:0.128: 100%|███████████| 27/27 [00:00<00:00, 117.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.45it/s] [epoch 13] train_loss: 0.154 val_accuracy: 0.658 train epoch[14/30] loss:0.059: 100%|███████████| 27/27 [00:00<00:00, 117.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 220.89it/s] [epoch 14] train_loss: 0.107 val_accuracy: 0.687 train epoch[15/30] loss:0.086: 100%|███████████| 27/27 [00:00<00:00, 114.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.25it/s] [epoch 15] train_loss: 0.087 val_accuracy: 0.290 train epoch[16/30] loss:0.055: 100%|███████████| 27/27 [00:00<00:00, 115.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.76it/s] [epoch 16] train_loss: 0.068 val_accuracy: 0.623 train epoch[17/30] loss:0.073: 100%|███████████| 27/27 [00:00<00:00, 115.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.61it/s] [epoch 17] train_loss: 0.060 val_accuracy: 0.632 train epoch[18/30] loss:0.084: 100%|███████████| 27/27 [00:00<00:00, 111.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.04it/s] [epoch 18] train_loss: 0.050 val_accuracy: 0.317 train epoch[19/30] loss:0.068: 100%|███████████| 27/27 [00:00<00:00, 114.97it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.69it/s] [epoch 19] train_loss: 0.052 val_accuracy: 0.662 train epoch[20/30] loss:0.011: 100%|███████████| 27/27 [00:00<00:00, 115.98it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.91it/s] [epoch 20] train_loss: 0.045 val_accuracy: 0.665 train epoch[21/30] loss:0.128: 100%|███████████| 27/27 [00:00<00:00, 116.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 237.15it/s] [epoch 21] train_loss: 0.038 val_accuracy: 0.617 train epoch[22/30] loss:0.019: 100%|███████████| 27/27 [00:00<00:00, 114.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.28it/s] [epoch 22] train_loss: 0.039 val_accuracy: 0.543 train epoch[23/30] loss:0.008: 100%|███████████| 27/27 [00:00<00:00, 116.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.55it/s] [epoch 23] train_loss: 0.035 val_accuracy: 0.657 train epoch[24/30] loss:0.145: 100%|███████████| 27/27 [00:00<00:00, 117.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.58it/s] [epoch 24] train_loss: 0.038 val_accuracy: 0.645 train epoch[25/30] loss:0.155: 100%|███████████| 27/27 [00:00<00:00, 118.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.00it/s] [epoch 25] train_loss: 0.041 val_accuracy: 0.682 train epoch[26/30] loss:0.099: 100%|███████████| 27/27 [00:00<00:00, 117.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.93it/s] [epoch 26] train_loss: 0.031 val_accuracy: 0.657 train epoch[27/30] loss:0.044: 100%|███████████| 27/27 [00:00<00:00, 117.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 237.05it/s] [epoch 27] train_loss: 0.032 val_accuracy: 0.638 train epoch[28/30] loss:0.015: 100%|███████████| 27/27 [00:00<00:00, 117.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.76it/s] [epoch 28] train_loss: 0.026 val_accuracy: 0.410 train epoch[29/30] loss:0.006: 100%|███████████| 27/27 [00:00<00:00, 117.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.08it/s] [epoch 29] train_loss: 0.025 val_accuracy: 0.642 train epoch[30/30] loss:0.026: 100%|███████████| 27/27 [00:00<00:00, 117.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 237.51it/s] [epoch 30] train_loss: 0.028 val_accuracy: 0.645 Finished Training Best Accuracy: 0.728
In [33]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.124: 100%|█████████████| 27/27 [00:00<00:00, 49.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 124.46it/s] [epoch 1] train_loss: 1.135 val_accuracy: 0.168 train epoch[2/30] loss:1.089: 100%|████████████| 27/27 [00:00<00:00, 115.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.29it/s] [epoch 2] train_loss: 1.106 val_accuracy: 0.252 train epoch[3/30] loss:1.072: 100%|████████████| 27/27 [00:00<00:00, 116.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.16it/s] [epoch 3] train_loss: 1.078 val_accuracy: 0.542 train epoch[4/30] loss:1.036: 100%|████████████| 27/27 [00:00<00:00, 117.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.89it/s] [epoch 4] train_loss: 1.050 val_accuracy: 0.603 train epoch[5/30] loss:0.987: 100%|████████████| 27/27 [00:00<00:00, 116.34it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.39it/s] [epoch 5] train_loss: 1.020 val_accuracy: 0.620 train epoch[6/30] loss:0.978: 100%|████████████| 27/27 [00:00<00:00, 117.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.86it/s] [epoch 6] train_loss: 0.991 val_accuracy: 0.615 train epoch[7/30] loss:0.939: 100%|████████████| 27/27 [00:00<00:00, 117.33it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.28it/s] [epoch 7] train_loss: 0.960 val_accuracy: 0.623 train epoch[8/30] loss:0.879: 100%|████████████| 27/27 [00:00<00:00, 115.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.51it/s] [epoch 8] train_loss: 0.930 val_accuracy: 0.632 train epoch[9/30] loss:0.842: 100%|████████████| 27/27 [00:00<00:00, 115.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.75it/s] [epoch 9] train_loss: 0.900 val_accuracy: 0.635 train epoch[10/30] loss:0.794: 100%|███████████| 27/27 [00:00<00:00, 116.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.33it/s] [epoch 10] train_loss: 0.872 val_accuracy: 0.635 train epoch[11/30] loss:0.836: 100%|███████████| 27/27 [00:00<00:00, 112.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.63it/s] [epoch 11] train_loss: 0.849 val_accuracy: 0.642 train epoch[12/30] loss:0.864: 100%|███████████| 27/27 [00:00<00:00, 116.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.01it/s] [epoch 12] train_loss: 0.829 val_accuracy: 0.647 train epoch[13/30] loss:0.810: 100%|███████████| 27/27 [00:00<00:00, 115.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.22it/s] [epoch 13] train_loss: 0.808 val_accuracy: 0.650 train epoch[14/30] loss:0.736: 100%|███████████| 27/27 [00:00<00:00, 115.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.87it/s] [epoch 14] train_loss: 0.789 val_accuracy: 0.655 train epoch[15/30] loss:0.742: 100%|███████████| 27/27 [00:00<00:00, 115.42it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.71it/s] [epoch 15] train_loss: 0.773 val_accuracy: 0.665 train epoch[16/30] loss:0.696: 100%|███████████| 27/27 [00:00<00:00, 116.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.35it/s] [epoch 16] train_loss: 0.759 val_accuracy: 0.662 train epoch[17/30] loss:0.767: 100%|███████████| 27/27 [00:00<00:00, 113.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 236.85it/s] [epoch 17] train_loss: 0.746 val_accuracy: 0.667 train epoch[18/30] loss:0.678: 100%|███████████| 27/27 [00:00<00:00, 117.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.23it/s] [epoch 18] train_loss: 0.729 val_accuracy: 0.668 train epoch[19/30] loss:0.710: 100%|███████████| 27/27 [00:00<00:00, 118.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 237.09it/s] [epoch 19] train_loss: 0.718 val_accuracy: 0.683 train epoch[20/30] loss:0.675: 100%|███████████| 27/27 [00:00<00:00, 116.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.83it/s] [epoch 20] train_loss: 0.704 val_accuracy: 0.693 train epoch[21/30] loss:0.794: 100%|███████████| 27/27 [00:00<00:00, 117.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.86it/s] [epoch 21] train_loss: 0.693 val_accuracy: 0.690 train epoch[22/30] loss:0.691: 100%|███████████| 27/27 [00:00<00:00, 117.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.41it/s] [epoch 22] train_loss: 0.681 val_accuracy: 0.707 train epoch[23/30] loss:0.610: 100%|███████████| 27/27 [00:00<00:00, 112.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.84it/s] [epoch 23] train_loss: 0.669 val_accuracy: 0.703 train epoch[24/30] loss:0.691: 100%|███████████| 27/27 [00:00<00:00, 115.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.26it/s] [epoch 24] train_loss: 0.660 val_accuracy: 0.707 train epoch[25/30] loss:0.708: 100%|███████████| 27/27 [00:00<00:00, 115.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.46it/s] [epoch 25] train_loss: 0.650 val_accuracy: 0.703 train epoch[26/30] loss:0.593: 100%|███████████| 27/27 [00:00<00:00, 117.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.51it/s] [epoch 26] train_loss: 0.639 val_accuracy: 0.700 train epoch[27/30] loss:0.708: 100%|███████████| 27/27 [00:00<00:00, 115.36it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.91it/s] [epoch 27] train_loss: 0.634 val_accuracy: 0.718 train epoch[28/30] loss:0.625: 100%|███████████| 27/27 [00:00<00:00, 116.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.37it/s] [epoch 28] train_loss: 0.623 val_accuracy: 0.718 train epoch[29/30] loss:0.605: 100%|███████████| 27/27 [00:00<00:00, 117.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.04it/s] [epoch 29] train_loss: 0.616 val_accuracy: 0.718 train epoch[30/30] loss:0.599: 100%|███████████| 27/27 [00:00<00:00, 117.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.85it/s] [epoch 30] train_loss: 0.609 val_accuracy: 0.722 Finished Training Best Accuracy: 0.722
In [34]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.806: 100%|█████████████| 27/27 [00:00<00:00, 48.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 121.27it/s] [epoch 1] train_loss: 0.911 val_accuracy: 0.632 train epoch[2/30] loss:0.589: 100%|████████████| 27/27 [00:00<00:00, 113.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 226.19it/s] [epoch 2] train_loss: 0.726 val_accuracy: 0.620 train epoch[3/30] loss:0.632: 100%|████████████| 27/27 [00:00<00:00, 115.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.98it/s] [epoch 3] train_loss: 0.622 val_accuracy: 0.720 train epoch[4/30] loss:0.554: 100%|████████████| 27/27 [00:00<00:00, 116.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.07it/s] [epoch 4] train_loss: 0.545 val_accuracy: 0.708 train epoch[5/30] loss:0.453: 100%|████████████| 27/27 [00:00<00:00, 114.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.23it/s] [epoch 5] train_loss: 0.473 val_accuracy: 0.613 train epoch[6/30] loss:0.384: 100%|████████████| 27/27 [00:00<00:00, 109.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.10it/s] [epoch 6] train_loss: 0.396 val_accuracy: 0.423 train epoch[7/30] loss:0.249: 100%|████████████| 27/27 [00:00<00:00, 110.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.18it/s] [epoch 7] train_loss: 0.312 val_accuracy: 0.565 train epoch[8/30] loss:0.171: 100%|████████████| 27/27 [00:00<00:00, 109.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.24it/s] [epoch 8] train_loss: 0.220 val_accuracy: 0.622 train epoch[9/30] loss:0.104: 100%|████████████| 27/27 [00:00<00:00, 110.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 227.83it/s] [epoch 9] train_loss: 0.142 val_accuracy: 0.622 train epoch[10/30] loss:0.086: 100%|███████████| 27/27 [00:00<00:00, 110.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.72it/s] [epoch 10] train_loss: 0.094 val_accuracy: 0.687 train epoch[11/30] loss:0.033: 100%|███████████| 27/27 [00:00<00:00, 108.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 225.61it/s] [epoch 11] train_loss: 0.066 val_accuracy: 0.645 train epoch[12/30] loss:0.081: 100%|███████████| 27/27 [00:00<00:00, 110.56it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.35it/s] [epoch 12] train_loss: 0.055 val_accuracy: 0.385 train epoch[13/30] loss:0.099: 100%|███████████| 27/27 [00:00<00:00, 113.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 216.00it/s] [epoch 13] train_loss: 0.051 val_accuracy: 0.617 train epoch[14/30] loss:0.033: 100%|███████████| 27/27 [00:00<00:00, 107.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 225.25it/s] [epoch 14] train_loss: 0.045 val_accuracy: 0.667 train epoch[15/30] loss:0.023: 100%|███████████| 27/27 [00:00<00:00, 109.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.10it/s] [epoch 15] train_loss: 0.043 val_accuracy: 0.533 train epoch[16/30] loss:0.016: 100%|███████████| 27/27 [00:00<00:00, 109.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.23it/s] [epoch 16] train_loss: 0.041 val_accuracy: 0.660 train epoch[17/30] loss:0.014: 100%|███████████| 27/27 [00:00<00:00, 109.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.63it/s] [epoch 17] train_loss: 0.050 val_accuracy: 0.612 train epoch[18/30] loss:0.008: 100%|███████████| 27/27 [00:00<00:00, 108.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.51it/s] [epoch 18] train_loss: 0.041 val_accuracy: 0.287 train epoch[19/30] loss:0.014: 100%|███████████| 27/27 [00:00<00:00, 110.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.01it/s] [epoch 19] train_loss: 0.036 val_accuracy: 0.553 train epoch[20/30] loss:0.031: 100%|███████████| 27/27 [00:00<00:00, 109.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.54it/s] [epoch 20] train_loss: 0.036 val_accuracy: 0.613 train epoch[21/30] loss:0.085: 100%|███████████| 27/27 [00:00<00:00, 109.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.84it/s] [epoch 21] train_loss: 0.035 val_accuracy: 0.302 train epoch[22/30] loss:0.029: 100%|███████████| 27/27 [00:00<00:00, 110.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 227.50it/s] [epoch 22] train_loss: 0.034 val_accuracy: 0.637 train epoch[23/30] loss:0.152: 100%|███████████| 27/27 [00:00<00:00, 109.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.05it/s] [epoch 23] train_loss: 0.028 val_accuracy: 0.645 train epoch[24/30] loss:0.088: 100%|███████████| 27/27 [00:00<00:00, 118.23it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.95it/s] [epoch 24] train_loss: 0.034 val_accuracy: 0.685 train epoch[25/30] loss:0.007: 100%|███████████| 27/27 [00:00<00:00, 119.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.40it/s] [epoch 25] train_loss: 0.029 val_accuracy: 0.683 train epoch[26/30] loss:0.004: 100%|███████████| 27/27 [00:00<00:00, 119.07it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.71it/s] [epoch 26] train_loss: 0.029 val_accuracy: 0.653 train epoch[27/30] loss:0.081: 100%|███████████| 27/27 [00:00<00:00, 117.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.63it/s] [epoch 27] train_loss: 0.027 val_accuracy: 0.622 train epoch[28/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 118.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.31it/s] [epoch 28] train_loss: 0.027 val_accuracy: 0.670 train epoch[29/30] loss:0.017: 100%|███████████| 27/27 [00:00<00:00, 118.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.05it/s] [epoch 29] train_loss: 0.021 val_accuracy: 0.660 train epoch[30/30] loss:0.004: 100%|███████████| 27/27 [00:00<00:00, 121.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 214.73it/s] [epoch 30] train_loss: 0.028 val_accuracy: 0.508 Finished Training Best Accuracy: 0.720
In [35]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --ttype roberta --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.041: 100%|█████████████| 27/27 [00:00<00:00, 55.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 139.70it/s] [epoch 1] train_loss: 1.069 val_accuracy: 0.602 train epoch[2/30] loss:0.979: 100%|████████████| 27/27 [00:00<00:00, 120.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.64it/s] [epoch 2] train_loss: 1.012 val_accuracy: 0.630 train epoch[3/30] loss:0.945: 100%|████████████| 27/27 [00:00<00:00, 119.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 234.66it/s] [epoch 3] train_loss: 0.963 val_accuracy: 0.623 train epoch[4/30] loss:0.932: 100%|████████████| 27/27 [00:00<00:00, 119.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 222.63it/s] [epoch 4] train_loss: 0.918 val_accuracy: 0.612 train epoch[5/30] loss:0.848: 100%|████████████| 27/27 [00:00<00:00, 118.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.49it/s] [epoch 5] train_loss: 0.878 val_accuracy: 0.615 train epoch[6/30] loss:0.838: 100%|████████████| 27/27 [00:00<00:00, 117.36it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 212.10it/s] [epoch 6] train_loss: 0.848 val_accuracy: 0.628 train epoch[7/30] loss:0.845: 100%|████████████| 27/27 [00:00<00:00, 116.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.68it/s] [epoch 7] train_loss: 0.823 val_accuracy: 0.635 train epoch[8/30] loss:0.830: 100%|████████████| 27/27 [00:00<00:00, 119.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.75it/s] [epoch 8] train_loss: 0.801 val_accuracy: 0.647 train epoch[9/30] loss:0.768: 100%|████████████| 27/27 [00:00<00:00, 117.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.69it/s] [epoch 9] train_loss: 0.780 val_accuracy: 0.657 train epoch[10/30] loss:0.781: 100%|███████████| 27/27 [00:00<00:00, 117.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.87it/s] [epoch 10] train_loss: 0.762 val_accuracy: 0.677 train epoch[11/30] loss:0.664: 100%|███████████| 27/27 [00:00<00:00, 119.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.92it/s] [epoch 11] train_loss: 0.740 val_accuracy: 0.683 train epoch[12/30] loss:0.817: 100%|███████████| 27/27 [00:00<00:00, 116.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 205.28it/s] [epoch 12] train_loss: 0.725 val_accuracy: 0.697 train epoch[13/30] loss:0.716: 100%|███████████| 27/27 [00:00<00:00, 117.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 211.40it/s] [epoch 13] train_loss: 0.705 val_accuracy: 0.705 train epoch[14/30] loss:0.563: 100%|███████████| 27/27 [00:00<00:00, 117.23it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 211.97it/s] [epoch 14] train_loss: 0.686 val_accuracy: 0.718 train epoch[15/30] loss:0.579: 100%|███████████| 27/27 [00:00<00:00, 118.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.48it/s] [epoch 15] train_loss: 0.668 val_accuracy: 0.720 train epoch[16/30] loss:0.707: 100%|███████████| 27/27 [00:00<00:00, 120.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 212.99it/s] [epoch 16] train_loss: 0.655 val_accuracy: 0.723 train epoch[17/30] loss:0.556: 100%|███████████| 27/27 [00:00<00:00, 117.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 212.71it/s] [epoch 17] train_loss: 0.641 val_accuracy: 0.735 train epoch[18/30] loss:0.576: 100%|███████████| 27/27 [00:00<00:00, 119.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.51it/s] [epoch 18] train_loss: 0.627 val_accuracy: 0.737 train epoch[19/30] loss:0.715: 100%|███████████| 27/27 [00:00<00:00, 117.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 212.41it/s] [epoch 19] train_loss: 0.614 val_accuracy: 0.738 train epoch[20/30] loss:0.566: 100%|███████████| 27/27 [00:00<00:00, 117.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.21it/s] [epoch 20] train_loss: 0.599 val_accuracy: 0.743 train epoch[21/30] loss:0.695: 100%|███████████| 27/27 [00:00<00:00, 120.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.27it/s] [epoch 21] train_loss: 0.589 val_accuracy: 0.742 train epoch[22/30] loss:0.555: 100%|███████████| 27/27 [00:00<00:00, 119.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.15it/s] [epoch 22] train_loss: 0.578 val_accuracy: 0.740 train epoch[23/30] loss:0.560: 100%|███████████| 27/27 [00:00<00:00, 119.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.34it/s] [epoch 23] train_loss: 0.564 val_accuracy: 0.733 train epoch[24/30] loss:0.537: 100%|███████████| 27/27 [00:00<00:00, 117.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 233.85it/s] [epoch 24] train_loss: 0.557 val_accuracy: 0.730 train epoch[25/30] loss:0.611: 100%|███████████| 27/27 [00:00<00:00, 117.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.17it/s] [epoch 25] train_loss: 0.548 val_accuracy: 0.732 train epoch[26/30] loss:0.564: 100%|███████████| 27/27 [00:00<00:00, 115.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.42it/s] [epoch 26] train_loss: 0.536 val_accuracy: 0.732 train epoch[27/30] loss:0.532: 100%|███████████| 27/27 [00:00<00:00, 118.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.44it/s] [epoch 27] train_loss: 0.526 val_accuracy: 0.717 train epoch[28/30] loss:0.497: 100%|███████████| 27/27 [00:00<00:00, 111.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.02it/s] [epoch 28] train_loss: 0.513 val_accuracy: 0.725 train epoch[29/30] loss:0.545: 100%|███████████| 27/27 [00:00<00:00, 108.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.86it/s] [epoch 29] train_loss: 0.504 val_accuracy: 0.722 train epoch[30/30] loss:0.362: 100%|███████████| 27/27 [00:00<00:00, 109.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 232.39it/s] [epoch 30] train_loss: 0.490 val_accuracy: 0.715 Finished Training Best Accuracy: 0.743
In [36]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.907: 100%|█████████████| 27/27 [00:00<00:00, 55.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 150.28it/s] [epoch 1] train_loss: 1.006 val_accuracy: 0.612 train epoch[2/30] loss:0.812: 100%|████████████| 27/27 [00:00<00:00, 119.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 256.62it/s] [epoch 2] train_loss: 0.838 val_accuracy: 0.645 train epoch[3/30] loss:0.685: 100%|████████████| 27/27 [00:00<00:00, 119.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.25it/s] [epoch 3] train_loss: 0.713 val_accuracy: 0.733 train epoch[4/30] loss:0.547: 100%|████████████| 27/27 [00:00<00:00, 117.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 256.79it/s] [epoch 4] train_loss: 0.596 val_accuracy: 0.752 train epoch[5/30] loss:0.673: 100%|████████████| 27/27 [00:00<00:00, 119.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.07it/s] [epoch 5] train_loss: 0.526 val_accuracy: 0.760 train epoch[6/30] loss:0.426: 100%|████████████| 27/27 [00:00<00:00, 115.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 255.20it/s] [epoch 6] train_loss: 0.461 val_accuracy: 0.765 train epoch[7/30] loss:0.385: 100%|████████████| 27/27 [00:00<00:00, 116.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.81it/s] [epoch 7] train_loss: 0.404 val_accuracy: 0.762 train epoch[8/30] loss:0.291: 100%|████████████| 27/27 [00:00<00:00, 115.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.85it/s] [epoch 8] train_loss: 0.340 val_accuracy: 0.763 train epoch[9/30] loss:0.240: 100%|████████████| 27/27 [00:00<00:00, 116.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.90it/s] [epoch 9] train_loss: 0.283 val_accuracy: 0.760 train epoch[10/30] loss:0.143: 100%|███████████| 27/27 [00:00<00:00, 116.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 258.84it/s] [epoch 10] train_loss: 0.224 val_accuracy: 0.767 train epoch[11/30] loss:0.210: 100%|███████████| 27/27 [00:00<00:00, 116.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.46it/s] [epoch 11] train_loss: 0.166 val_accuracy: 0.758 train epoch[12/30] loss:0.044: 100%|███████████| 27/27 [00:00<00:00, 114.36it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.53it/s] [epoch 12] train_loss: 0.125 val_accuracy: 0.758 train epoch[13/30] loss:0.055: 100%|███████████| 27/27 [00:00<00:00, 116.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.24it/s] [epoch 13] train_loss: 0.087 val_accuracy: 0.762 train epoch[14/30] loss:0.068: 100%|███████████| 27/27 [00:00<00:00, 116.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.22it/s] [epoch 14] train_loss: 0.059 val_accuracy: 0.752 train epoch[15/30] loss:0.105: 100%|███████████| 27/27 [00:00<00:00, 115.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 256.37it/s] [epoch 15] train_loss: 0.043 val_accuracy: 0.755 train epoch[16/30] loss:0.025: 100%|███████████| 27/27 [00:00<00:00, 118.36it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 255.09it/s] [epoch 16] train_loss: 0.035 val_accuracy: 0.755 train epoch[17/30] loss:0.126: 100%|███████████| 27/27 [00:00<00:00, 115.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.53it/s] [epoch 17] train_loss: 0.033 val_accuracy: 0.757 train epoch[18/30] loss:0.055: 100%|███████████| 27/27 [00:00<00:00, 116.33it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.16it/s] [epoch 18] train_loss: 0.029 val_accuracy: 0.743 train epoch[19/30] loss:0.006: 100%|███████████| 27/27 [00:00<00:00, 115.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.07it/s] [epoch 19] train_loss: 0.026 val_accuracy: 0.738 train epoch[20/30] loss:0.039: 100%|███████████| 27/27 [00:00<00:00, 116.00it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.75it/s] [epoch 20] train_loss: 0.026 val_accuracy: 0.757 train epoch[21/30] loss:0.007: 100%|███████████| 27/27 [00:00<00:00, 119.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.59it/s] [epoch 21] train_loss: 0.020 val_accuracy: 0.750 train epoch[22/30] loss:0.004: 100%|███████████| 27/27 [00:00<00:00, 116.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 209.90it/s] [epoch 22] train_loss: 0.023 val_accuracy: 0.753 train epoch[23/30] loss:0.073: 100%|███████████| 27/27 [00:00<00:00, 115.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.82it/s] [epoch 23] train_loss: 0.021 val_accuracy: 0.755 train epoch[24/30] loss:0.012: 100%|███████████| 27/27 [00:00<00:00, 116.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.91it/s] [epoch 24] train_loss: 0.018 val_accuracy: 0.760 train epoch[25/30] loss:0.047: 100%|███████████| 27/27 [00:00<00:00, 115.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.22it/s] [epoch 25] train_loss: 0.019 val_accuracy: 0.757 train epoch[26/30] loss:0.064: 100%|███████████| 27/27 [00:00<00:00, 115.34it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.57it/s] [epoch 26] train_loss: 0.022 val_accuracy: 0.748 train epoch[27/30] loss:0.006: 100%|███████████| 27/27 [00:00<00:00, 113.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.41it/s] [epoch 27] train_loss: 0.018 val_accuracy: 0.755 train epoch[28/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 115.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.61it/s] [epoch 28] train_loss: 0.020 val_accuracy: 0.743 train epoch[29/30] loss:0.047: 100%|███████████| 27/27 [00:00<00:00, 115.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.56it/s] [epoch 29] train_loss: 0.018 val_accuracy: 0.760 train epoch[30/30] loss:0.004: 100%|███████████| 27/27 [00:00<00:00, 114.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.29it/s] [epoch 30] train_loss: 0.017 val_accuracy: 0.745 Finished Training Best Accuracy: 0.767
In [37]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 128 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.089: 100%|█████████████| 27/27 [00:00<00:00, 57.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 150.44it/s] [epoch 1] train_loss: 1.101 val_accuracy: 0.427 train epoch[2/30] loss:1.068: 100%|████████████| 27/27 [00:00<00:00, 123.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.81it/s] [epoch 2] train_loss: 1.077 val_accuracy: 0.560 train epoch[3/30] loss:1.048: 100%|████████████| 27/27 [00:00<00:00, 124.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.92it/s] [epoch 3] train_loss: 1.054 val_accuracy: 0.602 train epoch[4/30] loss:1.014: 100%|████████████| 27/27 [00:00<00:00, 126.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.30it/s] [epoch 4] train_loss: 1.031 val_accuracy: 0.615 train epoch[5/30] loss:0.997: 100%|████████████| 27/27 [00:00<00:00, 125.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.52it/s] [epoch 5] train_loss: 1.008 val_accuracy: 0.615 train epoch[6/30] loss:0.987: 100%|████████████| 27/27 [00:00<00:00, 125.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.12it/s] [epoch 6] train_loss: 0.984 val_accuracy: 0.612 train epoch[7/30] loss:0.982: 100%|████████████| 27/27 [00:00<00:00, 124.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.45it/s] [epoch 7] train_loss: 0.960 val_accuracy: 0.612 train epoch[8/30] loss:0.915: 100%|████████████| 27/27 [00:00<00:00, 124.30it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.79it/s] [epoch 8] train_loss: 0.936 val_accuracy: 0.612 train epoch[9/30] loss:0.904: 100%|████████████| 27/27 [00:00<00:00, 124.90it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.13it/s] [epoch 9] train_loss: 0.914 val_accuracy: 0.612 train epoch[10/30] loss:0.847: 100%|███████████| 27/27 [00:00<00:00, 124.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.22it/s] [epoch 10] train_loss: 0.893 val_accuracy: 0.612 train epoch[11/30] loss:0.923: 100%|███████████| 27/27 [00:00<00:00, 124.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.91it/s] [epoch 11] train_loss: 0.875 val_accuracy: 0.612 train epoch[12/30] loss:0.785: 100%|███████████| 27/27 [00:00<00:00, 122.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.07it/s] [epoch 12] train_loss: 0.856 val_accuracy: 0.612 train epoch[13/30] loss:0.848: 100%|███████████| 27/27 [00:00<00:00, 123.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.69it/s] [epoch 13] train_loss: 0.840 val_accuracy: 0.612 train epoch[14/30] loss:0.843: 100%|███████████| 27/27 [00:00<00:00, 124.43it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 258.63it/s] [epoch 14] train_loss: 0.825 val_accuracy: 0.618 train epoch[15/30] loss:0.730: 100%|███████████| 27/27 [00:00<00:00, 125.06it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.25it/s] [epoch 15] train_loss: 0.808 val_accuracy: 0.625 train epoch[16/30] loss:0.848: 100%|███████████| 27/27 [00:00<00:00, 121.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 256.10it/s] [epoch 16] train_loss: 0.796 val_accuracy: 0.638 train epoch[17/30] loss:0.714: 100%|███████████| 27/27 [00:00<00:00, 117.29it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 253.90it/s] [epoch 17] train_loss: 0.778 val_accuracy: 0.650 train epoch[18/30] loss:0.742: 100%|███████████| 27/27 [00:00<00:00, 126.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.60it/s] [epoch 18] train_loss: 0.764 val_accuracy: 0.662 train epoch[19/30] loss:0.690: 100%|███████████| 27/27 [00:00<00:00, 124.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.12it/s] [epoch 19] train_loss: 0.747 val_accuracy: 0.675 train epoch[20/30] loss:0.735: 100%|███████████| 27/27 [00:00<00:00, 119.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.93it/s] [epoch 20] train_loss: 0.731 val_accuracy: 0.692 train epoch[21/30] loss:0.757: 100%|███████████| 27/27 [00:00<00:00, 124.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.41it/s] [epoch 21] train_loss: 0.716 val_accuracy: 0.710 train epoch[22/30] loss:0.635: 100%|███████████| 27/27 [00:00<00:00, 126.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 258.43it/s] [epoch 22] train_loss: 0.699 val_accuracy: 0.705 train epoch[23/30] loss:0.629: 100%|███████████| 27/27 [00:00<00:00, 125.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 258.26it/s] [epoch 23] train_loss: 0.683 val_accuracy: 0.712 train epoch[24/30] loss:0.628: 100%|███████████| 27/27 [00:00<00:00, 125.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.55it/s] [epoch 24] train_loss: 0.668 val_accuracy: 0.722 train epoch[25/30] loss:0.654: 100%|███████████| 27/27 [00:00<00:00, 125.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.17it/s] [epoch 25] train_loss: 0.654 val_accuracy: 0.725 train epoch[26/30] loss:0.616: 100%|███████████| 27/27 [00:00<00:00, 124.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.58it/s] [epoch 26] train_loss: 0.640 val_accuracy: 0.730 train epoch[27/30] loss:0.675: 100%|███████████| 27/27 [00:00<00:00, 125.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 257.53it/s] [epoch 27] train_loss: 0.629 val_accuracy: 0.732 train epoch[28/30] loss:0.607: 100%|███████████| 27/27 [00:00<00:00, 126.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 254.60it/s] [epoch 28] train_loss: 0.615 val_accuracy: 0.732 train epoch[29/30] loss:0.644: 100%|███████████| 27/27 [00:00<00:00, 122.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 259.11it/s] [epoch 29] train_loss: 0.607 val_accuracy: 0.747 train epoch[30/30] loss:0.619: 100%|███████████| 27/27 [00:00<00:00, 124.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 256.75it/s] [epoch 30] train_loss: 0.594 val_accuracy: 0.748 Finished Training Best Accuracy: 0.748
In [38]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.772: 100%|█████████████| 27/27 [00:00<00:00, 58.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 149.81it/s] [epoch 1] train_loss: 0.901 val_accuracy: 0.618 train epoch[2/30] loss:0.615: 100%|████████████| 27/27 [00:00<00:00, 121.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.37it/s] [epoch 2] train_loss: 0.709 val_accuracy: 0.722 train epoch[3/30] loss:0.590: 100%|████████████| 27/27 [00:00<00:00, 121.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.03it/s] [epoch 3] train_loss: 0.574 val_accuracy: 0.760 train epoch[4/30] loss:0.415: 100%|████████████| 27/27 [00:00<00:00, 118.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.01it/s] [epoch 4] train_loss: 0.472 val_accuracy: 0.770 train epoch[5/30] loss:0.408: 100%|████████████| 27/27 [00:00<00:00, 121.16it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.14it/s] [epoch 5] train_loss: 0.390 val_accuracy: 0.760 train epoch[6/30] loss:0.222: 100%|████████████| 27/27 [00:00<00:00, 108.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 230.62it/s] [epoch 6] train_loss: 0.307 val_accuracy: 0.770 train epoch[7/30] loss:0.203: 100%|████████████| 27/27 [00:00<00:00, 116.96it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 229.15it/s] [epoch 7] train_loss: 0.217 val_accuracy: 0.753 train epoch[8/30] loss:0.189: 100%|████████████| 27/27 [00:00<00:00, 117.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 226.16it/s] [epoch 8] train_loss: 0.145 val_accuracy: 0.757 train epoch[9/30] loss:0.125: 100%|████████████| 27/27 [00:00<00:00, 114.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 228.71it/s] [epoch 9] train_loss: 0.086 val_accuracy: 0.767 train epoch[10/30] loss:0.251: 100%|███████████| 27/27 [00:00<00:00, 116.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.58it/s] [epoch 10] train_loss: 0.063 val_accuracy: 0.755 train epoch[11/30] loss:0.050: 100%|███████████| 27/27 [00:00<00:00, 116.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 241.44it/s] [epoch 11] train_loss: 0.045 val_accuracy: 0.758 train epoch[12/30] loss:0.033: 100%|███████████| 27/27 [00:00<00:00, 116.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 242.06it/s] [epoch 12] train_loss: 0.041 val_accuracy: 0.745 train epoch[13/30] loss:0.020: 100%|███████████| 27/27 [00:00<00:00, 117.35it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.07it/s] [epoch 13] train_loss: 0.035 val_accuracy: 0.740 train epoch[14/30] loss:0.017: 100%|███████████| 27/27 [00:00<00:00, 115.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.75it/s] [epoch 14] train_loss: 0.029 val_accuracy: 0.767 train epoch[15/30] loss:0.010: 100%|███████████| 27/27 [00:00<00:00, 115.07it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.65it/s] [epoch 15] train_loss: 0.025 val_accuracy: 0.762 train epoch[16/30] loss:0.007: 100%|███████████| 27/27 [00:00<00:00, 115.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 244.77it/s] [epoch 16] train_loss: 0.024 val_accuracy: 0.750 train epoch[17/30] loss:0.029: 100%|███████████| 27/27 [00:00<00:00, 116.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.90it/s] [epoch 17] train_loss: 0.029 val_accuracy: 0.767 train epoch[18/30] loss:0.003: 100%|███████████| 27/27 [00:00<00:00, 116.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 244.28it/s] [epoch 18] train_loss: 0.030 val_accuracy: 0.755 train epoch[19/30] loss:0.039: 100%|███████████| 27/27 [00:00<00:00, 113.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.93it/s] [epoch 19] train_loss: 0.027 val_accuracy: 0.762 train epoch[20/30] loss:0.003: 100%|███████████| 27/27 [00:00<00:00, 115.48it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.18it/s] [epoch 20] train_loss: 0.023 val_accuracy: 0.767 train epoch[21/30] loss:0.022: 100%|███████████| 27/27 [00:00<00:00, 117.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.27it/s] [epoch 21] train_loss: 0.023 val_accuracy: 0.762 train epoch[22/30] loss:0.006: 100%|███████████| 27/27 [00:00<00:00, 115.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.30it/s] [epoch 22] train_loss: 0.023 val_accuracy: 0.767 train epoch[23/30] loss:0.052: 100%|███████████| 27/27 [00:00<00:00, 118.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.92it/s] [epoch 23] train_loss: 0.023 val_accuracy: 0.765 train epoch[24/30] loss:0.010: 100%|███████████| 27/27 [00:00<00:00, 116.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 246.63it/s] [epoch 24] train_loss: 0.019 val_accuracy: 0.750 train epoch[25/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 116.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 241.44it/s] [epoch 25] train_loss: 0.023 val_accuracy: 0.767 train epoch[26/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 115.06it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 240.77it/s] [epoch 26] train_loss: 0.019 val_accuracy: 0.758 train epoch[27/30] loss:0.001: 100%|███████████| 27/27 [00:00<00:00, 114.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 246.76it/s] [epoch 27] train_loss: 0.021 val_accuracy: 0.768 train epoch[28/30] loss:0.030: 100%|███████████| 27/27 [00:00<00:00, 112.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 243.20it/s] [epoch 28] train_loss: 0.022 val_accuracy: 0.742 train epoch[29/30] loss:0.122: 100%|███████████| 27/27 [00:00<00:00, 114.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 246.07it/s] [epoch 29] train_loss: 0.030 val_accuracy: 0.755 train epoch[30/30] loss:0.112: 100%|███████████| 27/27 [00:00<00:00, 114.38it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.93it/s] [epoch 30] train_loss: 0.025 val_accuracy: 0.757 Finished Training Best Accuracy: 0.770
In [39]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-5 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=1e-05, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.003: 100%|█████████████| 27/27 [00:00<00:00, 50.46it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 129.89it/s] [epoch 1] train_loss: 1.037 val_accuracy: 0.612 train epoch[2/30] loss:0.952: 100%|████████████| 27/27 [00:00<00:00, 119.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 244.63it/s] [epoch 2] train_loss: 0.985 val_accuracy: 0.612 train epoch[3/30] loss:1.008: 100%|████████████| 27/27 [00:00<00:00, 123.90it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.94it/s] [epoch 3] train_loss: 0.942 val_accuracy: 0.612 train epoch[4/30] loss:0.840: 100%|████████████| 27/27 [00:00<00:00, 115.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 224.81it/s] [epoch 4] train_loss: 0.906 val_accuracy: 0.612 train epoch[5/30] loss:0.892: 100%|████████████| 27/27 [00:00<00:00, 117.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.72it/s] [epoch 5] train_loss: 0.880 val_accuracy: 0.612 train epoch[6/30] loss:0.810: 100%|████████████| 27/27 [00:00<00:00, 116.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.16it/s] [epoch 6] train_loss: 0.858 val_accuracy: 0.612 train epoch[7/30] loss:0.807: 100%|████████████| 27/27 [00:00<00:00, 110.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.12it/s] [epoch 7] train_loss: 0.839 val_accuracy: 0.617 train epoch[8/30] loss:0.728: 100%|████████████| 27/27 [00:00<00:00, 115.51it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.88it/s] [epoch 8] train_loss: 0.819 val_accuracy: 0.625 train epoch[9/30] loss:0.758: 100%|████████████| 27/27 [00:00<00:00, 116.47it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.53it/s] [epoch 9] train_loss: 0.798 val_accuracy: 0.640 train epoch[10/30] loss:0.646: 100%|███████████| 27/27 [00:00<00:00, 117.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.59it/s] [epoch 10] train_loss: 0.773 val_accuracy: 0.673 train epoch[11/30] loss:0.660: 100%|███████████| 27/27 [00:00<00:00, 116.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.15it/s] [epoch 11] train_loss: 0.748 val_accuracy: 0.690 train epoch[12/30] loss:0.718: 100%|███████████| 27/27 [00:00<00:00, 118.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 238.15it/s] [epoch 12] train_loss: 0.723 val_accuracy: 0.700 train epoch[13/30] loss:0.543: 100%|███████████| 27/27 [00:00<00:00, 114.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 252.33it/s] [epoch 13] train_loss: 0.693 val_accuracy: 0.715 train epoch[14/30] loss:0.645: 100%|███████████| 27/27 [00:00<00:00, 115.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.38it/s] [epoch 14] train_loss: 0.670 val_accuracy: 0.732 train epoch[15/30] loss:0.703: 100%|███████████| 27/27 [00:00<00:00, 115.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.57it/s] [epoch 15] train_loss: 0.648 val_accuracy: 0.730 train epoch[16/30] loss:0.505: 100%|███████████| 27/27 [00:00<00:00, 117.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.60it/s] [epoch 16] train_loss: 0.627 val_accuracy: 0.728 train epoch[17/30] loss:0.569: 100%|███████████| 27/27 [00:00<00:00, 117.00it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.41it/s] [epoch 17] train_loss: 0.610 val_accuracy: 0.745 train epoch[18/30] loss:0.630: 100%|███████████| 27/27 [00:00<00:00, 115.34it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.00it/s] [epoch 18] train_loss: 0.598 val_accuracy: 0.743 train epoch[19/30] loss:0.467: 100%|███████████| 27/27 [00:00<00:00, 116.43it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.68it/s] [epoch 19] train_loss: 0.577 val_accuracy: 0.748 train epoch[20/30] loss:0.464: 100%|███████████| 27/27 [00:00<00:00, 117.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.25it/s] [epoch 20] train_loss: 0.564 val_accuracy: 0.752 train epoch[21/30] loss:0.546: 100%|███████████| 27/27 [00:00<00:00, 113.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.97it/s] [epoch 21] train_loss: 0.553 val_accuracy: 0.752 train epoch[22/30] loss:0.541: 100%|███████████| 27/27 [00:00<00:00, 115.77it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.41it/s] [epoch 22] train_loss: 0.538 val_accuracy: 0.755 train epoch[23/30] loss:0.514: 100%|███████████| 27/27 [00:00<00:00, 113.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.48it/s] [epoch 23] train_loss: 0.525 val_accuracy: 0.757 train epoch[24/30] loss:0.614: 100%|███████████| 27/27 [00:00<00:00, 114.85it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.16it/s] [epoch 24] train_loss: 0.516 val_accuracy: 0.763 train epoch[25/30] loss:0.484: 100%|███████████| 27/27 [00:00<00:00, 120.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.33it/s] [epoch 25] train_loss: 0.501 val_accuracy: 0.765 train epoch[26/30] loss:0.588: 100%|███████████| 27/27 [00:00<00:00, 117.12it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.90it/s] [epoch 26] train_loss: 0.492 val_accuracy: 0.765 train epoch[27/30] loss:0.349: 100%|███████████| 27/27 [00:00<00:00, 111.36it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.99it/s] [epoch 27] train_loss: 0.476 val_accuracy: 0.765 train epoch[28/30] loss:0.507: 100%|███████████| 27/27 [00:00<00:00, 115.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 246.98it/s] [epoch 28] train_loss: 0.465 val_accuracy: 0.765 train epoch[29/30] loss:0.553: 100%|███████████| 27/27 [00:00<00:00, 114.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 247.96it/s] [epoch 29] train_loss: 0.459 val_accuracy: 0.763 train epoch[30/30] loss:0.369: 100%|███████████| 27/27 [00:00<00:00, 114.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 235.10it/s] [epoch 30] train_loss: 0.441 val_accuracy: 0.767 Finished Training Best Accuracy: 0.767
消融实验¶
这里的超参数要根据上述实验来取
In [41]:
Copied!
!python utils/train_linear_probe.py --vtype clip --D 256 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --D 256 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=2, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.852: 100%|█████████████| 27/27 [00:00<00:00, 68.42it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 137.21it/s] [epoch 1] train_loss: 0.968 val_accuracy: 0.653 train epoch[2/30] loss:0.800: 100%|████████████| 27/27 [00:00<00:00, 197.86it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 289.54it/s] [epoch 2] train_loss: 0.787 val_accuracy: 0.710 train epoch[3/30] loss:0.697: 100%|████████████| 27/27 [00:00<00:00, 205.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 320.58it/s] [epoch 3] train_loss: 0.694 val_accuracy: 0.725 train epoch[4/30] loss:0.589: 100%|████████████| 27/27 [00:00<00:00, 206.64it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 317.31it/s] [epoch 4] train_loss: 0.639 val_accuracy: 0.725 train epoch[5/30] loss:0.517: 100%|████████████| 27/27 [00:00<00:00, 206.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 322.11it/s] [epoch 5] train_loss: 0.600 val_accuracy: 0.725 train epoch[6/30] loss:0.732: 100%|████████████| 27/27 [00:00<00:00, 208.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.07it/s] [epoch 6] train_loss: 0.576 val_accuracy: 0.740 train epoch[7/30] loss:0.497: 100%|████████████| 27/27 [00:00<00:00, 201.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.61it/s] [epoch 7] train_loss: 0.546 val_accuracy: 0.742 train epoch[8/30] loss:0.526: 100%|████████████| 27/27 [00:00<00:00, 206.05it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 322.97it/s] [epoch 8] train_loss: 0.525 val_accuracy: 0.747 train epoch[9/30] loss:0.562: 100%|████████████| 27/27 [00:00<00:00, 208.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.00it/s] [epoch 9] train_loss: 0.509 val_accuracy: 0.748 train epoch[10/30] loss:0.631: 100%|███████████| 27/27 [00:00<00:00, 208.58it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 324.82it/s] [epoch 10] train_loss: 0.491 val_accuracy: 0.750 train epoch[11/30] loss:0.512: 100%|███████████| 27/27 [00:00<00:00, 205.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 324.66it/s] [epoch 11] train_loss: 0.470 val_accuracy: 0.752 train epoch[12/30] loss:0.513: 100%|███████████| 27/27 [00:00<00:00, 207.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 317.23it/s] [epoch 12] train_loss: 0.453 val_accuracy: 0.750 train epoch[13/30] loss:0.506: 100%|███████████| 27/27 [00:00<00:00, 201.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.49it/s] [epoch 13] train_loss: 0.438 val_accuracy: 0.755 train epoch[14/30] loss:0.563: 100%|███████████| 27/27 [00:00<00:00, 206.39it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.65it/s] [epoch 14] train_loss: 0.424 val_accuracy: 0.762 train epoch[15/30] loss:0.321: 100%|███████████| 27/27 [00:00<00:00, 205.26it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 319.87it/s] [epoch 15] train_loss: 0.404 val_accuracy: 0.757 train epoch[16/30] loss:0.357: 100%|███████████| 27/27 [00:00<00:00, 207.91it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 320.68it/s] [epoch 16] train_loss: 0.393 val_accuracy: 0.762 train epoch[17/30] loss:0.418: 100%|███████████| 27/27 [00:00<00:00, 207.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 317.62it/s] [epoch 17] train_loss: 0.380 val_accuracy: 0.753 train epoch[18/30] loss:0.270: 100%|███████████| 27/27 [00:00<00:00, 206.48it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 320.89it/s] [epoch 18] train_loss: 0.363 val_accuracy: 0.758 train epoch[19/30] loss:0.412: 100%|███████████| 27/27 [00:00<00:00, 206.98it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 311.15it/s] [epoch 19] train_loss: 0.352 val_accuracy: 0.757 train epoch[20/30] loss:0.342: 100%|███████████| 27/27 [00:00<00:00, 196.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 313.26it/s] [epoch 20] train_loss: 0.337 val_accuracy: 0.748 train epoch[21/30] loss:0.321: 100%|███████████| 27/27 [00:00<00:00, 204.09it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.06it/s] [epoch 21] train_loss: 0.324 val_accuracy: 0.755 train epoch[22/30] loss:0.283: 100%|███████████| 27/27 [00:00<00:00, 204.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 311.30it/s] [epoch 22] train_loss: 0.310 val_accuracy: 0.752 train epoch[23/30] loss:0.311: 100%|███████████| 27/27 [00:00<00:00, 201.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.97it/s] [epoch 23] train_loss: 0.300 val_accuracy: 0.750 train epoch[24/30] loss:0.282: 100%|███████████| 27/27 [00:00<00:00, 202.65it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.00it/s] [epoch 24] train_loss: 0.285 val_accuracy: 0.755 train epoch[25/30] loss:0.310: 100%|███████████| 27/27 [00:00<00:00, 207.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 318.00it/s] [epoch 25] train_loss: 0.276 val_accuracy: 0.750 train epoch[26/30] loss:0.274: 100%|███████████| 27/27 [00:00<00:00, 206.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.61it/s] [epoch 26] train_loss: 0.263 val_accuracy: 0.748 train epoch[27/30] loss:0.273: 100%|███████████| 27/27 [00:00<00:00, 203.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.78it/s] [epoch 27] train_loss: 0.250 val_accuracy: 0.752 train epoch[28/30] loss:0.279: 100%|███████████| 27/27 [00:00<00:00, 206.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 318.36it/s] [epoch 28] train_loss: 0.243 val_accuracy: 0.752 train epoch[29/30] loss:0.211: 100%|███████████| 27/27 [00:00<00:00, 202.79it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 307.49it/s] [epoch 29] train_loss: 0.232 val_accuracy: 0.752 train epoch[30/30] loss:0.179: 100%|███████████| 27/27 [00:00<00:00, 203.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 321.04it/s] [epoch 30] train_loss: 0.222 val_accuracy: 0.750 Finished Training Best Accuracy: 0.762
In [42]:
Copied!
!python utils/train_linear_probe.py --ttype clip --D 256 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --ttype clip --D 256 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=1, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.959: 100%|█████████████| 27/27 [00:00<00:00, 75.40it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 160.01it/s] [epoch 1] train_loss: 0.972 val_accuracy: 0.658 train epoch[2/30] loss:0.850: 100%|████████████| 27/27 [00:00<00:00, 196.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.98it/s] [epoch 2] train_loss: 0.817 val_accuracy: 0.692 train epoch[3/30] loss:0.762: 100%|████████████| 27/27 [00:00<00:00, 197.80it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.27it/s] [epoch 3] train_loss: 0.735 val_accuracy: 0.702 train epoch[4/30] loss:0.686: 100%|████████████| 27/27 [00:00<00:00, 197.40it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.79it/s] [epoch 4] train_loss: 0.684 val_accuracy: 0.707 train epoch[5/30] loss:0.588: 100%|████████████| 27/27 [00:00<00:00, 199.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 290.77it/s] [epoch 5] train_loss: 0.648 val_accuracy: 0.718 train epoch[6/30] loss:0.770: 100%|████████████| 27/27 [00:00<00:00, 190.23it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.79it/s] [epoch 6] train_loss: 0.624 val_accuracy: 0.730 train epoch[7/30] loss:0.608: 100%|████████████| 27/27 [00:00<00:00, 187.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.50it/s] [epoch 7] train_loss: 0.595 val_accuracy: 0.723 train epoch[8/30] loss:0.629: 100%|████████████| 27/27 [00:00<00:00, 198.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.51it/s] [epoch 8] train_loss: 0.574 val_accuracy: 0.727 train epoch[9/30] loss:0.631: 100%|████████████| 27/27 [00:00<00:00, 196.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.73it/s] [epoch 9] train_loss: 0.557 val_accuracy: 0.723 train epoch[10/30] loss:0.552: 100%|███████████| 27/27 [00:00<00:00, 196.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 312.87it/s] [epoch 10] train_loss: 0.536 val_accuracy: 0.728 train epoch[11/30] loss:0.524: 100%|███████████| 27/27 [00:00<00:00, 193.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.73it/s] [epoch 11] train_loss: 0.516 val_accuracy: 0.730 train epoch[12/30] loss:0.485: 100%|███████████| 27/27 [00:00<00:00, 186.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.34it/s] [epoch 12] train_loss: 0.499 val_accuracy: 0.723 train epoch[13/30] loss:0.579: 100%|███████████| 27/27 [00:00<00:00, 193.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.05it/s] [epoch 13] train_loss: 0.483 val_accuracy: 0.732 train epoch[14/30] loss:0.617: 100%|███████████| 27/27 [00:00<00:00, 186.76it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 280.08it/s] [epoch 14] train_loss: 0.468 val_accuracy: 0.728 train epoch[15/30] loss:0.409: 100%|███████████| 27/27 [00:00<00:00, 189.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.26it/s] [epoch 15] train_loss: 0.449 val_accuracy: 0.725 train epoch[16/30] loss:0.505: 100%|███████████| 27/27 [00:00<00:00, 187.16it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 304.60it/s] [epoch 16] train_loss: 0.438 val_accuracy: 0.725 train epoch[17/30] loss:0.507: 100%|███████████| 27/27 [00:00<00:00, 186.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.44it/s] [epoch 17] train_loss: 0.423 val_accuracy: 0.728 train epoch[18/30] loss:0.377: 100%|███████████| 27/27 [00:00<00:00, 192.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 306.64it/s] [epoch 18] train_loss: 0.405 val_accuracy: 0.717 train epoch[19/30] loss:0.514: 100%|███████████| 27/27 [00:00<00:00, 184.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.72it/s] [epoch 19] train_loss: 0.395 val_accuracy: 0.717 train epoch[20/30] loss:0.359: 100%|███████████| 27/27 [00:00<00:00, 190.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 308.61it/s] [epoch 20] train_loss: 0.377 val_accuracy: 0.718 train epoch[21/30] loss:0.403: 100%|███████████| 27/27 [00:00<00:00, 194.54it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.52it/s] [epoch 21] train_loss: 0.364 val_accuracy: 0.717 train epoch[22/30] loss:0.319: 100%|███████████| 27/27 [00:00<00:00, 189.30it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.55it/s] [epoch 22] train_loss: 0.348 val_accuracy: 0.713 train epoch[23/30] loss:0.346: 100%|███████████| 27/27 [00:00<00:00, 193.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 311.15it/s] [epoch 23] train_loss: 0.341 val_accuracy: 0.713 train epoch[24/30] loss:0.360: 100%|███████████| 27/27 [00:00<00:00, 192.44it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.53it/s] [epoch 24] train_loss: 0.326 val_accuracy: 0.713 train epoch[25/30] loss:0.311: 100%|███████████| 27/27 [00:00<00:00, 192.78it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 305.25it/s] [epoch 25] train_loss: 0.315 val_accuracy: 0.712 train epoch[26/30] loss:0.282: 100%|███████████| 27/27 [00:00<00:00, 191.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.26it/s] [epoch 26] train_loss: 0.301 val_accuracy: 0.710 train epoch[27/30] loss:0.299: 100%|███████████| 27/27 [00:00<00:00, 193.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.13it/s] [epoch 27] train_loss: 0.291 val_accuracy: 0.710 train epoch[28/30] loss:0.405: 100%|███████████| 27/27 [00:00<00:00, 193.96it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.42it/s] [epoch 28] train_loss: 0.285 val_accuracy: 0.712 train epoch[29/30] loss:0.271: 100%|███████████| 27/27 [00:00<00:00, 194.18it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.98it/s] [epoch 29] train_loss: 0.271 val_accuracy: 0.707 train epoch[30/30] loss:0.266: 100%|███████████| 27/27 [00:00<00:00, 192.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 311.02it/s] [epoch 30] train_loss: 0.262 val_accuracy: 0.703 Finished Training Best Accuracy: 0.732
In [43]:
Copied!
!python utils/train_linear_probe.py --vtype resnet --D 128 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype resnet --D 128 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='resnet', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=128, fused=2, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.127: 100%|█████████████| 27/27 [00:00<00:00, 65.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 154.31it/s] [epoch 1] train_loss: 1.215 val_accuracy: 0.495 train epoch[2/30] loss:1.002: 100%|████████████| 27/27 [00:00<00:00, 188.41it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 294.40it/s] [epoch 2] train_loss: 1.046 val_accuracy: 0.547 train epoch[3/30] loss:0.949: 100%|████████████| 27/27 [00:00<00:00, 191.14it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.16it/s] [epoch 3] train_loss: 0.948 val_accuracy: 0.588 train epoch[4/30] loss:0.936: 100%|████████████| 27/27 [00:00<00:00, 195.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.00it/s] [epoch 4] train_loss: 0.879 val_accuracy: 0.622 train epoch[5/30] loss:0.813: 100%|████████████| 27/27 [00:00<00:00, 194.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.61it/s] [epoch 5] train_loss: 0.823 val_accuracy: 0.630 train epoch[6/30] loss:0.728: 100%|████████████| 27/27 [00:00<00:00, 193.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.09it/s] [epoch 6] train_loss: 0.781 val_accuracy: 0.625 train epoch[7/30] loss:0.787: 100%|████████████| 27/27 [00:00<00:00, 195.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.83it/s] [epoch 7] train_loss: 0.748 val_accuracy: 0.642 train epoch[8/30] loss:0.672: 100%|████████████| 27/27 [00:00<00:00, 186.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 280.06it/s] [epoch 8] train_loss: 0.722 val_accuracy: 0.650 train epoch[9/30] loss:0.734: 100%|████████████| 27/27 [00:00<00:00, 197.45it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 300.14it/s] [epoch 9] train_loss: 0.701 val_accuracy: 0.657 train epoch[10/30] loss:0.674: 100%|███████████| 27/27 [00:00<00:00, 194.20it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.95it/s] [epoch 10] train_loss: 0.683 val_accuracy: 0.647 train epoch[11/30] loss:0.652: 100%|███████████| 27/27 [00:00<00:00, 197.37it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.86it/s] [epoch 11] train_loss: 0.668 val_accuracy: 0.662 train epoch[12/30] loss:0.591: 100%|███████████| 27/27 [00:00<00:00, 194.32it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 302.37it/s] [epoch 12] train_loss: 0.652 val_accuracy: 0.662 train epoch[13/30] loss:0.669: 100%|███████████| 27/27 [00:00<00:00, 193.70it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 303.24it/s] [epoch 13] train_loss: 0.640 val_accuracy: 0.665 train epoch[14/30] loss:0.609: 100%|███████████| 27/27 [00:00<00:00, 196.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.64it/s] [epoch 14] train_loss: 0.631 val_accuracy: 0.662 train epoch[15/30] loss:0.635: 100%|███████████| 27/27 [00:00<00:00, 195.62it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.14it/s] [epoch 15] train_loss: 0.619 val_accuracy: 0.662 train epoch[16/30] loss:0.663: 100%|███████████| 27/27 [00:00<00:00, 194.31it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.00it/s] [epoch 16] train_loss: 0.610 val_accuracy: 0.662 train epoch[17/30] loss:0.580: 100%|███████████| 27/27 [00:00<00:00, 194.90it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.49it/s] [epoch 17] train_loss: 0.601 val_accuracy: 0.657 train epoch[18/30] loss:0.582: 100%|███████████| 27/27 [00:00<00:00, 195.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 293.91it/s] [epoch 18] train_loss: 0.589 val_accuracy: 0.655 train epoch[19/30] loss:0.580: 100%|███████████| 27/27 [00:00<00:00, 190.56it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.76it/s] [epoch 19] train_loss: 0.584 val_accuracy: 0.660 train epoch[20/30] loss:0.662: 100%|███████████| 27/27 [00:00<00:00, 202.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.27it/s] [epoch 20] train_loss: 0.574 val_accuracy: 0.662 train epoch[21/30] loss:0.607: 100%|███████████| 27/27 [00:00<00:00, 200.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.17it/s] [epoch 21] train_loss: 0.564 val_accuracy: 0.658 train epoch[22/30] loss:0.507: 100%|███████████| 27/27 [00:00<00:00, 201.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.40it/s] [epoch 22] train_loss: 0.553 val_accuracy: 0.660 train epoch[23/30] loss:0.624: 100%|███████████| 27/27 [00:00<00:00, 200.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.53it/s] [epoch 23] train_loss: 0.546 val_accuracy: 0.673 train epoch[24/30] loss:0.556: 100%|███████████| 27/27 [00:00<00:00, 200.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 297.64it/s] [epoch 24] train_loss: 0.537 val_accuracy: 0.657 train epoch[25/30] loss:0.539: 100%|███████████| 27/27 [00:00<00:00, 200.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 298.91it/s] [epoch 25] train_loss: 0.529 val_accuracy: 0.655 train epoch[26/30] loss:0.563: 100%|███████████| 27/27 [00:00<00:00, 199.10it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 296.75it/s] [epoch 26] train_loss: 0.522 val_accuracy: 0.660 train epoch[27/30] loss:0.489: 100%|███████████| 27/27 [00:00<00:00, 198.24it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 295.98it/s] [epoch 27] train_loss: 0.514 val_accuracy: 0.675 train epoch[28/30] loss:0.508: 100%|███████████| 27/27 [00:00<00:00, 200.69it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 301.39it/s] [epoch 28] train_loss: 0.509 val_accuracy: 0.660 train epoch[29/30] loss:0.488: 100%|███████████| 27/27 [00:00<00:00, 196.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 292.89it/s] [epoch 29] train_loss: 0.498 val_accuracy: 0.663 train epoch[30/30] loss:0.485: 100%|███████████| 27/27 [00:00<00:00, 198.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 299.07it/s] [epoch 30] train_loss: 0.489 val_accuracy: 0.685 Finished Training Best Accuracy: 0.685
In [44]:
Copied!
!python utils/train_linear_probe.py --ttype roberta --D 128 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --ttype roberta --D 128 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=128, fused=1, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.076: 100%|█████████████| 27/27 [00:00<00:00, 74.71it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 195.39it/s] [epoch 1] train_loss: 1.151 val_accuracy: 0.282 train epoch[2/30] loss:0.888: 100%|████████████| 27/27 [00:00<00:00, 196.82it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 317.33it/s] [epoch 2] train_loss: 0.985 val_accuracy: 0.357 train epoch[3/30] loss:0.811: 100%|████████████| 27/27 [00:00<00:00, 200.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.51it/s] [epoch 3] train_loss: 0.885 val_accuracy: 0.648 train epoch[4/30] loss:0.773: 100%|████████████| 27/27 [00:00<00:00, 200.87it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 316.40it/s] [epoch 4] train_loss: 0.817 val_accuracy: 0.608 train epoch[5/30] loss:0.784: 100%|████████████| 27/27 [00:00<00:00, 200.59it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 317.50it/s] [epoch 5] train_loss: 0.767 val_accuracy: 0.500 train epoch[6/30] loss:0.748: 100%|████████████| 27/27 [00:00<00:00, 193.52it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.46it/s] [epoch 6] train_loss: 0.730 val_accuracy: 0.688 train epoch[7/30] loss:0.707: 100%|████████████| 27/27 [00:00<00:00, 198.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.29it/s] [epoch 7] train_loss: 0.699 val_accuracy: 0.650 train epoch[8/30] loss:0.676: 100%|████████████| 27/27 [00:00<00:00, 194.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.97it/s] [epoch 8] train_loss: 0.672 val_accuracy: 0.648 train epoch[9/30] loss:0.660: 100%|████████████| 27/27 [00:00<00:00, 194.28it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.96it/s] [epoch 9] train_loss: 0.652 val_accuracy: 0.635 train epoch[10/30] loss:0.725: 100%|███████████| 27/27 [00:00<00:00, 197.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.90it/s] [epoch 10] train_loss: 0.636 val_accuracy: 0.653 train epoch[11/30] loss:0.665: 100%|███████████| 27/27 [00:00<00:00, 196.49it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.10it/s] [epoch 11] train_loss: 0.617 val_accuracy: 0.703 train epoch[12/30] loss:0.625: 100%|███████████| 27/27 [00:00<00:00, 198.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.56it/s] [epoch 12] train_loss: 0.603 val_accuracy: 0.700 train epoch[13/30] loss:0.590: 100%|███████████| 27/27 [00:00<00:00, 196.30it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.50it/s] [epoch 13] train_loss: 0.589 val_accuracy: 0.703 train epoch[14/30] loss:0.532: 100%|███████████| 27/27 [00:00<00:00, 197.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 309.29it/s] [epoch 14] train_loss: 0.577 val_accuracy: 0.670 train epoch[15/30] loss:0.635: 100%|███████████| 27/27 [00:00<00:00, 197.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 316.52it/s] [epoch 15] train_loss: 0.569 val_accuracy: 0.635 train epoch[16/30] loss:0.510: 100%|███████████| 27/27 [00:00<00:00, 194.03it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.89it/s] [epoch 16] train_loss: 0.555 val_accuracy: 0.690 train epoch[17/30] loss:0.518: 100%|███████████| 27/27 [00:00<00:00, 194.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 316.46it/s] [epoch 17] train_loss: 0.542 val_accuracy: 0.695 train epoch[18/30] loss:0.532: 100%|███████████| 27/27 [00:00<00:00, 198.08it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 314.27it/s] [epoch 18] train_loss: 0.533 val_accuracy: 0.703 train epoch[19/30] loss:0.412: 100%|███████████| 27/27 [00:00<00:00, 195.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.43it/s] [epoch 19] train_loss: 0.521 val_accuracy: 0.682 train epoch[20/30] loss:0.491: 100%|███████████| 27/27 [00:00<00:00, 193.92it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.87it/s] [epoch 20] train_loss: 0.510 val_accuracy: 0.697 train epoch[21/30] loss:0.475: 100%|███████████| 27/27 [00:00<00:00, 193.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.77it/s] [epoch 21] train_loss: 0.504 val_accuracy: 0.683 train epoch[22/30] loss:0.498: 100%|███████████| 27/27 [00:00<00:00, 192.17it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 287.59it/s] [epoch 22] train_loss: 0.492 val_accuracy: 0.675 train epoch[23/30] loss:0.512: 100%|███████████| 27/27 [00:00<00:00, 191.61it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.22it/s] [epoch 23] train_loss: 0.483 val_accuracy: 0.633 train epoch[24/30] loss:0.415: 100%|███████████| 27/27 [00:00<00:00, 198.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 316.71it/s] [epoch 24] train_loss: 0.471 val_accuracy: 0.545 train epoch[25/30] loss:0.504: 100%|███████████| 27/27 [00:00<00:00, 194.94it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.52it/s] [epoch 25] train_loss: 0.467 val_accuracy: 0.647 train epoch[26/30] loss:0.491: 100%|███████████| 27/27 [00:00<00:00, 194.93it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 318.08it/s] [epoch 26] train_loss: 0.458 val_accuracy: 0.663 train epoch[27/30] loss:0.540: 100%|███████████| 27/27 [00:00<00:00, 194.27it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 313.55it/s] [epoch 27] train_loss: 0.449 val_accuracy: 0.492 train epoch[28/30] loss:0.478: 100%|███████████| 27/27 [00:00<00:00, 196.81it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.48it/s] [epoch 28] train_loss: 0.437 val_accuracy: 0.700 train epoch[29/30] loss:0.554: 100%|███████████| 27/27 [00:00<00:00, 189.04it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 310.49it/s] [epoch 29] train_loss: 0.434 val_accuracy: 0.700 train epoch[30/30] loss:0.391: 100%|███████████| 27/27 [00:00<00:00, 194.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 315.69it/s] [epoch 30] train_loss: 0.423 val_accuracy: 0.638 Finished Training Best Accuracy: 0.703
In [45]:
Copied!
!python utils/train_fine_tuning.py --vtype resnet --D 256 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --vtype resnet --D 256 --fused 2 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=2, testsize=0.15)
using cuda device.
train epoch[1/30] loss:0.867: 100%|█████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 1] train_loss: 0.978 val_accuracy: 0.640
train epoch[2/30] loss:0.428: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 2] train_loss: 0.455 val_accuracy: 0.640
train epoch[3/30] loss:0.245: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.52it/s]
[epoch 3] train_loss: 0.173 val_accuracy: 0.640
train epoch[4/30] loss:0.104: 100%|█████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.58it/s]
[epoch 4] train_loss: 0.079 val_accuracy: 0.663
train epoch[5/30] loss:0.037: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.52it/s]
[epoch 5] train_loss: 0.047 val_accuracy: 0.652
train epoch[6/30] loss:0.043: 100%|█████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.54it/s]
[epoch 6] train_loss: 0.034 val_accuracy: 0.637
train epoch[7/30] loss:0.046: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 7] train_loss: 0.028 val_accuracy: 0.650
train epoch[8/30] loss:0.012: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 8] train_loss: 0.024 val_accuracy: 0.663
train epoch[9/30] loss:0.019: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.56it/s]
[epoch 9] train_loss: 0.023 val_accuracy: 0.658
train epoch[10/30] loss:0.026: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.58it/s]
[epoch 10] train_loss: 0.021 val_accuracy: 0.658
train epoch[11/30] loss:0.019: 100%|████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 11] train_loss: 0.020 val_accuracy: 0.658
train epoch[12/30] loss:0.029: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 12] train_loss: 0.018 val_accuracy: 0.657
train epoch[13/30] loss:0.020: 100%|████████████| 27/27 [00:14<00:00, 1.83it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.55it/s]
[epoch 13] train_loss: 0.017 val_accuracy: 0.652
train epoch[14/30] loss:0.006: 100%|████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 14] train_loss: 0.017 val_accuracy: 0.658
train epoch[15/30] loss:0.008: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 15] train_loss: 0.016 val_accuracy: 0.653
train epoch[16/30] loss:0.031: 100%|████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 16] train_loss: 0.016 val_accuracy: 0.662
train epoch[17/30] loss:0.018: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 17] train_loss: 0.015 val_accuracy: 0.652
train epoch[18/30] loss:0.004: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.58it/s]
[epoch 18] train_loss: 0.014 val_accuracy: 0.653
train epoch[19/30] loss:0.027: 100%|████████████| 27/27 [00:14<00:00, 1.84it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 19] train_loss: 0.014 val_accuracy: 0.650
train epoch[20/30] loss:0.014: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.56it/s]
[epoch 20] train_loss: 0.013 val_accuracy: 0.658
train epoch[21/30] loss:0.011: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 21] train_loss: 0.014 val_accuracy: 0.657
train epoch[22/30] loss:0.026: 100%|████████████| 27/27 [00:14<00:00, 1.83it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 22] train_loss: 0.013 val_accuracy: 0.655
train epoch[23/30] loss:0.003: 100%|████████████| 27/27 [00:14<00:00, 1.84it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 23] train_loss: 0.012 val_accuracy: 0.657
train epoch[24/30] loss:0.017: 100%|████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.57it/s]
[epoch 24] train_loss: 0.012 val_accuracy: 0.653
train epoch[25/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 25] train_loss: 0.012 val_accuracy: 0.658
train epoch[26/30] loss:0.009: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.49it/s]
[epoch 26] train_loss: 0.012 val_accuracy: 0.638
train epoch[27/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 27] train_loss: 0.011 val_accuracy: 0.655
train epoch[28/30] loss:0.028: 100%|████████████| 27/27 [00:15<00:00, 1.75it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 28] train_loss: 0.012 val_accuracy: 0.657
train epoch[29/30] loss:0.014: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 29] train_loss: 0.011 val_accuracy: 0.658
train epoch[30/30] loss:0.025: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.54it/s]
[epoch 30] train_loss: 0.011 val_accuracy: 0.658
Finished Training
Best Accuracy: 0.663
In [46]:
Copied!
!python utils/train_fine_tuning.py --ttype roberta --D 256 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --ttype roberta --D 256 --fused 1 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=1, testsize=0.15)
using cuda device.
train epoch[1/30] loss:0.773: 100%|█████████████| 27/27 [00:15<00:00, 1.73it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 1] train_loss: 0.921 val_accuracy: 0.678
train epoch[2/30] loss:0.631: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 2] train_loss: 0.723 val_accuracy: 0.660
train epoch[3/30] loss:0.647: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 3] train_loss: 0.575 val_accuracy: 0.703
train epoch[4/30] loss:0.325: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 4] train_loss: 0.439 val_accuracy: 0.680
train epoch[5/30] loss:0.220: 100%|█████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 5] train_loss: 0.316 val_accuracy: 0.702
train epoch[6/30] loss:0.194: 100%|█████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 6] train_loss: 0.239 val_accuracy: 0.702
train epoch[7/30] loss:0.381: 100%|█████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 7] train_loss: 0.206 val_accuracy: 0.705
train epoch[8/30] loss:0.182: 100%|█████████████| 27/27 [00:14<00:00, 1.81it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 8] train_loss: 0.176 val_accuracy: 0.727
train epoch[9/30] loss:0.100: 100%|█████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.51it/s]
[epoch 9] train_loss: 0.151 val_accuracy: 0.725
train epoch[10/30] loss:0.319: 100%|████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 10] train_loss: 0.154 val_accuracy: 0.683
train epoch[11/30] loss:0.122: 100%|████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 11] train_loss: 0.125 val_accuracy: 0.715
train epoch[12/30] loss:0.214: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.52it/s]
[epoch 12] train_loss: 0.105 val_accuracy: 0.720
train epoch[13/30] loss:0.171: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 13] train_loss: 0.115 val_accuracy: 0.700
train epoch[14/30] loss:0.063: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 14] train_loss: 0.090 val_accuracy: 0.712
train epoch[15/30] loss:0.086: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 15] train_loss: 0.083 val_accuracy: 0.725
train epoch[16/30] loss:0.069: 100%|████████████| 27/27 [00:14<00:00, 1.82it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.52it/s]
[epoch 16] train_loss: 0.087 val_accuracy: 0.712
train epoch[17/30] loss:0.031: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 17] train_loss: 0.086 val_accuracy: 0.705
train epoch[18/30] loss:0.145: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 18] train_loss: 0.104 val_accuracy: 0.683
train epoch[19/30] loss:0.112: 100%|████████████| 27/27 [00:14<00:00, 1.81it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.53it/s]
[epoch 19] train_loss: 0.094 val_accuracy: 0.678
train epoch[20/30] loss:0.082: 100%|████████████| 27/27 [00:14<00:00, 1.87it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.54it/s]
[epoch 20] train_loss: 0.098 val_accuracy: 0.698
train epoch[21/30] loss:0.064: 100%|████████████| 27/27 [00:14<00:00, 1.87it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.54it/s]
[epoch 21] train_loss: 0.089 val_accuracy: 0.703
train epoch[22/30] loss:0.063: 100%|████████████| 27/27 [00:14<00:00, 1.86it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 22] train_loss: 0.082 val_accuracy: 0.703
train epoch[23/30] loss:0.094: 100%|████████████| 27/27 [00:14<00:00, 1.85it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 23] train_loss: 0.087 val_accuracy: 0.698
train epoch[24/30] loss:0.130: 100%|████████████| 27/27 [00:14<00:00, 1.81it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.45it/s]
[epoch 24] train_loss: 0.090 val_accuracy: 0.725
train epoch[25/30] loss:0.088: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 25] train_loss: 0.076 val_accuracy: 0.697
train epoch[26/30] loss:0.074: 100%|████████████| 27/27 [00:14<00:00, 1.83it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 26] train_loss: 0.072 val_accuracy: 0.713
train epoch[27/30] loss:0.030: 100%|████████████| 27/27 [00:15<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 27] train_loss: 0.078 val_accuracy: 0.697
train epoch[28/30] loss:0.207: 100%|████████████| 27/27 [00:14<00:00, 1.80it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 28] train_loss: 0.090 val_accuracy: 0.695
train epoch[29/30] loss:0.120: 100%|████████████| 27/27 [00:15<00:00, 1.79it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.53it/s]
[epoch 29] train_loss: 0.077 val_accuracy: 0.710
train epoch[30/30] loss:0.068: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.53it/s]
[epoch 30] train_loss: 0.071 val_accuracy: 0.713
Finished Training
Best Accuracy: 0.727
我的小实验¶
In [49]:
Copied!
!python utils/preprocess1.py
!python utils/preprocess1.py
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 2800
processing: 200 / 2800
processing: 300 / 2800
processing: 400 / 2800
processing: 500 / 2800
processing: 600 / 2800
processing: 700 / 2800
processing: 800 / 2800
processing: 900 / 2800
processing: 1000 / 2800
processing: 1100 / 2800
processing: 1200 / 2800
processing: 1300 / 2800
processing: 1400 / 2800
processing: 1500 / 2800
processing: 1600 / 2800
processing: 1700 / 2800
processing: 1800 / 2800
processing: 1900 / 2800
processing: 2000 / 2800
processing: 2100 / 2800
processing: 2200 / 2800
processing: 2300 / 2800
processing: 2400 / 2800
processing: 2500 / 2800
processing: 2600 / 2800
processing: 2700 / 2800
processing: 2800 / 2800
processing: 100 / 2800
processing: 200 / 2800
processing: 300 / 2800
processing: 400 / 2800
processing: 500 / 2800
processing: 600 / 2800
processing: 700 / 2800
processing: 800 / 2800
processing: 900 / 2800
processing: 1000 / 2800
processing: 1100 / 2800
processing: 1200 / 2800
processing: 1300 / 2800
processing: 1400 / 2800
processing: 1500 / 2800
processing: 1600 / 2800
processing: 1700 / 2800
processing: 1800 / 2800
processing: 1900 / 2800
processing: 2000 / 2800
processing: 2100 / 2800
processing: 2200 / 2800
processing: 2300 / 2800
processing: 2400 / 2800
processing: 2500 / 2800
processing: 2600 / 2800
processing: 2700 / 2800
processing: 2800 / 2800
processing: 100 / 2800
processing: 200 / 2800
processing: 300 / 2800
processing: 400 / 2800
processing: 500 / 2800
processing: 600 / 2800
processing: 700 / 2800
processing: 800 / 2800
processing: 900 / 2800
processing: 1000 / 2800
processing: 1100 / 2800
processing: 1200 / 2800
processing: 1300 / 2800
processing: 1400 / 2800
processing: 1500 / 2800
processing: 1600 / 2800
processing: 1700 / 2800
processing: 1800 / 2800
processing: 1900 / 2800
processing: 2000 / 2800
processing: 2100 / 2800
processing: 2200 / 2800
processing: 2300 / 2800
processing: 2400 / 2800
processing: 2500 / 2800
processing: 2600 / 2800
processing: 2700 / 2800
processing: 2800 / 2800
In [3]:
Copied!
!python utils/train_linear_probe1.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe1.py --vtype clip --ttype clip --D 128 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 2800 2800 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=128, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:1.032: 100%|█████████████| 19/19 [00:00<00:00, 27.13it/s] 100%|█████████████████████████████████████████████| 4/4 [00:00<00:00, 57.72it/s] [epoch 1] train_loss: 1.059 val_accuracy: 0.583 train epoch[2/30] loss:0.931: 100%|████████████| 19/19 [00:00<00:00, 114.59it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 270.87it/s] [epoch 2] train_loss: 0.963 val_accuracy: 0.648 train epoch[3/30] loss:0.825: 100%|████████████| 19/19 [00:00<00:00, 114.91it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 276.25it/s] [epoch 3] train_loss: 0.872 val_accuracy: 0.674 train epoch[4/30] loss:0.710: 100%|████████████| 19/19 [00:00<00:00, 115.33it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 277.90it/s] [epoch 4] train_loss: 0.751 val_accuracy: 0.700 train epoch[5/30] loss:0.584: 100%|████████████| 19/19 [00:00<00:00, 116.23it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 281.49it/s] [epoch 5] train_loss: 0.638 val_accuracy: 0.707 train epoch[6/30] loss:0.481: 100%|████████████| 19/19 [00:00<00:00, 116.46it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 280.88it/s] [epoch 6] train_loss: 0.555 val_accuracy: 0.714 train epoch[7/30] loss:0.436: 100%|████████████| 19/19 [00:00<00:00, 115.07it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 272.41it/s] [epoch 7] train_loss: 0.481 val_accuracy: 0.721 train epoch[8/30] loss:0.411: 100%|████████████| 19/19 [00:00<00:00, 116.59it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 281.77it/s] [epoch 8] train_loss: 0.416 val_accuracy: 0.719 train epoch[9/30] loss:0.461: 100%|████████████| 19/19 [00:00<00:00, 109.81it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 282.38it/s] [epoch 9] train_loss: 0.350 val_accuracy: 0.714 train epoch[10/30] loss:0.248: 100%|███████████| 19/19 [00:00<00:00, 109.20it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 276.95it/s] [epoch 10] train_loss: 0.282 val_accuracy: 0.707 train epoch[11/30] loss:0.210: 100%|███████████| 19/19 [00:00<00:00, 107.39it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 253.61it/s] [epoch 11] train_loss: 0.221 val_accuracy: 0.698 train epoch[12/30] loss:0.172: 100%|███████████| 19/19 [00:00<00:00, 100.76it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 253.37it/s] [epoch 12] train_loss: 0.164 val_accuracy: 0.702 train epoch[13/30] loss:0.114: 100%|███████████| 19/19 [00:00<00:00, 102.78it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 277.05it/s] [epoch 13] train_loss: 0.119 val_accuracy: 0.700 train epoch[14/30] loss:0.115: 100%|███████████| 19/19 [00:00<00:00, 108.47it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.10it/s] [epoch 14] train_loss: 0.082 val_accuracy: 0.700 train epoch[15/30] loss:0.082: 100%|███████████| 19/19 [00:00<00:00, 108.77it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 273.32it/s] [epoch 15] train_loss: 0.061 val_accuracy: 0.702 train epoch[16/30] loss:0.052: 100%|███████████| 19/19 [00:00<00:00, 108.21it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 279.60it/s] [epoch 16] train_loss: 0.044 val_accuracy: 0.698 train epoch[17/30] loss:0.022: 100%|███████████| 19/19 [00:00<00:00, 107.98it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 279.42it/s] [epoch 17] train_loss: 0.034 val_accuracy: 0.695 train epoch[18/30] loss:0.026: 100%|███████████| 19/19 [00:00<00:00, 108.40it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 277.63it/s] [epoch 18] train_loss: 0.029 val_accuracy: 0.695 train epoch[19/30] loss:0.144: 100%|███████████| 19/19 [00:00<00:00, 108.11it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 278.93it/s] [epoch 19] train_loss: 0.032 val_accuracy: 0.705 train epoch[20/30] loss:0.033: 100%|███████████| 19/19 [00:00<00:00, 109.50it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 281.01it/s] [epoch 20] train_loss: 0.030 val_accuracy: 0.693 train epoch[21/30] loss:0.006: 100%|███████████| 19/19 [00:00<00:00, 109.80it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 279.94it/s] [epoch 21] train_loss: 0.022 val_accuracy: 0.698 train epoch[22/30] loss:0.009: 100%|███████████| 19/19 [00:00<00:00, 114.82it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 280.70it/s] [epoch 22] train_loss: 0.023 val_accuracy: 0.698 train epoch[23/30] loss:0.035: 100%|███████████| 19/19 [00:00<00:00, 117.15it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 282.21it/s] [epoch 23] train_loss: 0.020 val_accuracy: 0.690 train epoch[24/30] loss:0.005: 100%|███████████| 19/19 [00:00<00:00, 115.45it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 281.54it/s] [epoch 24] train_loss: 0.019 val_accuracy: 0.700 train epoch[25/30] loss:0.004: 100%|███████████| 19/19 [00:00<00:00, 116.96it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 281.90it/s] [epoch 25] train_loss: 0.017 val_accuracy: 0.690 train epoch[26/30] loss:0.003: 100%|███████████| 19/19 [00:00<00:00, 115.51it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 282.28it/s] [epoch 26] train_loss: 0.020 val_accuracy: 0.698 train epoch[27/30] loss:0.023: 100%|████████████| 19/19 [00:00<00:00, 98.39it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 253.85it/s] [epoch 27] train_loss: 0.021 val_accuracy: 0.688 train epoch[28/30] loss:0.055: 100%|███████████| 19/19 [00:00<00:00, 106.30it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 276.47it/s] [epoch 28] train_loss: 0.021 val_accuracy: 0.690 train epoch[29/30] loss:0.003: 100%|███████████| 19/19 [00:00<00:00, 112.03it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 268.51it/s] [epoch 29] train_loss: 0.016 val_accuracy: 0.688 train epoch[30/30] loss:0.045: 100%|███████████| 19/19 [00:00<00:00, 110.62it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 280.25it/s] [epoch 30] train_loss: 0.018 val_accuracy: 0.695 Finished Training Best Accuracy: 0.721
In [5]:
Copied!
!python utils/train_linear_probe1.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe1.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 2800 2800 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.928: 100%|█████████████| 19/19 [00:00<00:00, 40.29it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 118.30it/s] [epoch 1] train_loss: 0.997 val_accuracy: 0.562 train epoch[2/30] loss:0.834: 100%|████████████| 19/19 [00:00<00:00, 122.21it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 260.78it/s] [epoch 2] train_loss: 0.863 val_accuracy: 0.667 train epoch[3/30] loss:0.766: 100%|████████████| 19/19 [00:00<00:00, 119.24it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.29it/s] [epoch 3] train_loss: 0.710 val_accuracy: 0.683 train epoch[4/30] loss:0.539: 100%|████████████| 19/19 [00:00<00:00, 117.37it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 257.75it/s] [epoch 4] train_loss: 0.595 val_accuracy: 0.710 train epoch[5/30] loss:0.494: 100%|████████████| 19/19 [00:00<00:00, 118.42it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 263.28it/s] [epoch 5] train_loss: 0.500 val_accuracy: 0.719 train epoch[6/30] loss:0.349: 100%|████████████| 19/19 [00:00<00:00, 118.04it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 266.93it/s] [epoch 6] train_loss: 0.401 val_accuracy: 0.712 train epoch[7/30] loss:0.225: 100%|████████████| 19/19 [00:00<00:00, 118.15it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 263.91it/s] [epoch 7] train_loss: 0.305 val_accuracy: 0.710 train epoch[8/30] loss:0.275: 100%|████████████| 19/19 [00:00<00:00, 117.95it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.95it/s] [epoch 8] train_loss: 0.216 val_accuracy: 0.710 train epoch[9/30] loss:0.106: 100%|████████████| 19/19 [00:00<00:00, 116.77it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.63it/s] [epoch 9] train_loss: 0.141 val_accuracy: 0.707 train epoch[10/30] loss:0.212: 100%|███████████| 19/19 [00:00<00:00, 116.46it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.30it/s] [epoch 10] train_loss: 0.090 val_accuracy: 0.695 train epoch[11/30] loss:0.115: 100%|███████████| 19/19 [00:00<00:00, 115.27it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 263.68it/s] [epoch 11] train_loss: 0.057 val_accuracy: 0.700 train epoch[12/30] loss:0.122: 100%|███████████| 19/19 [00:00<00:00, 114.79it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.36it/s] [epoch 12] train_loss: 0.036 val_accuracy: 0.712 train epoch[13/30] loss:0.049: 100%|███████████| 19/19 [00:00<00:00, 114.78it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.56it/s] [epoch 13] train_loss: 0.032 val_accuracy: 0.707 train epoch[14/30] loss:0.054: 100%|███████████| 19/19 [00:00<00:00, 114.65it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.27it/s] [epoch 14] train_loss: 0.030 val_accuracy: 0.710 train epoch[15/30] loss:0.006: 100%|███████████| 19/19 [00:00<00:00, 114.22it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 258.60it/s] [epoch 15] train_loss: 0.031 val_accuracy: 0.700 train epoch[16/30] loss:0.007: 100%|███████████| 19/19 [00:00<00:00, 113.24it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 260.94it/s] [epoch 16] train_loss: 0.027 val_accuracy: 0.695 train epoch[17/30] loss:0.018: 100%|███████████| 19/19 [00:00<00:00, 114.26it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 266.24it/s] [epoch 17] train_loss: 0.028 val_accuracy: 0.700 train epoch[18/30] loss:0.009: 100%|███████████| 19/19 [00:00<00:00, 112.64it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 256.67it/s] [epoch 18] train_loss: 0.025 val_accuracy: 0.698 train epoch[19/30] loss:0.005: 100%|███████████| 19/19 [00:00<00:00, 113.62it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.11it/s] [epoch 19] train_loss: 0.025 val_accuracy: 0.698 train epoch[20/30] loss:0.038: 100%|███████████| 19/19 [00:00<00:00, 113.51it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 258.47it/s] [epoch 20] train_loss: 0.025 val_accuracy: 0.695 train epoch[21/30] loss:0.055: 100%|███████████| 19/19 [00:00<00:00, 112.99it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 262.13it/s] [epoch 21] train_loss: 0.025 val_accuracy: 0.700 train epoch[22/30] loss:0.051: 100%|███████████| 19/19 [00:00<00:00, 115.02it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.21it/s] [epoch 22] train_loss: 0.020 val_accuracy: 0.700 train epoch[23/30] loss:0.003: 100%|███████████| 19/19 [00:00<00:00, 113.91it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 266.34it/s] [epoch 23] train_loss: 0.025 val_accuracy: 0.698 train epoch[24/30] loss:0.003: 100%|███████████| 19/19 [00:00<00:00, 114.31it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 262.53it/s] [epoch 24] train_loss: 0.022 val_accuracy: 0.702 train epoch[25/30] loss:0.036: 100%|███████████| 19/19 [00:00<00:00, 113.61it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.47it/s] [epoch 25] train_loss: 0.019 val_accuracy: 0.698 train epoch[26/30] loss:0.023: 100%|███████████| 19/19 [00:00<00:00, 112.23it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 260.33it/s] [epoch 26] train_loss: 0.019 val_accuracy: 0.702 train epoch[27/30] loss:0.004: 100%|███████████| 19/19 [00:00<00:00, 113.98it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 258.24it/s] [epoch 27] train_loss: 0.020 val_accuracy: 0.693 train epoch[28/30] loss:0.004: 100%|███████████| 19/19 [00:00<00:00, 114.89it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 264.53it/s] [epoch 28] train_loss: 0.019 val_accuracy: 0.705 train epoch[29/30] loss:0.001: 100%|███████████| 19/19 [00:00<00:00, 114.25it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 265.09it/s] [epoch 29] train_loss: 0.018 val_accuracy: 0.693 train epoch[30/30] loss:0.002: 100%|███████████| 19/19 [00:00<00:00, 113.58it/s] 100%|████████████████████████████████████████████| 4/4 [00:00<00:00, 260.44it/s] [epoch 30] train_loss: 0.020 val_accuracy: 0.698 Finished Training Best Accuracy: 0.719
在训练数据上跑一下模型，看看到底出错在什么地方¶
In [6]:
Copied!
!python utils/preprocess.py
!python utils/preprocess.py
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:208: UserWarning: The parameter 'pretrained' is deprecated since 0.13 and may be removed in the future, please use 'weights' instead.
warnings.warn(
/home/ubuntu/anaconda3/lib/python3.11/site-packages/torchvision/models/_utils.py:223: UserWarning: Arguments other than a weight enum or `None` for 'weights' are deprecated since 0.13 and may be removed in the future. The current behavior is equivalent to passing `weights=ResNet50_Weights.IMAGENET1K_V1`. You can also use `weights=ResNet50_Weights.DEFAULT` to get the most up-to-date weights.
warnings.warn(msg)
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
processing: 100 / 4000
processing: 200 / 4000
processing: 300 / 4000
processing: 400 / 4000
processing: 500 / 4000
processing: 600 / 4000
processing: 700 / 4000
processing: 800 / 4000
processing: 900 / 4000
processing: 1000 / 4000
processing: 1100 / 4000
processing: 1200 / 4000
processing: 1300 / 4000
processing: 1400 / 4000
processing: 1500 / 4000
processing: 1600 / 4000
processing: 1700 / 4000
processing: 1800 / 4000
processing: 1900 / 4000
processing: 2000 / 4000
processing: 2100 / 4000
processing: 2200 / 4000
processing: 2300 / 4000
processing: 2400 / 4000
processing: 2500 / 4000
processing: 2600 / 4000
processing: 2700 / 4000
processing: 2800 / 4000
processing: 2900 / 4000
processing: 3000 / 4000
processing: 3100 / 4000
processing: 3200 / 4000
processing: 3300 / 4000
processing: 3400 / 4000
processing: 3500 / 4000
processing: 3600 / 4000
processing: 3700 / 4000
processing: 3800 / 4000
processing: 3900 / 4000
processing: 4000 / 4000
processing: 100 / 511
processing: 200 / 511
processing: 300 / 511
processing: 400 / 511
processing: 500 / 511
processing: 511 / 511
In [7]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15) using cuda:0 device. train epoch[1/30] loss:0.772: 100%|█████████████| 27/27 [00:00<00:00, 58.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 148.22it/s] [epoch 1] train_loss: 0.901 val_accuracy: 0.618 train epoch[2/30] loss:0.615: 100%|████████████| 27/27 [00:00<00:00, 124.72it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.54it/s] [epoch 2] train_loss: 0.709 val_accuracy: 0.722 train epoch[3/30] loss:0.590: 100%|████████████| 27/27 [00:00<00:00, 125.50it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 231.69it/s] [epoch 3] train_loss: 0.574 val_accuracy: 0.760 train epoch[4/30] loss:0.415: 100%|████████████| 27/27 [00:00<00:00, 123.60it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.06it/s] [epoch 4] train_loss: 0.472 val_accuracy: 0.770 train epoch[5/30] loss:0.408: 100%|████████████| 27/27 [00:00<00:00, 125.02it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 225.66it/s] [epoch 5] train_loss: 0.390 val_accuracy: 0.760 train epoch[6/30] loss:0.222: 100%|████████████| 27/27 [00:00<00:00, 124.74it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 248.66it/s] [epoch 6] train_loss: 0.307 val_accuracy: 0.770 train epoch[7/30] loss:0.203: 100%|████████████| 27/27 [00:00<00:00, 124.67it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 240.78it/s] [epoch 7] train_loss: 0.217 val_accuracy: 0.753 train epoch[8/30] loss:0.189: 100%|████████████| 27/27 [00:00<00:00, 125.01it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.98it/s] [epoch 8] train_loss: 0.145 val_accuracy: 0.757 train epoch[9/30] loss:0.125: 100%|████████████| 27/27 [00:00<00:00, 125.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.76it/s] [epoch 9] train_loss: 0.086 val_accuracy: 0.767 train epoch[10/30] loss:0.251: 100%|███████████| 27/27 [00:00<00:00, 125.95it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.19it/s] [epoch 10] train_loss: 0.063 val_accuracy: 0.755 train epoch[11/30] loss:0.050: 100%|███████████| 27/27 [00:00<00:00, 125.84it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 245.54it/s] [epoch 11] train_loss: 0.045 val_accuracy: 0.758 train epoch[12/30] loss:0.033: 100%|███████████| 27/27 [00:00<00:00, 126.00it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.39it/s] [epoch 12] train_loss: 0.041 val_accuracy: 0.745 train epoch[13/30] loss:0.020: 100%|███████████| 27/27 [00:00<00:00, 125.89it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 240.89it/s] [epoch 13] train_loss: 0.035 val_accuracy: 0.740 train epoch[14/30] loss:0.017: 100%|███████████| 27/27 [00:00<00:00, 124.15it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 244.48it/s] [epoch 14] train_loss: 0.029 val_accuracy: 0.767 train epoch[15/30] loss:0.010: 100%|███████████| 27/27 [00:00<00:00, 123.99it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.57it/s] [epoch 15] train_loss: 0.025 val_accuracy: 0.762 train epoch[16/30] loss:0.007: 100%|███████████| 27/27 [00:00<00:00, 124.63it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.82it/s] [epoch 16] train_loss: 0.024 val_accuracy: 0.750 train epoch[17/30] loss:0.029: 100%|███████████| 27/27 [00:00<00:00, 124.88it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.10it/s] [epoch 17] train_loss: 0.029 val_accuracy: 0.767 train epoch[18/30] loss:0.003: 100%|███████████| 27/27 [00:00<00:00, 125.25it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.45it/s] [epoch 18] train_loss: 0.030 val_accuracy: 0.755 train epoch[19/30] loss:0.039: 100%|███████████| 27/27 [00:00<00:00, 124.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.60it/s] [epoch 19] train_loss: 0.027 val_accuracy: 0.762 train epoch[20/30] loss:0.003: 100%|███████████| 27/27 [00:00<00:00, 125.19it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.40it/s] [epoch 20] train_loss: 0.023 val_accuracy: 0.767 train epoch[21/30] loss:0.022: 100%|███████████| 27/27 [00:00<00:00, 125.68it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.44it/s] [epoch 21] train_loss: 0.023 val_accuracy: 0.762 train epoch[22/30] loss:0.006: 100%|███████████| 27/27 [00:00<00:00, 125.53it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.61it/s] [epoch 22] train_loss: 0.023 val_accuracy: 0.767 train epoch[23/30] loss:0.052: 100%|███████████| 27/27 [00:00<00:00, 124.55it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.77it/s] [epoch 23] train_loss: 0.023 val_accuracy: 0.765 train epoch[24/30] loss:0.010: 100%|███████████| 27/27 [00:00<00:00, 125.22it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.02it/s] [epoch 24] train_loss: 0.019 val_accuracy: 0.750 train epoch[25/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 125.57it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.83it/s] [epoch 25] train_loss: 0.023 val_accuracy: 0.767 train epoch[26/30] loss:0.002: 100%|███████████| 27/27 [00:00<00:00, 123.83it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 250.02it/s] [epoch 26] train_loss: 0.019 val_accuracy: 0.758 train epoch[27/30] loss:0.001: 100%|███████████| 27/27 [00:00<00:00, 126.11it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.20it/s] [epoch 27] train_loss: 0.021 val_accuracy: 0.768 train epoch[28/30] loss:0.030: 100%|███████████| 27/27 [00:00<00:00, 125.75it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 249.87it/s] [epoch 28] train_loss: 0.022 val_accuracy: 0.742 train epoch[29/30] loss:0.122: 100%|███████████| 27/27 [00:00<00:00, 123.73it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 251.02it/s] [epoch 29] train_loss: 0.030 val_accuracy: 0.755 train epoch[30/30] loss:0.112: 100%|███████████| 27/27 [00:00<00:00, 124.66it/s] 100%|████████████████████████████████████████████| 5/5 [00:00<00:00, 240.12it/s] [epoch 30] train_loss: 0.025 val_accuracy: 0.757 Finished Training Best Accuracy: 0.770
In [9]:
Copied!
!python utils/check.py
!python utils/check.py
cuda:0 4000 4000 Namespace(vtype='clip', ttype='clip', batchsize=1024, model_loc='saved/saved_models/clip.pth') using cuda:0 device. 100%|█████████████████████████████████████████████| 4/4 [00:00<00:00, 16.40it/s] 40 47 25 24 18 10 0.959
模型预测¶
In [ ]:
Copied!
!python utils/preprocess.py
!python utils/preprocess.py
In [ ]:
Copied!
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_linear_probe.py --vtype clip --ttype clip --D 256 --lr 1e-4 --batchsize 128 --epochs 30
In [10]:
Copied!
!python utils/predict_linear_probe.py
!python utils/predict_linear_probe.py
cuda:0 511 511 Namespace(vtype='clip', ttype='clip', batchsize=1024, model_loc='saved/saved_models/clip.pth') using cuda:0 device. 100%|█████████████████████████████████████████████| 1/1 [00:00<00:00, 5.85it/s]
In [11]:
Copied!
!python utils/train_fine_tuning.py --D 256 --lr 1e-4 --batchsize 128 --epochs 30
!python utils/train_fine_tuning.py --D 256 --lr 1e-4 --batchsize 128 --epochs 30
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=128, lr=0.0001, epochs=30, D=256, fused=0, testsize=0.15)
using cuda device.
train epoch[1/30] loss:0.842: 100%|█████████████| 27/27 [00:16<00:00, 1.63it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 1] train_loss: 0.937 val_accuracy: 0.662
train epoch[2/30] loss:0.358: 100%|█████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.44it/s]
[epoch 2] train_loss: 0.475 val_accuracy: 0.680
train epoch[3/30] loss:0.126: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 3] train_loss: 0.183 val_accuracy: 0.653
train epoch[4/30] loss:0.073: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.41it/s]
[epoch 4] train_loss: 0.087 val_accuracy: 0.643
train epoch[5/30] loss:0.059: 100%|█████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 5] train_loss: 0.050 val_accuracy: 0.667
train epoch[6/30] loss:0.089: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 6] train_loss: 0.034 val_accuracy: 0.665
train epoch[7/30] loss:0.073: 100%|█████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 7] train_loss: 0.028 val_accuracy: 0.670
train epoch[8/30] loss:0.016: 100%|█████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.47it/s]
[epoch 8] train_loss: 0.024 val_accuracy: 0.675
train epoch[9/30] loss:0.053: 100%|█████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 9] train_loss: 0.022 val_accuracy: 0.658
train epoch[10/30] loss:0.007: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.50it/s]
[epoch 10] train_loss: 0.021 val_accuracy: 0.677
train epoch[11/30] loss:0.024: 100%|████████████| 27/27 [00:15<00:00, 1.71it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.46it/s]
[epoch 11] train_loss: 0.020 val_accuracy: 0.670
train epoch[12/30] loss:0.027: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.29it/s]
[epoch 12] train_loss: 0.019 val_accuracy: 0.662
train epoch[13/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.36it/s]
[epoch 13] train_loss: 0.017 val_accuracy: 0.672
train epoch[14/30] loss:0.007: 100%|████████████| 27/27 [00:16<00:00, 1.68it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 14] train_loss: 0.016 val_accuracy: 0.675
train epoch[15/30] loss:0.018: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:04<00:00, 1.23it/s]
[epoch 15] train_loss: 0.017 val_accuracy: 0.668
train epoch[16/30] loss:0.050: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.26it/s]
[epoch 16] train_loss: 0.016 val_accuracy: 0.677
train epoch[17/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.35it/s]
[epoch 17] train_loss: 0.016 val_accuracy: 0.660
train epoch[18/30] loss:0.044: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.37it/s]
[epoch 18] train_loss: 0.016 val_accuracy: 0.683
train epoch[19/30] loss:0.016: 100%|████████████| 27/27 [00:15<00:00, 1.77it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.35it/s]
[epoch 19] train_loss: 0.014 val_accuracy: 0.670
train epoch[20/30] loss:0.004: 100%|████████████| 27/27 [00:16<00:00, 1.67it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 20] train_loss: 0.013 val_accuracy: 0.678
train epoch[21/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.38it/s]
[epoch 21] train_loss: 0.014 val_accuracy: 0.673
train epoch[22/30] loss:0.006: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.26it/s]
[epoch 22] train_loss: 0.013 val_accuracy: 0.670
train epoch[23/30] loss:0.048: 100%|████████████| 27/27 [00:16<00:00, 1.68it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.30it/s]
[epoch 23] train_loss: 0.013 val_accuracy: 0.672
train epoch[24/30] loss:0.034: 100%|████████████| 27/27 [00:15<00:00, 1.69it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 24] train_loss: 0.013 val_accuracy: 0.680
train epoch[25/30] loss:0.028: 100%|████████████| 27/27 [00:15<00:00, 1.70it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 25] train_loss: 0.013 val_accuracy: 0.678
train epoch[26/30] loss:0.019: 100%|████████████| 27/27 [00:15<00:00, 1.74it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 26] train_loss: 0.012 val_accuracy: 0.685
train epoch[27/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.48it/s]
[epoch 27] train_loss: 0.011 val_accuracy: 0.673
train epoch[28/30] loss:0.004: 100%|████████████| 27/27 [00:15<00:00, 1.76it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 28] train_loss: 0.011 val_accuracy: 0.687
train epoch[29/30] loss:0.003: 100%|████████████| 27/27 [00:15<00:00, 1.72it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.43it/s]
[epoch 29] train_loss: 0.011 val_accuracy: 0.675
train epoch[30/30] loss:0.011: 100%|████████████| 27/27 [00:15<00:00, 1.78it/s]
100%|█████████████████████████████████████████████| 5/5 [00:03<00:00, 1.42it/s]
[epoch 30] train_loss: 0.010 val_accuracy: 0.682
Finished Training
Best Accuracy: 0.687
In [12]:
Copied!
!python utils/predict_fine_tuning.py
!python utils/predict_fine_tuning.py
cuda:0
cuda
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/tokenizer.py:225: FutureWarning: Possible nested set at position 2190
self.tok = re.compile(r"({})".format("|".join(pipeline)))
Reading twitter - 1grams ...
Reading twitter - 2grams ...
/home/ubuntu/anaconda3/lib/python3.11/site-packages/ekphrasis/classes/exmanager.py:14: FutureWarning: Possible nested set at position 42
regexes = {k.lower(): re.compile(self.expressions[k]) for k, v in
Reading twitter - 1grams ...
Namespace(vtype='resnet', ttype='roberta', batchsize=64, D=256, model_loc='saved/saved_models/resnet.pth')
using cuda device.
100%|█████████████████████████████████████████████| 8/8 [00:03<00:00, 2.44it/s]
其他¶
In [14]:
Copied!
!sudo apt-get install tree
!sudo apt-get install tree
Reading package lists... Done Building dependency tree... Done Reading state information... Done The following NEW packages will be installed: tree 0 upgraded, 1 newly installed, 0 to remove and 203 not upgraded. Need to get 47.9 kB of archives. After this operation, 116 kB of additional disk space will be used. Get:1 http://mirrors.ucloud.cn/ubuntu jammy/universe amd64 tree amd64 2.0.2-1 [47.9 kB] Fetched 47.9 kB in 0s (596 kB/s) Selecting previously unselected package tree. (Reading database ... 78147 files and directories currently installed.) Preparing to unpack .../tree_2.0.2-1_amd64.deb ... Unpacking tree (2.0.2-1) ... Setting up tree (2.0.2-1) ... Processing triggers for man-db (2.10.2-1) ... Scanning processes... Scanning linux images... Running kernel seems to be up-to-date. No services need to be restarted. No containers need to be restarted. No user sessions are running outdated binaries. No VM guests are running outdated hypervisor (qemu) binaries on this host.
In [2]:
Copied!
!tree
!tree
. ├── data │ ├── pairs │ │ ├── 1000.jpg │ │ ├── 1000.txt │ │ ├── 1001.jpg │ │ ├── 1001.txt │ │ ├── 1002.jpg │ │ ├── 1002.txt │ │ ├── 1003.jpg │ │ ├── 1003.txt │ │ ├── 1004.jpg │ │ ├── 1004.txt │ │ ├── 1005.jpg │ │ ├── 1005.txt │ │ ├── 1006.jpg │ │ ├── 1006.txt │ │ ├── 1007.jpg │ │ ├── 1007.txt │ │ ├── 1008.jpg │ │ ├── 1008.txt │ │ ├── 1009.jpg │ │ ├── 1009.txt │ │ ├── 100.jpg │ │ ├── 100.txt │ │ ├── 1010.jpg │ │ ├── 1010.txt │ │ ├── 1011.jpg │ │ ├── 1011.txt │ │ ├── 1012.jpg │ │ ├── 1012.txt │ │ ├── 1013.jpg │ │ ├── 1013.txt │ │ ├── 1014.jpg │ │ ├── 1014.txt │ │ ├── 1015.jpg │ │ ├── 1015.txt │ │ ├── 1016.jpg │ │ ├── 1016.txt │ │ ├── 1017.jpg │ │ ├── 1017.txt │ │ ├── 1018.jpg │ │ ├── 1018.txt │ │ ├── 1019.jpg │ │ ├── 1019.txt │ │ ├── 101.jpg │ │ ├── 101.txt │ │ ├── 1020.jpg │ │ ├── 1020.txt │ │ ├── 1021.jpg │ │ ├── 1021.txt │ │ ├── 1022.jpg │ │ ├── 1022.txt │ │ ├── 1023.jpg │ │ ├── 1023.txt │ │ ├── 1024.jpg │ │ ├── 1024.txt │ │ ├── 1025.jpg │ │ ├── 1025.txt │ │ ├── 1026.jpg │ │ ├── 1026.txt │ │ ├── 1027.jpg │ │ ├── 1027.txt │ │ ├── 1028.jpg │ │ ├── 1028.txt │ │ ├── 1029.jpg │ │ ├── 1029.txt │ │ ├── 102.jpg │ │ ├── 102.txt │ │ ├── 1030.jpg │ │ ├── 1030.txt │ │ ├── 1031.jpg │ │ ├── 1031.txt │ │ ├── 1032.jpg │ │ ├── 1032.txt │ │ ├── 1033.jpg │ │ ├── 1033.txt │ │ ├── 1034.jpg │ │ ├── 1034.txt │ │ ├── 1035.jpg │ │ ├── 1035.txt │ │ ├── 1036.jpg │ │ ├── 1036.txt │ │ ├── 1037.jpg │ │ ├── 1037.txt │ │ ├── 1038.jpg │ │ ├── 1038.txt │ │ ├── 1039.jpg │ │ ├── 1039.txt │ │ ├── 103.jpg │ │ ├── 103.txt │ │ ├── 1040.jpg │ │ ├── 1040.txt │ │ ├── 1041.jpg │ │ ├── 1041.txt │ │ ├── 1042.jpg │ │ ├── 1042.txt │ │ ├── 1043.jpg │ │ ├── 1043.txt │ │ ├── 1044.jpg │ │ ├── 1044.txt │ │ ├── 1045.jpg │ │ ├── 1045.txt │ │ ├── 1046.jpg │ │ ├── 1046.txt │ │ ├── 1047.jpg │ │ ├── 1047.txt │ │ ├── 1048.jpg │ │ ├── 1048.txt │ │ ├── 1049.jpg │ │ ├── 1049.txt │ │ ├── 104.jpg │ │ ├── 104.txt │ │ ├── 1050.jpg │ │ ├── 1050.txt │ │ ├── 1051.jpg │ │ ├── 1051.txt │ │ ├── 1052.jpg │ │ ├── 1052.txt │ │ ├── 1053.jpg │ │ ├── 1053.txt │ │ ├── 1054.jpg │ │ ├── 1054.txt │ │ ├── 1055.jpg │ │ ├── 1055.txt │ │ ├── 1056.jpg │ │ ├── 1056.txt │ │ ├── 1057.jpg │ │ ├── 1057.txt │ │ ├── 1058.jpg │ │ ├── 1058.txt │ │ ├── 1059.jpg │ │ ├── 1059.txt │ │ ├── 105.jpg │ │ ├── 105.txt │ │ ├── 1060.jpg │ │ ├── 1060.txt │ │ ├── 1061.jpg │ │ ├── 1061.txt │ │ ├── 1062.jpg │ │ ├── 1062.txt │ │ ├── 1063.jpg │ │ ├── 1063.txt │ │ ├── 1064.jpg │ │ ├── 1064.txt │ │ ├── 1065.jpg │ │ ├── 1065.txt │ │ ├── 1066.jpg │ │ ├── 1066.txt │ │ ├── 1067.jpg │ │ ├── 1067.txt │ │ ├── 1068.jpg │ │ ├── 1068.txt │ │ ├── 1069.jpg │ │ ├── 1069.txt │ │ ├── 106.jpg │ │ ├── 106.txt │ │ ├── 1070.jpg │ │ ├── 1070.txt │ │ ├── 1071.jpg │ │ ├── 1071.txt │ │ ├── 1072.jpg │ │ ├── 1072.txt │ │ ├── 1073.jpg │ │ ├── 1073.txt │ │ ├── 1074.jpg │ │ ├── 1074.txt │ │ ├── 1075.jpg │ │ ├── 1075.txt │ │ ├── 1076.jpg │ │ ├── 1076.txt │ │ ├── 1077.jpg │ │ ├── 1077.txt │ │ ├── 1078.jpg │ │ ├── 1078.txt │ │ ├── 1079.jpg │ │ ├── 1079.txt │ │ ├── 107.jpg │ │ ├── 107.txt │ │ ├── 1080.jpg │ │ ├── 1080.txt │ │ ├── 1081.jpg │ │ ├── 1081.txt │ │ ├── 1082.jpg │ │ ├── 1082.txt │ │ ├── 1083.jpg │ │ ├── 1083.txt │ │ ├── 1084.jpg │ │ ├── 1084.txt │ │ ├── 1085.jpg │ │ ├── 1085.txt │ │ ├── 1086.jpg │ │ ├── 1086.txt │ │ ├── 1087.jpg │ │ ├── 1087.txt │ │ ├── 1088.jpg │ │ ├── 1088.txt │ │ ├── 1089.jpg │ │ ├── 1089.txt │ │ ├── 108.jpg │ │ ├── 108.txt │ │ ├── 1090.jpg │ │ ├── 1090.txt │ │ ├── 1091.jpg │ │ ├── 1091.txt │ │ ├── 1092.jpg │ │ ├── 1092.txt │ │ ├── 1093.jpg │ │ ├── 1093.txt │ │ ├── 1094.jpg │ │ ├── 1094.txt │ │ ├── 1095.jpg │ │ ├── 1095.txt │ │ ├── 1096.jpg │ │ ├── 1096.txt │ │ ├── 1097.jpg │ │ ├── 1097.txt │ │ ├── 1098.jpg │ │ ├── 1098.txt │ │ ├── 1099.jpg │ │ ├── 1099.txt │ │ ├── 109.jpg │ │ ├── 109.txt │ │ ├── 10.jpg │ │ ├── 10.txt │ │ ├── 1100.jpg │ │ ├── 1100.txt │ │ ├── 1101.jpg │ │ ├── 1101.txt │ │ ├── 1102.jpg │ │ ├── 1102.txt │ │ ├── 1103.jpg │ │ ├── 1103.txt │ │ ├── 1104.jpg │ │ ├── 1104.txt │ │ ├── 1105.jpg │ │ ├── 1105.txt │ │ ├── 1106.jpg │ │ ├── 1106.txt │ │ ├── 1107.jpg │ │ ├── 1107.txt │ │ ├── 1108.jpg │ │ ├── 1108.txt │ │ ├── 1109.jpg │ │ ├── 1109.txt │ │ ├── 110.jpg │ │ ├── 110.txt │ │ ├── 1110.jpg │ │ ├── 1110.txt │ │ ├── 1111.jpg │ │ ├── 1111.txt │ │ ├── 1112.jpg │ │ ├── 1112.txt │ │ ├── 1113.jpg │ │ ├── 1113.txt │ │ ├── 1114.jpg │ │ ├── 1114.txt │ │ ├── 1115.jpg │ │ ├── 1115.txt │ │ ├── 1116.jpg │ │ ├── 1116.txt │ │ ├── 1117.jpg │ │ ├── 1117.txt │ │ ├── 1118.jpg │ │ ├── 1118.txt │ │ ├── 1119.jpg │ │ ├── 1119.txt │ │ ├── 111.jpg │ │ ├── 111.txt │ │ ├── 1120.jpg │ │ ├── 1120.txt │ │ ├── 1121.jpg │ │ ├── 1121.txt │ │ ├── 1122.jpg │ │ ├── 1122.txt │ │ ├── 1123.jpg │ │ ├── 1123.txt │ │ ├── 1124.jpg │ │ ├── 1124.txt │ │ ├── 1125.jpg │ │ ├── 1125.txt │ │ ├── 1126.jpg │ │ ├── 1126.txt │ │ ├── 1127.jpg │ │ ├── 1127.txt │ │ ├── 1128.jpg │ │ ├── 1128.txt │ │ ├── 1129.jpg │ │ ├── 1129.txt │ │ ├── 112.jpg │ │ ├── 112.txt │ │ ├── 1130.jpg │ │ ├── 1130.txt │ │ ├── 1131.jpg │ │ ├── 1131.txt │ │ ├── 1132.jpg │ │ ├── 1132.txt │ │ ├── 1133.jpg │ │ ├── 1133.txt │ │ ├── 1134.jpg │ │ ├── 1134.txt │ │ ├── 1135.jpg │ │ ├── 1135.txt │ │ ├── 1136.jpg │ │ ├── 1136.txt │ │ ├── 1137.jpg │ │ ├── 1137.txt │ │ ├── 1138.jpg │ │ ├── 1138.txt │ │ ├── 1139.jpg │ │ ├── 1139.txt │ │ ├── 113.jpg │ │ ├── 113.txt │ │ ├── 1140.jpg │ │ ├── 1140.txt │ │ ├── 1141.jpg │ │ ├── 1141.txt │ │ ├── 1142.jpg │ │ ├── 1142.txt │ │ ├── 1143.jpg │ │ ├── 1143.txt │ │ ├── 1144.jpg │ │ ├── 1144.txt │ │ ├── 1145.jpg │ │ ├── 1145.txt │ │ ├── 1146.jpg │ │ ├── 1146.txt │ │ ├── 1147.jpg │ │ ├── 1147.txt │ │ ├── 1148.jpg │ │ ├── 1148.txt │ │ ├── 1149.jpg │ │ ├── 1149.txt │ │ ├── 114.jpg │ │ ├── 114.txt │ │ ├── 1150.jpg │ │ ├── 1150.txt │ │ ├── 1151.jpg │ │ ├── 1151.txt │ │ ├── 1152.jpg │ │ ├── 1152.txt │ │ ├── 1153.jpg │ │ ├── 1153.txt │ │ ├── 1154.jpg │ │ ├── 1154.txt │ │ ├── 1155.jpg │ │ ├── 1155.txt │ │ ├── 1156.jpg │ │ ├── 1156.txt │ │ ├── 1157.jpg │ │ ├── 1157.txt │ │ ├── 1158.jpg │ │ ├── 1158.txt │ │ ├── 1159.jpg │ │ ├── 1159.txt │ │ ├── 115.jpg │ │ ├── 115.txt │ │ ├── 1160.jpg │ │ ├── 1160.txt │ │ ├── 1161.jpg │ │ ├── 1161.txt │ │ ├── 1162.jpg │ │ ├── 1162.txt │ │ ├── 1163.jpg │ │ ├── 1163.txt │ │ ├── 1164.jpg │ │ ├── 1164.txt │ │ ├── 1165.jpg │ │ ├── 1165.txt │ │ ├── 1166.jpg │ │ ├── 1166.txt │ │ ├── 1167.jpg │ │ ├── 1167.txt │ │ ├── 1168.jpg │ │ ├── 1168.txt │ │ ├── 1169.jpg │ │ ├── 1169.txt │ │ ├── 116.jpg │ │ ├── 116.txt │ │ ├── 1170.jpg │ │ ├── 1170.txt │ │ ├── 1171.jpg │ │ ├── 1171.txt │ │ ├── 1172.jpg │ │ ├── 1172.txt │ │ ├── 1173.jpg │ │ ├── 1173.txt │ │ ├── 1174.jpg │ │ ├── 1174.txt │ │ ├── 1175.jpg │ │ ├── 1175.txt │ │ ├── 1176.jpg │ │ ├── 1176.txt │ │ ├── 1177.jpg │ │ ├── 1177.txt │ │ ├── 1178.jpg │ │ ├── 1178.txt │ │ ├── 1179.jpg │ │ ├── 1179.txt │ │ ├── 117.jpg │ │ ├── 117.txt │ │ ├── 1180.jpg │ │ ├── 1180.txt │ │ ├── 1181.jpg │ │ ├── 1181.txt │ │ ├── 1182.jpg │ │ ├── 1182.txt │ │ ├── 1183.jpg │ │ ├── 1183.txt │ │ ├── 1184.jpg │ │ ├── 1184.txt │ │ ├── 1185.jpg │ │ ├── 1185.txt │ │ ├── 1186.jpg │ │ ├── 1186.txt │ │ ├── 1187.jpg │ │ ├── 1187.txt │ │ ├── 1188.jpg │ │ ├── 1188.txt │ │ ├── 1189.jpg │ │ ├── 1189.txt │ │ ├── 118.jpg │ │ ├── 118.txt │ │ ├── 1190.jpg │ │ ├── 1190.txt │ │ ├── 1191.jpg │ │ ├── 1191.txt │ │ ├── 1192.jpg │ │ ├── 1192.txt │ │ ├── 1193.jpg │ │ ├── 1193.txt │ │ ├── 1194.jpg │ │ ├── 1194.txt │ │ ├── 1195.jpg │ │ ├── 1195.txt │ │ ├── 1196.jpg │ │ ├── 1196.txt │ │ ├── 1197.jpg │ │ ├── 1197.txt │ │ ├── 1198.jpg │ │ ├── 1198.txt │ │ ├── 1199.jpg │ │ ├── 1199.txt │ │ ├── 119.jpg │ │ ├── 119.txt │ │ ├── 11.jpg │ │ ├── 11.txt │ │ ├── 1200.jpg │ │ ├── 1200.txt │ │ ├── 1201.jpg │ │ ├── 1201.txt │ │ ├── 1202.jpg │ │ ├── 1202.txt │ │ ├── 1203.jpg │ │ ├── 1203.txt │ │ ├── 1204.jpg │ │ ├── 1204.txt │ │ ├── 1205.jpg │ │ ├── 1205.txt │ │ ├── 1206.jpg │ │ ├── 1206.txt │ │ ├── 1207.jpg │ │ ├── 1207.txt │ │ ├── 1208.jpg │ │ ├── 1208.txt │ │ ├── 1209.jpg │ │ ├── 1209.txt │ │ ├── 120.jpg │ │ ├── 120.txt │ │ ├── 1210.jpg │ │ ├── 1210.txt │ │ ├── 1211.jpg │ │ ├── 1211.txt │ │ ├── 1212.jpg │ │ ├── 1212.txt │ │ ├── 1213.jpg │ │ ├── 1213.txt │ │ ├── 1214.jpg │ │ ├── 1214.txt │ │ ├── 1215.jpg │ │ ├── 1215.txt │ │ ├── 1216.jpg │ │ ├── 1216.txt │ │ ├── 1217.jpg │ │ ├── 1217.txt │ │ ├── 1218.jpg │ │ ├── 1218.txt │ │ ├── 1219.jpg │ │ ├── 1219.txt │ │ ├── 121.jpg │ │ ├── 121.txt │ │ ├── 1220.jpg │ │ ├── 1220.txt │ │ ├── 1221.jpg │ │ ├── 1221.txt │ │ ├── 1222.jpg │ │ ├── 1222.txt │ │ ├── 1223.jpg │ │ ├── 1223.txt │ │ ├── 1224.jpg │ │ ├── 1224.txt │ │ ├── 1225.jpg │ │ ├── 1225.txt │ │ ├── 1226.jpg │ │ ├── 1226.txt │ │ ├── 1227.jpg │ │ ├── 1227.txt │ │ ├── 1228.jpg │ │ ├── 1228.txt │ │ ├── 1229.jpg │ │ ├── 1229.txt │ │ ├── 122.jpg │ │ ├── 122.txt │ │ ├── 1230.jpg │ │ ├── 1230.txt │ │ ├── 1231.jpg │ │ ├── 1231.txt │ │ ├── 1232.jpg │ │ ├── 1232.txt │ │ ├── 1233.jpg │ │ ├── 1233.txt │ │ ├── 1234.jpg │ │ ├── 1234.txt │ │ ├── 1235.jpg │ │ ├── 1235.txt │ │ ├── 1236.jpg │ │ ├── 1236.txt │ │ ├── 1237.jpg │ │ ├── 1237.txt │ │ ├── 1238.jpg │ │ ├── 1238.txt │ │ ├── 1239.jpg │ │ ├── 1239.txt │ │ ├── 123.jpg │ │ ├── 123.txt │ │ ├── 1240.jpg │ │ ├── 1240.txt │ │ ├── 1241.jpg │ │ ├── 1241.txt │ │ ├── 1242.jpg │ │ ├── 1242.txt │ │ ├── 1243.jpg │ │ ├── 1243.txt │ │ ├── 1244.jpg │ │ ├── 1244.txt │ │ ├── 1245.jpg │ │ ├── 1245.txt │ │ ├── 1246.jpg │ │ ├── 1246.txt │ │ ├── 1247.jpg │ │ ├── 1247.txt │ │ ├── 1248.jpg │ │ ├── 1248.txt │ │ ├── 1249.jpg │ │ ├── 1249.txt │ │ ├── 124.jpg │ │ ├── 124.txt │ │ ├── 1250.jpg │ │ ├── 1250.txt │ │ ├── 1251.jpg │ │ ├── 1251.txt │ │ ├── 1252.jpg │ │ ├── 1252.txt │ │ ├── 1253.jpg │ │ ├── 1253.txt │ │ ├── 1254.jpg │ │ ├── 1254.txt │ │ ├── 1255.jpg │ │ ├── 1255.txt │ │ ├── 1256.jpg │ │ ├── 1256.txt │ │ ├── 1257.jpg │ │ ├── 1257.txt │ │ ├── 1258.jpg │ │ ├── 1258.txt │ │ ├── 1259.jpg │ │ ├── 1259.txt │ │ ├── 125.jpg │ │ ├── 125.txt │ │ ├── 1260.jpg │ │ ├── 1260.txt │ │ ├── 1261.jpg │ │ ├── 1261.txt │ │ ├── 1262.jpg │ │ ├── 1262.txt │ │ ├── 1263.jpg │ │ ├── 1263.txt │ │ ├── 1264.jpg │ │ ├── 1264.txt │ │ ├── 1265.jpg │ │ ├── 1265.txt │ │ ├── 1266.jpg │ │ ├── 1266.txt │ │ ├── 1267.jpg │ │ ├── 1267.txt │ │ ├── 1268.jpg │ │ ├── 1268.txt │ │ ├── 1269.jpg │ │ ├── 1269.txt │ │ ├── 126.jpg │ │ ├── 126.txt │ │ ├── 1270.jpg │ │ ├── 1270.txt │ │ ├── 1271.jpg │ │ ├── 1271.txt │ │ ├── 1272.jpg │ │ ├── 1272.txt │ │ ├── 1273.jpg │ │ ├── 1273.txt │ │ ├── 1274.jpg │ │ ├── 1274.txt │ │ ├── 1275.jpg │ │ ├── 1275.txt │ │ ├── 1276.jpg │ │ ├── 1276.txt │ │ ├── 1277.jpg │ │ ├── 1277.txt │ │ ├── 1278.jpg │ │ ├── 1278.txt │ │ ├── 1279.jpg │ │ ├── 1279.txt │ │ ├── 127.jpg │ │ ├── 127.txt │ │ ├── 1280.jpg │ │ ├── 1280.txt │ │ ├── 1281.jpg │ │ ├── 1281.txt │ │ ├── 1282.jpg │ │ ├── 1282.txt │ │ ├── 1283.jpg │ │ ├── 1283.txt │ │ ├── 1284.jpg │ │ ├── 1284.txt │ │ ├── 1285.jpg │ │ ├── 1285.txt │ │ ├── 1286.jpg │ │ ├── 1286.txt │ │ ├── 1287.jpg │ │ ├── 1287.txt │ │ ├── 1288.jpg │ │ ├── 1288.txt │ │ ├── 1289.jpg │ │ ├── 1289.txt │ │ ├── 128.jpg │ │ ├── 128.txt │ │ ├── 1290.jpg │ │ ├── 1290.txt │ │ ├── 1291.jpg │ │ ├── 1291.txt │ │ ├── 1292.jpg │ │ ├── 1292.txt │ │ ├── 1293.jpg │ │ ├── 1293.txt │ │ ├── 1294.jpg │ │ ├── 1294.txt │ │ ├── 1295.jpg │ │ ├── 1295.txt │ │ ├── 1296.jpg │ │ ├── 1296.txt │ │ ├── 1297.jpg │ │ ├── 1297.txt │ │ ├── 1298.jpg │ │ ├── 1298.txt │ │ ├── 1299.jpg │ │ ├── 1299.txt │ │ ├── 129.jpg │ │ ├── 129.txt │ │ ├── 12.jpg │ │ ├── 12.txt │ │ ├── 1300.jpg │ │ ├── 1300.txt │ │ ├── 1301.jpg │ │ ├── 1301.txt │ │ ├── 1302.jpg │ │ ├── 1302.txt │ │ ├── 1303.jpg │ │ ├── 1303.txt │ │ ├── 1304.jpg │ │ ├── 1304.txt │ │ ├── 1305.jpg │ │ ├── 1305.txt │ │ ├── 1306.jpg │ │ ├── 1306.txt │ │ ├── 1307.jpg │ │ ├── 1307.txt │ │ ├── 1308.jpg │ │ ├── 1308.txt │ │ ├── 1309.jpg │ │ ├── 1309.txt │ │ ├── 130.jpg │ │ ├── 130.txt │ │ ├── 1310.jpg │ │ ├── 1310.txt │ │ ├── 1311.jpg │ │ ├── 1311.txt │ │ ├── 1312.jpg │ │ ├── 1312.txt │ │ ├── 1313.jpg │ │ ├── 1313.txt │ │ ├── 1314.jpg │ │ ├── 1314.txt │ │ ├── 1315.jpg │ │ ├── 1315.txt │ │ ├── 1316.jpg │ │ ├── 1316.txt │ │ ├── 1317.jpg │ │ ├── 1317.txt │ │ ├── 1318.jpg │ │ ├── 1318.txt │ │ ├── 1319.jpg │ │ ├── 1319.txt │ │ ├── 131.jpg │ │ ├── 131.txt │ │ ├── 1320.jpg │ │ ├── 1320.txt │ │ ├── 1321.jpg │ │ ├── 1321.txt │ │ ├── 1322.jpg │ │ ├── 1322.txt │ │ ├── 1323.jpg │ │ ├── 1323.txt │ │ ├── 1324.jpg │ │ ├── 1324.txt │ │ ├── 1325.jpg │ │ ├── 1325.txt │ │ ├── 1326.jpg │ │ ├── 1326.txt │ │ ├── 1327.jpg │ │ ├── 1327.txt │ │ ├── 1328.jpg │ │ ├── 1328.txt │ │ ├── 1329.jpg │ │ ├── 1329.txt │ │ ├── 132.jpg │ │ ├── 132.txt │ │ ├── 1330.jpg │ │ ├── 1330.txt │ │ ├── 1331.jpg │ │ ├── 1331.txt │ │ ├── 1332.jpg │ │ ├── 1332.txt │ │ ├── 1333.jpg │ │ ├── 1333.txt │ │ ├── 1334.jpg │ │ ├── 1334.txt │ │ ├── 1335.jpg │ │ ├── 1335.txt │ │ ├── 1336.jpg │ │ ├── 1336.txt │ │ ├── 1337.jpg │ │ ├── 1337.txt │ │ ├── 1338.jpg │ │ ├── 1338.txt │ │ ├── 1339.jpg │ │ ├── 1339.txt │ │ ├── 133.jpg │ │ ├── 133.txt │ │ ├── 1340.jpg │ │ ├── 1340.txt │ │ ├── 1341.jpg │ │ ├── 1341.txt │ │ ├── 1342.jpg │ │ ├── 1342.txt │ │ ├── 1343.jpg │ │ ├── 1343.txt │ │ ├── 1344.jpg │ │ ├── 1344.txt │ │ ├── 1345.jpg │ │ ├── 1345.txt │ │ ├── 1346.jpg │ │ ├── 1346.txt │ │ ├── 1347.jpg │ │ ├── 1347.txt │ │ ├── 1348.jpg │ │ ├── 1348.txt │ │ ├── 1349.jpg │ │ ├── 1349.txt │ │ ├── 134.jpg │ │ ├── 134.txt │ │ ├── 1350.jpg │ │ ├── 1350.txt │ │ ├── 1351.jpg │ │ ├── 1351.txt │ │ ├── 1352.jpg │ │ ├── 1352.txt │ │ ├── 1353.jpg │ │ ├── 1353.txt │ │ ├── 1354.jpg │ │ ├── 1354.txt │ │ ├── 1355.jpg │ │ ├── 1355.txt │ │ ├── 1356.jpg │ │ ├── 1356.txt │ │ ├── 1357.jpg │ │ ├── 1357.txt │ │ ├── 1358.jpg │ │ ├── 1358.txt │ │ ├── 1359.jpg │ │ ├── 1359.txt │ │ ├── 135.jpg │ │ ├── 135.txt │ │ ├── 1360.jpg │ │ ├── 1360.txt │ │ ├── 1361.jpg │ │ ├── 1361.txt │ │ ├── 1362.jpg │ │ ├── 1362.txt │ │ ├── 1363.jpg │ │ ├── 1363.txt │ │ ├── 1364.jpg │ │ ├── 1364.txt │ │ ├── 1365.jpg │ │ ├── 1365.txt │ │ ├── 1366.jpg │ │ ├── 1366.txt │ │ ├── 1367.jpg │ │ ├── 1367.txt │ │ ├── 1368.jpg │ │ ├── 1368.txt │ │ ├── 1369.jpg │ │ ├── 1369.txt │ │ ├── 136.jpg │ │ ├── 136.txt │ │ ├── 1370.jpg │ │ ├── 1370.txt │ │ ├── 1371.jpg │ │ ├── 1371.txt │ │ ├── 1372.jpg │ │ ├── 1372.txt │ │ ├── 1373.jpg │ │ ├── 1373.txt │ │ ├── 1374.jpg │ │ ├── 1374.txt │ │ ├── 1375.jpg │ │ ├── 1375.txt │ │ ├── 1376.jpg │ │ ├── 1376.txt │ │ ├── 1377.jpg │ │ ├── 1377.txt │ │ ├── 1378.jpg │ │ ├── 1378.txt │ │ ├── 1379.jpg │ │ ├── 1379.txt │ │ ├── 137.jpg │ │ ├── 137.txt │ │ ├── 1380.jpg │ │ ├── 1380.txt │ │ ├── 1381.jpg │ │ ├── 1381.txt │ │ ├── 1382.jpg │ │ ├── 1382.txt │ │ ├── 1383.jpg │ │ ├── 1383.txt │ │ ├── 1384.jpg │ │ ├── 1384.txt │ │ ├── 1385.jpg │ │ ├── 1385.txt │ │ ├── 1386.jpg │ │ ├── 1386.txt │ │ ├── 1387.jpg │ │ ├── 1387.txt │ │ ├── 1388.jpg │ │ ├── 1388.txt │ │ ├── 1389.jpg │ │ ├── 1389.txt │ │ ├── 138.jpg │ │ ├── 138.txt │ │ ├── 1390.jpg │ │ ├── 1390.txt │ │ ├── 1391.jpg │ │ ├── 1391.txt │ │ ├── 1392.jpg │ │ ├── 1392.txt │ │ ├── 1393.jpg │ │ ├── 1393.txt │ │ ├── 1394.jpg │ │ ├── 1394.txt │ │ ├── 1395.jpg │ │ ├── 1395.txt │ │ ├── 1396.jpg │ │ ├── 1396.txt │ │ ├── 1397.jpg │ │ ├── 1397.txt │ │ ├── 1398.jpg │ │ ├── 1398.txt │ │ ├── 1399.jpg │ │ ├── 1399.txt │ │ ├── 139.jpg │ │ ├── 139.txt │ │ ├── 13.jpg │ │ ├── 13.txt │ │ ├── 1400.jpg │ │ ├── 1400.txt │ │ ├── 1401.jpg │ │ ├── 1401.txt │ │ ├── 1402.jpg │ │ ├── 1402.txt │ │ ├── 1403.jpg │ │ ├── 1403.txt │ │ ├── 1404.jpg │ │ ├── 1404.txt │ │ ├── 1405.jpg │ │ ├── 1405.txt │ │ ├── 1406.jpg │ │ ├── 1406.txt │ │ ├── 1407.jpg │ │ ├── 1407.txt │ │ ├── 1408.jpg │ │ ├── 1408.txt │ │ ├── 1409.jpg │ │ ├── 1409.txt │ │ ├── 140.jpg │ │ ├── 140.txt │ │ ├── 1410.jpg │ │ ├── 1410.txt │ │ ├── 1411.jpg │ │ ├── 1411.txt │ │ ├── 1412.jpg │ │ ├── 1412.txt │ │ ├── 1413.jpg │ │ ├── 1413.txt │ │ ├── 1414.jpg │ │ ├── 1414.txt │ │ ├── 1415.jpg │ │ ├── 1415.txt │ │ ├── 1416.jpg │ │ ├── 1416.txt │ │ ├── 1417.jpg │ │ ├── 1417.txt │ │ ├── 1418.jpg │ │ ├── 1418.txt │ │ ├── 1419.jpg │ │ ├── 1419.txt │ │ ├── 141.jpg │ │ ├── 141.txt │ │ ├── 1420.jpg │ │ ├── 1420.txt │ │ ├── 1421.jpg │ │ ├── 1421.txt │ │ ├── 1422.jpg │ │ ├── 1422.txt │ │ ├── 1423.jpg │ │ ├── 1423.txt │ │ ├── 1424.jpg │ │ ├── 1424.txt │ │ ├── 1425.jpg │ │ ├── 1425.txt │ │ ├── 1426.jpg │ │ ├── 1426.txt │ │ ├── 1427.jpg │ │ ├── 1427.txt │ │ ├── 1428.jpg │ │ ├── 1428.txt │ │ ├── 1429.jpg │ │ ├── 1429.txt │ │ ├── 142.jpg │ │ ├── 142.txt │ │ ├── 1430.jpg │ │ ├── 1430.txt │ │ ├── 1431.jpg │ │ ├── 1431.txt │ │ ├── 1432.jpg │ │ ├── 1432.txt │ │ ├── 1433.jpg │ │ ├── 1433.txt │ │ ├── 1434.jpg │ │ ├── 1434.txt │ │ ├── 1435.jpg │ │ ├── 1435.txt │ │ ├── 1436.jpg │ │ ├── 1436.txt │ │ ├── 1437.jpg │ │ ├── 1437.txt │ │ ├── 1438.jpg │ │ ├── 1438.txt │ │ ├── 1439.jpg │ │ ├── 1439.txt │ │ ├── 143.jpg │ │ ├── 143.txt │ │ ├── 1440.jpg │ │ ├── 1440.txt │ │ ├── 1441.jpg │ │ ├── 1441.txt │ │ ├── 1442.jpg │ │ ├── 1442.txt │ │ ├── 1443.jpg │ │ ├── 1443.txt │ │ ├── 1444.jpg │ │ ├── 1444.txt │ │ ├── 1445.jpg │ │ ├── 1445.txt │ │ ├── 1446.jpg │ │ ├── 1446.txt │ │ ├── 1447.jpg │ │ ├── 1447.txt │ │ ├── 1448.jpg │ │ ├── 1448.txt │ │ ├── 1449.jpg │ │ ├── 1449.txt │ │ ├── 144.jpg │ │ ├── 144.txt │ │ ├── 1450.jpg │ │ ├── 1450.txt │ │ ├── 1451.jpg │ │ ├── 1451.txt │ │ ├── 1452.jpg │ │ ├── 1452.txt │ │ ├── 1453.jpg │ │ ├── 1453.txt │ │ ├── 1454.jpg │ │ ├── 1454.txt │ │ ├── 1455.jpg │ │ ├── 1455.txt │ │ ├── 1456.jpg │ │ ├── 1456.txt │ │ ├── 1457.jpg │ │ ├── 1457.txt │ │ ├── 1458.jpg │ │ ├── 1458.txt │ │ ├── 1459.jpg │ │ ├── 1459.txt │ │ ├── 145.jpg │ │ ├── 145.txt │ │ ├── 1460.jpg │ │ ├── 1460.txt │ │ ├── 1461.jpg │ │ ├── 1461.txt │ │ ├── 1462.jpg │ │ ├── 1462.txt │ │ ├── 1463.jpg │ │ ├── 1463.txt │ │ ├── 1464.jpg │ │ ├── 1464.txt │ │ ├── 1465.jpg │ │ ├── 1465.txt │ │ ├── 1466.jpg │ │ ├── 1466.txt │ │ ├── 1467.jpg │ │ ├── 1467.txt │ │ ├── 1468.jpg │ │ ├── 1468.txt │ │ ├── 1469.jpg │ │ ├── 1469.txt │ │ ├── 146.jpg │ │ ├── 146.txt │ │ ├── 1470.jpg │ │ ├── 1470.txt │ │ ├── 1471.jpg │ │ ├── 1471.txt │ │ ├── 1472.jpg │ │ ├── 1472.txt │ │ ├── 1473.jpg │ │ ├── 1473.txt │ │ ├── 1474.jpg │ │ ├── 1474.txt │ │ ├── 1475.jpg │ │ ├── 1475.txt │ │ ├── 1476.jpg │ │ ├── 1476.txt │ │ ├── 1477.jpg │ │ ├── 1477.txt │ │ ├── 1478.jpg │ │ ├── 1478.txt │ │ ├── 1479.jpg │ │ ├── 1479.txt │ │ ├── 147.jpg │ │ ├── 147.txt │ │ ├── 1480.jpg │ │ ├── 1480.txt │ │ ├── 1481.jpg │ │ ├── 1481.txt │ │ ├── 1482.jpg │ │ ├── 1482.txt │ │ ├── 1483.jpg │ │ ├── 1483.txt │ │ ├── 1484.jpg │ │ ├── 1484.txt │ │ ├── 1485.jpg │ │ ├── 1485.txt │ │ ├── 1486.jpg │ │ ├── 1486.txt │ │ ├── 1487.jpg │ │ ├── 1487.txt │ │ ├── 1488.jpg │ │ ├── 1488.txt │ │ ├── 1489.jpg │ │ ├── 1489.txt │ │ ├── 148.jpg │ │ ├── 148.txt │ │ ├── 1490.jpg │ │ ├── 1490.txt │ │ ├── 1491.jpg │ │ ├── 1491.txt │ │ ├── 1492.jpg │ │ ├── 1492.txt │ │ ├── 1493.jpg │ │ ├── 1493.txt │ │ ├── 1494.jpg │ │ ├── 1494.txt │ │ ├── 1495.jpg │ │ ├── 1495.txt │ │ ├── 1496.jpg │ │ ├── 1496.txt │ │ ├── 1497.jpg │ │ ├── 1497.txt │ │ ├── 1498.jpg │ │ ├── 1498.txt │ │ ├── 1499.jpg │ │ ├── 1499.txt │ │ ├── 149.jpg │ │ ├── 149.txt │ │ ├── 14.jpg │ │ ├── 14.txt │ │ ├── 1500.jpg │ │ ├── 1500.txt │ │ ├── 1501.jpg │ │ ├── 1501.txt │ │ ├── 1502.jpg │ │ ├── 1502.txt │ │ ├── 1503.jpg │ │ ├── 1503.txt │ │ ├── 1504.jpg │ │ ├── 1504.txt │ │ ├── 1505.jpg │ │ ├── 1505.txt │ │ ├── 1506.jpg │ │ ├── 1506.txt │ │ ├── 1507.jpg │ │ ├── 1507.txt │ │ ├── 1508.jpg │ │ ├── 1508.txt │ │ ├── 1509.jpg │ │ ├── 1509.txt │ │ ├── 150.jpg │ │ ├── 150.txt │ │ ├── 1510.jpg │ │ ├── 1510.txt │ │ ├── 1511.jpg │ │ ├── 1511.txt │ │ ├── 1512.jpg │ │ ├── 1512.txt │ │ ├── 1513.jpg │ │ ├── 1513.txt │ │ ├── 1514.jpg │ │ ├── 1514.txt │ │ ├── 1515.jpg │ │ ├── 1515.txt │ │ ├── 1516.jpg │ │ ├── 1516.txt │ │ ├── 1517.jpg │ │ ├── 1517.txt │ │ ├── 1518.jpg │ │ ├── 1518.txt │ │ ├── 1519.jpg │ │ ├── 1519.txt │ │ ├── 151.jpg │ │ ├── 151.txt │ │ ├── 1520.jpg │ │ ├── 1520.txt │ │ ├── 1521.jpg │ │ ├── 1521.txt │ │ ├── 1522.jpg │ │ ├── 1522.txt │ │ ├── 1523.jpg │ │ ├── 1523.txt │ │ ├── 1524.jpg │ │ ├── 1524.txt │ │ ├── 1525.jpg │ │ ├── 1525.txt │ │ ├── 1526.jpg │ │ ├── 1526.txt │ │ ├── 1527.jpg │ │ ├── 1527.txt │ │ ├── 1528.jpg │ │ ├── 1528.txt │ │ ├── 1529.jpg │ │ ├── 1529.txt │ │ ├── 152.jpg │ │ ├── 152.txt │ │ ├── 1530.jpg │ │ ├── 1530.txt │ │ ├── 1531.jpg │ │ ├── 1531.txt │ │ ├── 1532.jpg │ │ ├── 1532.txt │ │ ├── 1533.jpg │ │ ├── 1533.txt │ │ ├── 1534.jpg │ │ ├── 1534.txt │ │ ├── 1535.jpg │ │ ├── 1535.txt │ │ ├── 1536.jpg │ │ ├── 1536.txt │ │ ├── 1537.jpg │ │ ├── 1537.txt │ │ ├── 1538.jpg │ │ ├── 1538.txt │ │ ├── 1539.jpg │ │ ├── 1539.txt │ │ ├── 153.jpg │ │ ├── 153.txt │ │ ├── 1540.jpg │ │ ├── 1540.txt │ │ ├── 1541.jpg │ │ ├── 1541.txt │ │ ├── 1542.jpg │ │ ├── 1542.txt │ │ ├── 1543.jpg │ │ ├── 1543.txt │ │ ├── 1544.jpg │ │ ├── 1544.txt │ │ ├── 1545.jpg │ │ ├── 1545.txt │ │ ├── 1546.jpg │ │ ├── 1546.txt │ │ ├── 1547.jpg │ │ ├── 1547.txt │ │ ├── 1548.jpg │ │ ├── 1548.txt │ │ ├── 1549.jpg │ │ ├── 1549.txt │ │ ├── 154.jpg │ │ ├── 154.txt │ │ ├── 1550.jpg │ │ ├── 1550.txt │ │ ├── 1551.jpg │ │ ├── 1551.txt │ │ ├── 1552.jpg │ │ ├── 1552.txt │ │ ├── 1553.jpg │ │ ├── 1553.txt │ │ ├── 1554.jpg │ │ ├── 1554.txt │ │ ├── 1555.jpg │ │ ├── 1555.txt │ │ ├── 1556.jpg │ │ ├── 1556.txt │ │ ├── 1557.jpg │ │ ├── 1557.txt │ │ ├── 1558.jpg │ │ ├── 1558.txt │ │ ├── 1559.jpg │ │ ├── 1559.txt │ │ ├── 155.jpg │ │ ├── 155.txt │ │ ├── 1560.jpg │ │ ├── 1560.txt │ │ ├── 1561.jpg │ │ ├── 1561.txt │ │ ├── 1562.jpg │ │ ├── 1562.txt │ │ ├── 1563.jpg │ │ ├── 1563.txt │ │ ├── 1564.jpg │ │ ├── 1564.txt │ │ ├── 1565.jpg │ │ ├── 1565.txt │ │ ├── 1566.jpg │ │ ├── 1566.txt │ │ ├── 1567.jpg │ │ ├── 1567.txt │ │ ├── 1568.jpg │ │ ├── 1568.txt │ │ ├── 1569.jpg │ │ ├── 1569.txt │ │ ├── 156.jpg │ │ ├── 156.txt │ │ ├── 1570.jpg │ │ ├── 1570.txt │ │ ├── 1571.jpg │ │ ├── 1571.txt │ │ ├── 1572.jpg │ │ ├── 1572.txt │ │ ├── 1573.jpg │ │ ├── 1573.txt │ │ ├── 1574.jpg │ │ ├── 1574.txt │ │ ├── 1575.jpg │ │ ├── 1575.txt │ │ ├── 1576.jpg │ │ ├── 1576.txt │ │ ├── 1577.jpg │ │ ├── 1577.txt │ │ ├── 1578.jpg │ │ ├── 1578.txt │ │ ├── 1579.jpg │ │ ├── 1579.txt │ │ ├── 157.jpg │ │ ├── 157.txt │ │ ├── 1580.jpg │ │ ├── 1580.txt │ │ ├── 1581.jpg │ │ ├── 1581.txt │ │ ├── 1582.jpg │ │ ├── 1582.txt │ │ ├── 1583.jpg │ │ ├── 1583.txt │ │ ├── 1584.jpg │ │ ├── 1584.txt │ │ ├── 1585.jpg │ │ ├── 1585.txt │ │ ├── 1586.jpg │ │ ├── 1586.txt │ │ ├── 1587.jpg │ │ ├── 1587.txt │ │ ├── 1588.jpg │ │ ├── 1588.txt │ │ ├── 1589.jpg │ │ ├── 1589.txt │ │ ├── 158.jpg │ │ ├── 158.txt │ │ ├── 1590.jpg │ │ ├── 1590.txt │ │ ├── 1591.jpg │ │ ├── 1591.txt │ │ ├── 1592.jpg │ │ ├── 1592.txt │ │ ├── 1593.jpg │ │ ├── 1593.txt │ │ ├── 1594.jpg │ │ ├── 1594.txt │ │ ├── 1595.jpg │ │ ├── 1595.txt │ │ ├── 1596.jpg │ │ ├── 1596.txt │ │ ├── 1597.jpg │ │ ├── 1597.txt │ │ ├── 1598.jpg │ │ ├── 1598.txt │ │ ├── 1599.jpg │ │ ├── 1599.txt │ │ ├── 159.jpg │ │ ├── 159.txt │ │ ├── 15.jpg │ │ ├── 15.txt │ │ ├── 1600.jpg │ │ ├── 1600.txt │ │ ├── 1601.jpg │ │ ├── 1601.txt │ │ ├── 1602.jpg │ │ ├── 1602.txt │ │ ├── 1603.jpg │ │ ├── 1603.txt │ │ ├── 1604.jpg │ │ ├── 1604.txt │ │ ├── 1605.jpg │ │ ├── 1605.txt │ │ ├── 1606.jpg │ │ ├── 1606.txt │ │ ├── 1607.jpg │ │ ├── 1607.txt │ │ ├── 1608.jpg │ │ ├── 1608.txt │ │ ├── 1609.jpg │ │ ├── 1609.txt │ │ ├── 160.jpg │ │ ├── 160.txt │ │ ├── 1610.jpg │ │ ├── 1610.txt │ │ ├── 1611.jpg │ │ ├── 1611.txt │ │ ├── 1612.jpg │ │ ├── 1612.txt │ │ ├── 1613.jpg │ │ ├── 1613.txt │ │ ├── 1614.jpg │ │ ├── 1614.txt │ │ ├── 1615.jpg │ │ ├── 1615.txt │ │ ├── 1616.jpg │ │ ├── 1616.txt │ │ ├── 1617.jpg │ │ ├── 1617.txt │ │ ├── 1618.jpg │ │ ├── 1618.txt │ │ ├── 1619.jpg │ │ ├── 1619.txt │ │ ├── 161.jpg │ │ ├── 161.txt │ │ ├── 1620.jpg │ │ ├── 1620.txt │ │ ├── 1621.jpg │ │ ├── 1621.txt │ │ ├── 1622.jpg │ │ ├── 1622.txt │ │ ├── 1623.jpg │ │ ├── 1623.txt │ │ ├── 1624.jpg │ │ ├── 1624.txt │ │ ├── 1625.jpg │ │ ├── 1625.txt │ │ ├── 1626.jpg │ │ ├── 1626.txt │ │ ├── 1627.jpg │ │ ├── 1627.txt │ │ ├── 1628.jpg │ │ ├── 1628.txt │ │ ├── 1629.jpg │ │ ├── 1629.txt │ │ ├── 162.jpg │ │ ├── 162.txt │ │ ├── 1630.jpg │ │ ├── 1630.txt │ │ ├── 1631.jpg │ │ ├── 1631.txt │ │ ├── 1632.jpg │ │ ├── 1632.txt │ │ ├── 1633.jpg │ │ ├── 1633.txt │ │ ├── 1634.jpg │ │ ├── 1634.txt │ │ ├── 1635.jpg │ │ ├── 1635.txt │ │ ├── 1636.jpg │ │ ├── 1636.txt │ │ ├── 1637.jpg │ │ ├── 1637.txt │ │ ├── 1638.jpg │ │ ├── 1638.txt │ │ ├── 1639.jpg │ │ ├── 1639.txt │ │ ├── 163.jpg │ │ ├── 163.txt │ │ ├── 1640.jpg │ │ ├── 1640.txt │ │ ├── 1641.jpg │ │ ├── 1641.txt │ │ ├── 1642.jpg │ │ ├── 1642.txt │ │ ├── 1643.jpg │ │ ├── 1643.txt │ │ ├── 1644.jpg │ │ ├── 1644.txt │ │ ├── 1645.jpg │ │ ├── 1645.txt │ │ ├── 1646.jpg │ │ ├── 1646.txt │ │ ├── 1647.jpg │ │ ├── 1647.txt │ │ ├── 1648.jpg │ │ ├── 1648.txt │ │ ├── 1649.jpg │ │ ├── 1649.txt │ │ ├── 164.jpg │ │ ├── 164.txt │ │ ├── 1650.jpg │ │ ├── 1650.txt │ │ ├── 1651.jpg │ │ ├── 1651.txt │ │ ├── 1652.jpg │ │ ├── 1652.txt │ │ ├── 1653.jpg │ │ ├── 1653.txt │ │ ├── 1654.jpg │ │ ├── 1654.txt │ │ ├── 1655.jpg │ │ ├── 1655.txt │ │ ├── 1656.jpg │ │ ├── 1656.txt │ │ ├── 1657.jpg │ │ ├── 1657.txt │ │ ├── 1658.jpg │ │ ├── 1658.txt │ │ ├── 1659.jpg │ │ ├── 1659.txt │ │ ├── 165.jpg │ │ ├── 165.txt │ │ ├── 1660.jpg │ │ ├── 1660.txt │ │ ├── 1661.jpg │ │ ├── 1661.txt │ │ ├── 1662.jpg │ │ ├── 1662.txt │ │ ├── 1663.jpg │ │ ├── 1663.txt │ │ ├── 1664.jpg │ │ ├── 1664.txt │ │ ├── 1665.jpg │ │ ├── 1665.txt │ │ ├── 1666.jpg │ │ ├── 1666.txt │ │ ├── 1667.jpg │ │ ├── 1667.txt │ │ ├── 1668.jpg │ │ ├── 1668.txt │ │ ├── 1669.jpg │ │ ├── 1669.txt │ │ ├── 166.jpg │ │ ├── 166.txt │ │ ├── 1670.jpg │ │ ├── 1670.txt │ │ ├── 1671.jpg │ │ ├── 1671.txt │ │ ├── 1672.jpg │ │ ├── 1672.txt │ │ ├── 1673.jpg │ │ ├── 1673.txt │ │ ├── 1674.jpg │ │ ├── 1674.txt │ │ ├── 1675.jpg │ │ ├── 1675.txt │ │ ├── 1676.jpg │ │ ├── 1676.txt │ │ ├── 1677.jpg │ │ ├── 1677.txt │ │ ├── 1678.jpg │ │ ├── 1678.txt │ │ ├── 1679.jpg │ │ ├── 1679.txt │ │ ├── 167.jpg │ │ ├── 167.txt │ │ ├── 1680.jpg │ │ ├── 1680.txt │ │ ├── 1681.jpg │ │ ├── 1681.txt │ │ ├── 1682.jpg │ │ ├── 1682.txt │ │ ├── 1683.jpg │ │ ├── 1683.txt │ │ ├── 1684.jpg │ │ ├── 1684.txt │ │ ├── 1685.jpg │ │ ├── 1685.txt │ │ ├── 1686.jpg │ │ ├── 1686.txt │ │ ├── 1687.jpg │ │ ├── 1687.txt │ │ ├── 1688.jpg │ │ ├── 1688.txt │ │ ├── 1689.jpg │ │ ├── 1689.txt │ │ ├── 168.jpg │ │ ├── 168.txt │ │ ├── 1690.jpg │ │ ├── 1690.txt │ │ ├── 1691.jpg │ │ ├── 1691.txt │ │ ├── 1692.jpg │ │ ├── 1692.txt │ │ ├── 1693.jpg │ │ ├── 1693.txt │ │ ├── 1694.jpg │ │ ├── 1694.txt │ │ ├── 1695.jpg │ │ ├── 1695.txt │ │ ├── 1696.jpg │ │ ├── 1696.txt │ │ ├── 1697.jpg │ │ ├── 1697.txt │ │ ├── 1698.jpg │ │ ├── 1698.txt │ │ ├── 1699.jpg │ │ ├── 1699.txt │ │ ├── 169.jpg │ │ ├── 169.txt │ │ ├── 16.jpg │ │ ├── 16.txt │ │ ├── 1700.jpg │ │ ├── 1700.txt │ │ ├── 1701.jpg │ │ ├── 1701.txt │ │ ├── 1702.jpg │ │ ├── 1702.txt │ │ ├── 1703.jpg │ │ ├── 1703.txt │ │ ├── 1704.jpg │ │ ├── 1704.txt │ │ ├── 1705.jpg │ │ ├── 1705.txt │ │ ├── 1706.jpg │ │ ├── 1706.txt │ │ ├── 1707.jpg │ │ ├── 1707.txt │ │ ├── 1708.jpg │ │ ├── 1708.txt │ │ ├── 1709.jpg │ │ ├── 1709.txt │ │ ├── 170.jpg │ │ ├── 170.txt │ │ ├── 1710.jpg │ │ ├── 1710.txt │ │ ├── 1711.jpg │ │ ├── 1711.txt │ │ ├── 1712.jpg │ │ ├── 1712.txt │ │ ├── 1713.jpg │ │ ├── 1713.txt │ │ ├── 1714.jpg │ │ ├── 1714.txt │ │ ├── 1715.jpg │ │ ├── 1715.txt │ │ ├── 1716.jpg │ │ ├── 1716.txt │ │ ├── 1717.jpg │ │ ├── 1717.txt │ │ ├── 1718.jpg │ │ ├── 1718.txt │ │ ├── 1719.jpg │ │ ├── 1719.txt │ │ ├── 171.jpg │ │ ├── 171.txt │ │ ├── 1720.jpg │ │ ├── 1720.txt │ │ ├── 1721.jpg │ │ ├── 1721.txt │ │ ├── 1722.jpg │ │ ├── 1722.txt │ │ ├── 1723.jpg │ │ ├── 1723.txt │ │ ├── 1724.jpg │ │ ├── 1724.txt │ │ ├── 1725.jpg │ │ ├── 1725.txt │ │ ├── 1726.jpg │ │ ├── 1726.txt │ │ ├── 1727.jpg │ │ ├── 1727.txt │ │ ├── 1728.jpg │ │ ├── 1728.txt │ │ ├── 1729.jpg │ │ ├── 1729.txt │ │ ├── 172.jpg │ │ ├── 172.txt │ │ ├── 1730.jpg │ │ ├── 1730.txt │ │ ├── 1731.jpg │ │ ├── 1731.txt │ │ ├── 1732.jpg │ │ ├── 1732.txt │ │ ├── 1733.jpg │ │ ├── 1733.txt │ │ ├── 1734.jpg │ │ ├── 1734.txt │ │ ├── 1735.jpg │ │ ├── 1735.txt │ │ ├── 1736.jpg │ │ ├── 1736.txt │ │ ├── 1737.jpg │ │ ├── 1737.txt │ │ ├── 1738.jpg │ │ ├── 1738.txt │ │ ├── 1739.jpg │ │ ├── 1739.txt │ │ ├── 173.jpg │ │ ├── 173.txt │ │ ├── 1740.jpg │ │ ├── 1740.txt │ │ ├── 1741.jpg │ │ ├── 1741.txt │ │ ├── 1742.jpg │ │ ├── 1742.txt │ │ ├── 1743.jpg │ │ ├── 1743.txt │ │ ├── 1744.jpg │ │ ├── 1744.txt │ │ ├── 1745.jpg │ │ ├── 1745.txt │ │ ├── 1746.jpg │ │ ├── 1746.txt │ │ ├── 1747.jpg │ │ ├── 1747.txt │ │ ├── 1748.jpg │ │ ├── 1748.txt │ │ ├── 1749.jpg │ │ ├── 1749.txt │ │ ├── 174.jpg │ │ ├── 174.txt │ │ ├── 1750.jpg │ │ ├── 1750.txt │ │ ├── 1751.jpg │ │ ├── 1751.txt │ │ ├── 1752.jpg │ │ ├── 1752.txt │ │ ├── 1753.jpg │ │ ├── 1753.txt │ │ ├── 1754.jpg │ │ ├── 1754.txt │ │ ├── 1755.jpg │ │ ├── 1755.txt │ │ ├── 1756.jpg │ │ ├── 1756.txt │ │ ├── 1757.jpg │ │ ├── 1757.txt │ │ ├── 1758.jpg │ │ ├── 1758.txt │ │ ├── 1759.jpg │ │ ├── 1759.txt │ │ ├── 175.jpg │ │ ├── 175.txt │ │ ├── 1760.jpg │ │ ├── 1760.txt │ │ ├── 1761.jpg │ │ ├── 1761.txt │ │ ├── 1762.jpg │ │ ├── 1762.txt │ │ ├── 1763.jpg │ │ ├── 1763.txt │ │ ├── 1764.jpg │ │ ├── 1764.txt │ │ ├── 1765.jpg │ │ ├── 1765.txt │ │ ├── 1766.jpg │ │ ├── 1766.txt │ │ ├── 1767.jpg │ │ ├── 1767.txt │ │ ├── 1768.jpg │ │ ├── 1768.txt │ │ ├── 1769.jpg │ │ ├── 1769.txt │ │ ├── 176.jpg │ │ ├── 176.txt │ │ ├── 1770.jpg │ │ ├── 1770.txt │ │ ├── 1771.jpg │ │ ├── 1771.txt │ │ ├── 1772.jpg │ │ ├── 1772.txt │ │ ├── 1773.jpg │ │ ├── 1773.txt │ │ ├── 1774.jpg │ │ ├── 1774.txt │ │ ├── 1775.jpg │ │ ├── 1775.txt │ │ ├── 1776.jpg │ │ ├── 1776.txt │ │ ├── 1777.jpg │ │ ├── 1777.txt │ │ ├── 1778.jpg │ │ ├── 1778.txt │ │ ├── 1779.jpg │ │ ├── 1779.txt │ │ ├── 177.jpg │ │ ├── 177.txt │ │ ├── 1780.jpg │ │ ├── 1780.txt │ │ ├── 1781.jpg │ │ ├── 1781.txt │ │ ├── 1782.jpg │ │ ├── 1782.txt │ │ ├── 1783.jpg │ │ ├── 1783.txt │ │ ├── 1784.jpg │ │ ├── 1784.txt │ │ ├── 1785.jpg │ │ ├── 1785.txt │ │ ├── 1786.jpg │ │ ├── 1786.txt │ │ ├── 1787.jpg │ │ ├── 1787.txt │ │ ├── 1788.jpg │ │ ├── 1788.txt │ │ ├── 1789.jpg │ │ ├── 1789.txt │ │ ├── 178.jpg │ │ ├── 178.txt │ │ ├── 1790.jpg │ │ ├── 1790.txt │ │ ├── 1791.jpg │ │ ├── 1791.txt │ │ ├── 1792.jpg │ │ ├── 1792.txt │ │ ├── 1793.jpg │ │ ├── 1793.txt │ │ ├── 1794.jpg │ │ ├── 1794.txt │ │ ├── 1795.jpg │ │ ├── 1795.txt │ │ ├── 1796.jpg │ │ ├── 1796.txt │ │ ├── 1797.jpg │ │ ├── 1797.txt │ │ ├── 1798.jpg │ │ ├── 1798.txt │ │ ├── 1799.jpg │ │ ├── 1799.txt │ │ ├── 179.jpg │ │ ├── 179.txt │ │ ├── 17.jpg │ │ ├── 17.txt │ │ ├── 1800.jpg │ │ ├── 1800.txt │ │ ├── 1801.jpg │ │ ├── 1801.txt │ │ ├── 1802.jpg │ │ ├── 1802.txt │ │ ├── 1803.jpg │ │ ├── 1803.txt │ │ ├── 1804.jpg │ │ ├── 1804.txt │ │ ├── 1805.jpg │ │ ├── 1805.txt │ │ ├── 1806.jpg │ │ ├── 1806.txt │ │ ├── 1807.jpg │ │ ├── 1807.txt │ │ ├── 1808.jpg │ │ ├── 1808.txt │ │ ├── 1809.jpg │ │ ├── 1809.txt │ │ ├── 180.jpg │ │ ├── 180.txt │ │ ├── 1810.jpg │ │ ├── 1810.txt │ │ ├── 1811.jpg │ │ ├── 1811.txt │ │ ├── 1812.jpg │ │ ├── 1812.txt │ │ ├── 1813.jpg │ │ ├── 1813.txt │ │ ├── 1814.jpg │ │ ├── 1814.txt │ │ ├── 1815.jpg │ │ ├── 1815.txt │ │ ├── 1816.jpg │ │ ├── 1816.txt │ │ ├── 1817.jpg │ │ ├── 1817.txt │ │ ├── 1818.jpg │ │ ├── 1818.txt │ │ ├── 1819.jpg │ │ ├── 1819.txt │ │ ├── 181.jpg │ │ ├── 181.txt │ │ ├── 1820.jpg │ │ ├── 1820.txt │ │ ├── 1821.jpg │ │ ├── 1821.txt │ │ ├── 1822.jpg │ │ ├── 1822.txt │ │ ├── 1823.jpg │ │ ├── 1823.txt │ │ ├── 1824.jpg │ │ ├── 1824.txt │ │ ├── 1825.jpg │ │ ├── 1825.txt │ │ ├── 1826.jpg │ │ ├── 1826.txt │ │ ├── 1827.jpg │ │ ├── 1827.txt │ │ ├── 1828.jpg │ │ ├── 1828.txt │ │ ├── 1829.jpg │ │ ├── 1829.txt │ │ ├── 182.jpg │ │ ├── 182.txt │ │ ├── 1830.jpg │ │ ├── 1830.txt │ │ ├── 1831.jpg │ │ ├── 1831.txt │ │ ├── 1832.jpg │ │ ├── 1832.txt │ │ ├── 1833.jpg │ │ ├── 1833.txt │ │ ├── 1834.jpg │ │ ├── 1834.txt │ │ ├── 1835.jpg │ │ ├── 1835.txt │ │ ├── 1836.jpg │ │ ├── 1836.txt │ │ ├── 1837.jpg │ │ ├── 1837.txt │ │ ├── 1838.jpg │ │ ├── 1838.txt │ │ ├── 1839.jpg │ │ ├── 1839.txt │ │ ├── 183.jpg │ │ ├── 183.txt │ │ ├── 1840.jpg │ │ ├── 1840.txt │ │ ├── 1841.jpg │ │ ├── 1841.txt │ │ ├── 1842.jpg │ │ ├── 1842.txt │ │ ├── 1843.jpg │ │ ├── 1843.txt │ │ ├── 1844.jpg │ │ ├── 1844.txt │ │ ├── 1845.jpg │ │ ├── 1845.txt │ │ ├── 1846.jpg │ │ ├── 1846.txt │ │ ├── 1847.jpg │ │ ├── 1847.txt │ │ ├── 1848.jpg │ │ ├── 1848.txt │ │ ├── 1849.jpg │ │ ├── 1849.txt │ │ ├── 184.jpg │ │ ├── 184.txt │ │ ├── 1850.jpg │ │ ├── 1850.txt │ │ ├── 1851.jpg │ │ ├── 1851.txt │ │ ├── 1852.jpg │ │ ├── 1852.txt │ │ ├── 1853.jpg │ │ ├── 1853.txt │ │ ├── 1854.jpg │ │ ├── 1854.txt │ │ ├── 1855.jpg │ │ ├── 1855.txt │ │ ├── 1856.jpg │ │ ├── 1856.txt │ │ ├── 1857.jpg │ │ ├── 1857.txt │ │ ├── 1858.jpg │ │ ├── 1858.txt │ │ ├── 1859.jpg │ │ ├── 1859.txt │ │ ├── 185.jpg │ │ ├── 185.txt │ │ ├── 1860.jpg │ │ ├── 1860.txt │ │ ├── 1861.jpg │ │ ├── 1861.txt │ │ ├── 1862.jpg │ │ ├── 1862.txt │ │ ├── 1863.jpg │ │ ├── 1863.txt │ │ ├── 1864.jpg │ │ ├── 1864.txt │ │ ├── 1865.jpg │ │ ├── 1865.txt │ │ ├── 1866.jpg │ │ ├── 1866.txt │ │ ├── 1867.jpg │ │ ├── 1867.txt │ │ ├── 1868.jpg │ │ ├── 1868.txt │ │ ├── 1869.jpg │ │ ├── 1869.txt │ │ ├── 186.jpg │ │ ├── 186.txt │ │ ├── 1870.jpg │ │ ├── 1870.txt │ │ ├── 1871.jpg │ │ ├── 1871.txt │ │ ├── 1872.jpg │ │ ├── 1872.txt │ │ ├── 1873.jpg │ │ ├── 1873.txt │ │ ├── 1874.jpg │ │ ├── 1874.txt │ │ ├── 1875.jpg │ │ ├── 1875.txt │ │ ├── 1876.jpg │ │ ├── 1876.txt │ │ ├── 1877.jpg │ │ ├── 1877.txt │ │ ├── 1878.jpg │ │ ├── 1878.txt │ │ ├── 1879.jpg │ │ ├── 1879.txt │ │ ├── 187.jpg │ │ ├── 187.txt │ │ ├── 1880.jpg │ │ ├── 1880.txt │ │ ├── 1881.jpg │ │ ├── 1881.txt │ │ ├── 1882.jpg │ │ ├── 1882.txt │ │ ├── 1883.jpg │ │ ├── 1883.txt │ │ ├── 1884.jpg │ │ ├── 1884.txt │ │ ├── 1885.jpg │ │ ├── 1885.txt │ │ ├── 1886.jpg │ │ ├── 1886.txt │ │ ├── 1887.jpg │ │ ├── 1887.txt │ │ ├── 1888.jpg │ │ ├── 1888.txt │ │ ├── 1889.jpg │ │ ├── 1889.txt │ │ ├── 188.jpg │ │ ├── 188.txt │ │ ├── 1890.jpg │ │ ├── 1890.txt │ │ ├── 1891.jpg │ │ ├── 1891.txt │ │ ├── 1892.jpg │ │ ├── 1892.txt │ │ ├── 1893.jpg │ │ ├── 1893.txt │ │ ├── 1894.jpg │ │ ├── 1894.txt │ │ ├── 1895.jpg │ │ ├── 1895.txt │ │ ├── 1896.jpg │ │ ├── 1896.txt │ │ ├── 1897.jpg │ │ ├── 1897.txt │ │ ├── 1898.jpg │ │ ├── 1898.txt │ │ ├── 1899.jpg │ │ ├── 1899.txt │ │ ├── 189.jpg │ │ ├── 189.txt │ │ ├── 18.jpg │ │ ├── 18.txt │ │ ├── 1900.jpg │ │ ├── 1900.txt │ │ ├── 1901.jpg │ │ ├── 1901.txt │ │ ├── 1902.jpg │ │ ├── 1902.txt │ │ ├── 1903.jpg │ │ ├── 1903.txt │ │ ├── 1904.jpg │ │ ├── 1904.txt │ │ ├── 1905.jpg │ │ ├── 1905.txt │ │ ├── 1906.jpg │ │ ├── 1906.txt │ │ ├── 1907.jpg │ │ ├── 1907.txt │ │ ├── 1908.jpg │ │ ├── 1908.txt │ │ ├── 1909.jpg │ │ ├── 1909.txt │ │ ├── 190.jpg │ │ ├── 190.txt │ │ ├── 1910.jpg │ │ ├── 1910.txt │ │ ├── 1911.jpg │ │ ├── 1911.txt │ │ ├── 1912.jpg │ │ ├── 1912.txt │ │ ├── 1913.jpg │ │ ├── 1913.txt │ │ ├── 1914.jpg │ │ ├── 1914.txt │ │ ├── 1915.jpg │ │ ├── 1915.txt │ │ ├── 1916.jpg │ │ ├── 1916.txt │ │ ├── 1917.jpg │ │ ├── 1917.txt │ │ ├── 1918.jpg │ │ ├── 1918.txt │ │ ├── 1919.jpg │ │ ├── 1919.txt │ │ ├── 191.jpg │ │ ├── 191.txt │ │ ├── 1920.jpg │ │ ├── 1920.txt │ │ ├── 1921.jpg │ │ ├── 1921.txt │ │ ├── 1922.jpg │ │ ├── 1922.txt │ │ ├── 1923.jpg │ │ ├── 1923.txt │ │ ├── 1924.jpg │ │ ├── 1924.txt │ │ ├── 1925.jpg │ │ ├── 1925.txt │ │ ├── 1926.jpg │ │ ├── 1926.txt │ │ ├── 1927.jpg │ │ ├── 1927.txt │ │ ├── 1928.jpg │ │ ├── 1928.txt │ │ ├── 1929.jpg │ │ ├── 1929.txt │ │ ├── 192.jpg │ │ ├── 192.txt │ │ ├── 1930.jpg │ │ ├── 1930.txt │ │ ├── 1931.jpg │ │ ├── 1931.txt │ │ ├── 1932.jpg │ │ ├── 1932.txt │ │ ├── 1933.jpg │ │ ├── 1933.txt │ │ ├── 1934.jpg │ │ ├── 1934.txt │ │ ├── 1935.jpg │ │ ├── 1935.txt │ │ ├── 1936.jpg │ │ ├── 1936.txt │ │ ├── 1937.jpg │ │ ├── 1937.txt │ │ ├── 1938.jpg │ │ ├── 1938.txt │ │ ├── 1939.jpg │ │ ├── 1939.txt │ │ ├── 193.jpg │ │ ├── 193.txt │ │ ├── 1940.jpg │ │ ├── 1940.txt │ │ ├── 1941.jpg │ │ ├── 1941.txt │ │ ├── 1942.jpg │ │ ├── 1942.txt │ │ ├── 1943.jpg │ │ ├── 1943.txt │ │ ├── 1944.jpg │ │ ├── 1944.txt │ │ ├── 1945.jpg │ │ ├── 1945.txt │ │ ├── 1946.jpg │ │ ├── 1946.txt │ │ ├── 1947.jpg │ │ ├── 1947.txt │ │ ├── 1948.jpg │ │ ├── 1948.txt │ │ ├── 1949.jpg │ │ ├── 1949.txt │ │ ├── 194.jpg │ │ ├── 194.txt │ │ ├── 1950.jpg │ │ ├── 1950.txt │ │ ├── 1951.jpg │ │ ├── 1951.txt │ │ ├── 1952.jpg │ │ ├── 1952.txt │ │ ├── 1953.jpg │ │ ├── 1953.txt │ │ ├── 1954.jpg │ │ ├── 1954.txt │ │ ├── 1955.jpg │ │ ├── 1955.txt │ │ ├── 1956.jpg │ │ ├── 1956.txt │ │ ├── 1957.jpg │ │ ├── 1957.txt │ │ ├── 1958.jpg │ │ ├── 1958.txt │ │ ├── 1959.jpg │ │ ├── 1959.txt │ │ ├── 195.jpg │ │ ├── 195.txt │ │ ├── 1960.jpg │ │ ├── 1960.txt │ │ ├── 1961.jpg │ │ ├── 1961.txt │ │ ├── 1962.jpg │ │ ├── 1962.txt │ │ ├── 1963.jpg │ │ ├── 1963.txt │ │ ├── 1964.jpg │ │ ├── 1964.txt │ │ ├── 1965.jpg │ │ ├── 1965.txt │ │ ├── 1966.jpg │ │ ├── 1966.txt │ │ ├── 1967.jpg │ │ ├── 1967.txt │ │ ├── 1968.jpg │ │ ├── 1968.txt │ │ ├── 1969.jpg │ │ ├── 1969.txt │ │ ├── 196.jpg │ │ ├── 196.txt │ │ ├── 1970.jpg │ │ ├── 1970.txt │ │ ├── 1971.jpg │ │ ├── 1971.txt │ │ ├── 1972.jpg │ │ ├── 1972.txt │ │ ├── 1973.jpg │ │ ├── 1973.txt │ │ ├── 1974.jpg │ │ ├── 1974.txt │ │ ├── 1975.jpg │ │ ├── 1975.txt │ │ ├── 1976.jpg │ │ ├── 1976.txt │ │ ├── 1977.jpg │ │ ├── 1977.txt │ │ ├── 1978.jpg │ │ ├── 1978.txt │ │ ├── 1979.jpg │ │ ├── 1979.txt │ │ ├── 197.jpg │ │ ├── 197.txt │ │ ├── 1980.jpg │ │ ├── 1980.txt │ │ ├── 1981.jpg │ │ ├── 1981.txt │ │ ├── 1982.jpg │ │ ├── 1982.txt │ │ ├── 1983.jpg │ │ ├── 1983.txt │ │ ├── 1984.jpg │ │ ├── 1984.txt │ │ ├── 1985.jpg │ │ ├── 1985.txt │ │ ├── 1986.jpg │ │ ├── 1986.txt │ │ ├── 1987.jpg │ │ ├── 1987.txt │ │ ├── 1988.jpg │ │ ├── 1988.txt │ │ ├── 1989.jpg │ │ ├── 1989.txt │ │ ├── 198.jpg │ │ ├── 198.txt │ │ ├── 1990.jpg │ │ ├── 1990.txt │ │ ├── 1991.jpg │ │ ├── 1991.txt │ │ ├── 1992.jpg │ │ ├── 1992.txt │ │ ├── 1993.jpg │ │ ├── 1993.txt │ │ ├── 1994.jpg │ │ ├── 1994.txt │ │ ├── 1995.jpg │ │ ├── 1995.txt │ │ ├── 1996.jpg │ │ ├── 1996.txt │ │ ├── 1997.jpg │ │ ├── 1997.txt │ │ ├── 1998.jpg │ │ ├── 1998.txt │ │ ├── 1999.jpg │ │ ├── 1999.txt │ │ ├── 199.jpg │ │ ├── 199.txt │ │ ├── 19.jpg │ │ ├── 19.txt │ │ ├── 1.jpg │ │ ├── 1.txt │ │ ├── 2000.jpg │ │ ├── 2000.txt │ │ ├── 2001.jpg │ │ ├── 2001.txt │ │ ├── 2002.jpg │ │ ├── 2002.txt │ │ ├── 2003.jpg │ │ ├── 2003.txt │ │ ├── 2004.jpg │ │ ├── 2004.txt │ │ ├── 2005.jpg │ │ ├── 2005.txt │ │ ├── 2006.jpg │ │ ├── 2006.txt │ │ ├── 2007.jpg │ │ ├── 2007.txt │ │ ├── 2008.jpg │ │ ├── 2008.txt │ │ ├── 2009.jpg │ │ ├── 2009.txt │ │ ├── 200.jpg │ │ ├── 200.txt │ │ ├── 2010.jpg │ │ ├── 2010.txt │ │ ├── 2011.jpg │ │ ├── 2011.txt │ │ ├── 2012.jpg │ │ ├── 2012.txt │ │ ├── 2013.jpg │ │ ├── 2013.txt │ │ ├── 2014.jpg │ │ ├── 2014.txt │ │ ├── 2015.jpg │ │ ├── 2015.txt │ │ ├── 2016.jpg │ │ ├── 2016.txt │ │ ├── 2017.jpg │ │ ├── 2017.txt │ │ ├── 2018.jpg │ │ ├── 2018.txt │ │ ├── 2019.jpg │ │ ├── 2019.txt │ │ ├── 201.jpg │ │ ├── 201.txt │ │ ├── 2020.jpg │ │ ├── 2020.txt │ │ ├── 2021.jpg │ │ ├── 2021.txt │ │ ├── 2022.jpg │ │ ├── 2022.txt │ │ ├── 2023.jpg │ │ ├── 2023.txt │ │ ├── 2024.jpg │ │ ├── 2024.txt │ │ ├── 2025.jpg │ │ ├── 2025.txt │ │ ├── 2026.jpg │ │ ├── 2026.txt │ │ ├── 2027.jpg │ │ ├── 2027.txt │ │ ├── 2028.jpg │ │ ├── 2028.txt │ │ ├── 2029.jpg │ │ ├── 2029.txt │ │ ├── 202.jpg │ │ ├── 202.txt │ │ ├── 2030.jpg │ │ ├── 2030.txt │ │ ├── 2031.jpg │ │ ├── 2031.txt │ │ ├── 2032.jpg │ │ ├── 2032.txt │ │ ├── 2033.jpg │ │ ├── 2033.txt │ │ ├── 2034.jpg │ │ ├── 2034.txt │ │ ├── 2035.jpg │ │ ├── 2035.txt │ │ ├── 2036.jpg │ │ ├── 2036.txt │ │ ├── 2037.jpg │ │ ├── 2037.txt │ │ ├── 2038.jpg │ │ ├── 2038.txt │ │ ├── 2039.jpg │ │ ├── 2039.txt │ │ ├── 203.jpg │ │ ├── 203.txt │ │ ├── 2040.jpg │ │ ├── 2040.txt │ │ ├── 2041.jpg │ │ ├── 2041.txt │ │ ├── 2042.jpg │ │ ├── 2042.txt │ │ ├── 2043.jpg │ │ ├── 2043.txt │ │ ├── 2044.jpg │ │ ├── 2044.txt │ │ ├── 2045.jpg │ │ ├── 2045.txt │ │ ├── 2046.jpg │ │ ├── 2046.txt │ │ ├── 2047.jpg │ │ ├── 2047.txt │ │ ├── 2048.jpg │ │ ├── 2048.txt │ │ ├── 2049.jpg │ │ ├── 2049.txt │ │ ├── 204.jpg │ │ ├── 204.txt │ │ ├── 2050.jpg │ │ ├── 2050.txt │ │ ├── 2051.jpg │ │ ├── 2051.txt │ │ ├── 2052.jpg │ │ ├── 2052.txt │ │ ├── 2053.jpg │ │ ├── 2053.txt │ │ ├── 2054.jpg │ │ ├── 2054.txt │ │ ├── 2055.jpg │ │ ├── 2055.txt │ │ ├── 2056.jpg │ │ ├── 2056.txt │ │ ├── 2057.jpg │ │ ├── 2057.txt │ │ ├── 2058.jpg │ │ ├── 2058.txt │ │ ├── 2059.jpg │ │ ├── 2059.txt │ │ ├── 205.jpg │ │ ├── 205.txt │ │ ├── 2060.jpg │ │ ├── 2060.txt │ │ ├── 2061.jpg │ │ ├── 2061.txt │ │ ├── 2062.jpg │ │ ├── 2062.txt │ │ ├── 2063.jpg │ │ ├── 2063.txt │ │ ├── 2064.jpg │ │ ├── 2064.txt │ │ ├── 2065.jpg │ │ ├── 2065.txt │ │ ├── 2066.jpg │ │ ├── 2066.txt │ │ ├── 2067.jpg │ │ ├── 2067.txt │ │ ├── 2068.jpg │ │ ├── 2068.txt │ │ ├── 2069.jpg │ │ ├── 2069.txt │ │ ├── 206.jpg │ │ ├── 206.txt │ │ ├── 2070.jpg │ │ ├── 2070.txt │ │ ├── 2071.jpg │ │ ├── 2071.txt │ │ ├── 2072.jpg │ │ ├── 2072.txt │ │ ├── 2073.jpg │ │ ├── 2073.txt │ │ ├── 2074.jpg │ │ ├── 2074.txt │ │ ├── 2075.jpg │ │ ├── 2075.txt │ │ ├── 2076.jpg │ │ ├── 2076.txt │ │ ├── 2077.jpg │ │ ├── 2077.txt │ │ ├── 2078.jpg │ │ ├── 2078.txt │ │ ├── 2079.jpg │ │ ├── 2079.txt │ │ ├── 207.jpg │ │ ├── 207.txt │ │ ├── 2080.jpg │ │ ├── 2080.txt │ │ ├── 2081.jpg │ │ ├── 2081.txt │ │ ├── 2082.jpg │ │ ├── 2082.txt │ │ ├── 2083.jpg │ │ ├── 2083.txt │ │ ├── 2084.jpg │ │ ├── 2084.txt │ │ ├── 2085.jpg │ │ ├── 2085.txt │ │ ├── 2086.jpg │ │ ├── 2086.txt │ │ ├── 2087.jpg │ │ ├── 2087.txt │ │ ├── 2088.jpg │ │ ├── 2088.txt │ │ ├── 2089.jpg │ │ ├── 2089.txt │ │ ├── 208.jpg │ │ ├── 208.txt │ │ ├── 2090.jpg │ │ ├── 2090.txt │ │ ├── 2091.jpg │ │ ├── 2091.txt │ │ ├── 2092.jpg │ │ ├── 2092.txt │ │ ├── 2093.jpg │ │ ├── 2093.txt │ │ ├── 2094.jpg │ │ ├── 2094.txt │ │ ├── 2095.jpg │ │ ├── 2095.txt │ │ ├── 2096.jpg │ │ ├── 2096.txt │ │ ├── 2097.jpg │ │ ├── 2097.txt │ │ ├── 2098.jpg │ │ ├── 2098.txt │ │ ├── 2099.jpg │ │ ├── 2099.txt │ │ ├── 209.jpg │ │ ├── 209.txt │ │ ├── 20.jpg │ │ ├── 20.txt │ │ ├── 2100.jpg │ │ ├── 2100.txt │ │ ├── 2101.jpg │ │ ├── 2101.txt │ │ ├── 2102.jpg │ │ ├── 2102.txt │ │ ├── 2103.jpg │ │ ├── 2103.txt │ │ ├── 2104.jpg │ │ ├── 2104.txt │ │ ├── 2105.jpg │ │ ├── 2105.txt │ │ ├── 2106.jpg │ │ ├── 2106.txt │ │ ├── 2107.jpg │ │ ├── 2107.txt │ │ ├── 2108.jpg │ │ ├── 2108.txt │ │ ├── 2109.jpg │ │ ├── 2109.txt │ │ ├── 210.jpg │ │ ├── 210.txt │ │ ├── 2110.jpg │ │ ├── 2110.txt │ │ ├── 2111.jpg │ │ ├── 2111.txt │ │ ├── 2112.jpg │ │ ├── 2112.txt │ │ ├── 2113.jpg │ │ ├── 2113.txt │ │ ├── 2114.jpg │ │ ├── 2114.txt │ │ ├── 2115.jpg │ │ ├── 2115.txt │ │ ├── 2116.jpg │ │ ├── 2116.txt │ │ ├── 2117.jpg │ │ ├── 2117.txt │ │ ├── 2118.jpg │ │ ├── 2118.txt │ │ ├── 2119.jpg │ │ ├── 2119.txt │ │ ├── 211.jpg │ │ ├── 211.txt │ │ ├── 2120.jpg │ │ ├── 2120.txt │ │ ├── 2121.jpg │ │ ├── 2121.txt │ │ ├── 2122.jpg │ │ ├── 2122.txt │ │ ├── 2123.jpg │ │ ├── 2123.txt │ │ ├── 2124.jpg │ │ ├── 2124.txt │ │ ├── 2125.jpg │ │ ├── 2125.txt │ │ ├── 2126.jpg │ │ ├── 2126.txt │ │ ├── 2127.jpg │ │ ├── 2127.txt │ │ ├── 2128.jpg │ │ ├── 2128.txt │ │ ├── 2129.jpg │ │ ├── 2129.txt │ │ ├── 212.jpg │ │ ├── 212.txt │ │ ├── 2130.jpg │ │ ├── 2130.txt │ │ ├── 2131.jpg │ │ ├── 2131.txt │ │ ├── 2132.jpg │ │ ├── 2132.txt │ │ ├── 2133.jpg │ │ ├── 2133.txt │ │ ├── 2134.jpg │ │ ├── 2134.txt │ │ ├── 2135.jpg │ │ ├── 2135.txt │ │ ├── 2136.jpg │ │ ├── 2136.txt │ │ ├── 2137.jpg │ │ ├── 2137.txt │ │ ├── 2138.jpg │ │ ├── 2138.txt │ │ ├── 2139.jpg │ │ ├── 2139.txt │ │ ├── 213.jpg │ │ ├── 213.txt │ │ ├── 2140.jpg │ │ ├── 2140.txt │ │ ├── 2141.jpg │ │ ├── 2141.txt │ │ ├── 2142.jpg │ │ ├── 2142.txt │ │ ├── 2143.jpg │ │ ├── 2143.txt │ │ ├── 2144.jpg │ │ ├── 2144.txt │ │ ├── 2145.jpg │ │ ├── 2145.txt │ │ ├── 2146.jpg │ │ ├── 2146.txt │ │ ├── 2147.jpg │ │ ├── 2147.txt │ │ ├── 2148.jpg │ │ ├── 2148.txt │ │ ├── 2149.jpg │ │ ├── 2149.txt │ │ ├── 214.jpg │ │ ├── 214.txt │ │ ├── 2150.jpg │ │ ├── 2150.txt │ │ ├── 2151.jpg │ │ ├── 2151.txt │ │ ├── 2152.jpg │ │ ├── 2152.txt │ │ ├── 2153.jpg │ │ ├── 2153.txt │ │ ├── 2154.jpg │ │ ├── 2154.txt │ │ ├── 2155.jpg │ │ ├── 2155.txt │ │ ├── 2156.jpg │ │ ├── 2156.txt │ │ ├── 2157.jpg │ │ ├── 2157.txt │ │ ├── 2158.jpg │ │ ├── 2158.txt │ │ ├── 2159.jpg │ │ ├── 2159.txt │ │ ├── 215.jpg │ │ ├── 215.txt │ │ ├── 2160.jpg │ │ ├── 2160.txt │ │ ├── 2161.jpg │ │ ├── 2161.txt │ │ ├── 2162.jpg │ │ ├── 2162.txt │ │ ├── 2163.jpg │ │ ├── 2163.txt │ │ ├── 2164.jpg │ │ ├── 2164.txt │ │ ├── 2165.jpg │ │ ├── 2165.txt │ │ ├── 2166.jpg │ │ ├── 2166.txt │ │ ├── 2167.jpg │ │ ├── 2167.txt │ │ ├── 2168.jpg │ │ ├── 2168.txt │ │ ├── 216.jpg │ │ ├── 216.txt │ │ ├── 217.jpg │ │ ├── 217.txt │ │ ├── 218.jpg │ │ ├── 218.txt │ │ ├── 219.jpg │ │ ├── 219.txt │ │ ├── 21.jpg │ │ ├── 21.txt │ │ ├── 220.jpg │ │ ├── 220.txt │ │ ├── 221.jpg │ │ ├── 221.txt │ │ ├── 222.jpg │ │ ├── 222.txt │ │ ├── 223.jpg │ │ ├── 223.txt │ │ ├── 224.jpg │ │ ├── 224.txt │ │ ├── 225.jpg │ │ ├── 225.txt │ │ ├── 226.jpg │ │ ├── 226.txt │ │ ├── 227.jpg │ │ ├── 227.txt │ │ ├── 228.jpg │ │ ├── 228.txt │ │ ├── 229.jpg │ │ ├── 229.txt │ │ ├── 22.jpg │ │ ├── 22.txt │ │ ├── 230.jpg │ │ ├── 230.txt │ │ ├── 2311.jpg │ │ ├── 2311.txt │ │ ├── 2312.jpg │ │ ├── 2312.txt │ │ ├── 2313.jpg │ │ ├── 2313.txt │ │ ├── 2314.jpg │ │ ├── 2314.txt │ │ ├── 2318.jpg │ │ ├── 2318.txt │ │ ├── 2319.jpg │ │ ├── 2319.txt │ │ ├── 231.jpg │ │ ├── 231.txt │ │ ├── 2320.jpg │ │ ├── 2320.txt │ │ ├── 2321.jpg │ │ ├── 2321.txt │ │ ├── 2322.jpg │ │ ├── 2322.txt │ │ ├── 2323.jpg │ │ ├── 2323.txt │ │ ├── 2324.jpg │ │ ├── 2324.txt │ │ ├── 2325.jpg │ │ ├── 2325.txt │ │ ├── 2326.jpg │ │ ├── 2326.txt │ │ ├── 2327.jpg │ │ ├── 2327.txt │ │ ├── 2328.jpg │ │ ├── 2328.txt │ │ ├── 2329.jpg │ │ ├── 2329.txt │ │ ├── 232.jpg │ │ ├── 232.txt │ │ ├── 2330.jpg │ │ ├── 2330.txt │ │ ├── 2331.jpg │ │ ├── 2331.txt │ │ ├── 2332.jpg │ │ ├── 2332.txt │ │ ├── 2333.jpg │ │ ├── 2333.txt │ │ ├── 2334.jpg │ │ ├── 2334.txt │ │ ├── 2335.jpg │ │ ├── 2335.txt │ │ ├── 2336.jpg │ │ ├── 2336.txt │ │ ├── 2337.jpg │ │ ├── 2337.txt │ │ ├── 2338.jpg │ │ ├── 2338.txt │ │ ├── 2339.jpg │ │ ├── 2339.txt │ │ ├── 233.jpg │ │ ├── 233.txt │ │ ├── 2340.jpg │ │ ├── 2340.txt │ │ ├── 2345.jpg │ │ ├── 2345.txt │ │ ├── 2346.jpg │ │ ├── 2346.txt │ │ ├── 2348.jpg │ │ ├── 2348.txt │ │ ├── 2349.jpg │ │ ├── 2349.txt │ │ ├── 234.jpg │ │ ├── 234.txt │ │ ├── 2350.jpg │ │ ├── 2350.txt │ │ ├── 2351.jpg │ │ ├── 2351.txt │ │ ├── 2354.jpg │ │ ├── 2354.txt │ │ ├── 2355.jpg │ │ ├── 2355.txt │ │ ├── 2356.jpg │ │ ├── 2356.txt │ │ ├── 2357.jpg │ │ ├── 2357.txt │ │ ├── 2358.jpg │ │ ├── 2358.txt │ │ ├── 2359.jpg │ │ ├── 2359.txt │ │ ├── 235.jpg │ │ ├── 235.txt │ │ ├── 2360.jpg │ │ ├── 2360.txt │ │ ├── 2361.jpg │ │ ├── 2361.txt │ │ ├── 2362.jpg │ │ ├── 2362.txt │ │ ├── 2363.jpg │ │ ├── 2363.txt │ │ ├── 2364.jpg │ │ ├── 2364.txt │ │ ├── 2365.jpg │ │ ├── 2365.txt │ │ ├── 2366.jpg │ │ ├── 2366.txt │ │ ├── 2367.jpg │ │ ├── 2367.txt │ │ ├── 2368.jpg │ │ ├── 2368.txt │ │ ├── 2369.jpg │ │ ├── 2369.txt │ │ ├── 236.jpg │ │ ├── 236.txt │ │ ├── 2370.jpg │ │ ├── 2370.txt │ │ ├── 2371.jpg │ │ ├── 2371.txt │ │ ├── 2372.jpg │ │ ├── 2372.txt │ │ ├── 2373.jpg │ │ ├── 2373.txt │ │ ├── 2374.jpg │ │ ├── 2374.txt │ │ ├── 2375.jpg │ │ ├── 2375.txt │ │ ├── 2376.jpg │ │ ├── 2376.txt │ │ ├── 2377.jpg │ │ ├── 2377.txt │ │ ├── 2378.jpg │ │ ├── 2378.txt │ │ ├── 2379.jpg │ │ ├── 2379.txt │ │ ├── 237.jpg │ │ ├── 237.txt │ │ ├── 2380.jpg │ │ ├── 2380.txt │ │ ├── 2381.jpg │ │ ├── 2381.txt │ │ ├── 2382.jpg │ │ ├── 2382.txt │ │ ├── 2383.jpg │ │ ├── 2383.txt │ │ ├── 2384.jpg │ │ ├── 2384.txt │ │ ├── 2385.jpg │ │ ├── 2385.txt │ │ ├── 2386.jpg │ │ ├── 2386.txt │ │ ├── 2387.jpg │ │ ├── 2387.txt │ │ ├── 2388.jpg │ │ ├── 2388.txt │ │ ├── 2389.jpg │ │ ├── 2389.txt │ │ ├── 238.jpg │ │ ├── 238.txt │ │ ├── 239.jpg │ │ ├── 239.txt │ │ ├── 23.jpg │ │ ├── 23.txt │ │ ├── 2403.jpg │ │ ├── 2403.txt │ │ ├── 2404.jpg │ │ ├── 2404.txt │ │ ├── 240.jpg │ │ ├── 240.txt │ │ ├── 241.jpg │ │ ├── 241.txt │ │ ├── 2424.jpg │ │ ├── 2424.txt │ │ ├── 2425.jpg │ │ ├── 2425.txt │ │ ├── 2426.jpg │ │ ├── 2426.txt │ │ ├── 2427.jpg │ │ ├── 2427.txt │ │ ├── 2428.jpg │ │ ├── 2428.txt │ │ ├── 2429.jpg │ │ ├── 2429.txt │ │ ├── 242.jpg │ │ ├── 242.txt │ │ ├── 2430.jpg │ │ ├── 2430.txt │ │ ├── 2431.jpg │ │ ├── 2431.txt │ │ ├── 2432.jpg │ │ ├── 2432.txt │ │ ├── 2433.jpg │ │ ├── 2433.txt │ │ ├── 2434.jpg │ │ ├── 2434.txt │ │ ├── 2435.jpg │ │ ├── 2435.txt │ │ ├── 2436.jpg │ │ ├── 2436.txt │ │ ├── 2437.jpg │ │ ├── 2437.txt │ │ ├── 2438.jpg │ │ ├── 2438.txt │ │ ├── 2439.jpg │ │ ├── 2439.txt │ │ ├── 243.jpg │ │ ├── 243.txt │ │ ├── 2440.jpg │ │ ├── 2440.txt │ │ ├── 2441.jpg │ │ ├── 2441.txt │ │ ├── 2442.jpg │ │ ├── 2442.txt │ │ ├── 2443.jpg │ │ ├── 2443.txt │ │ ├── 2444.jpg │ │ ├── 2444.txt │ │ ├── 2445.jpg │ │ ├── 2445.txt │ │ ├── 2446.jpg │ │ ├── 2446.txt │ │ ├── 2447.jpg │ │ ├── 2447.txt │ │ ├── 2448.jpg │ │ ├── 2448.txt │ │ ├── 2449.jpg │ │ ├── 2449.txt │ │ ├── 244.jpg │ │ ├── 244.txt │ │ ├── 2450.jpg │ │ ├── 2450.txt │ │ ├── 2451.jpg │ │ ├── 2451.txt │ │ ├── 2452.jpg │ │ ├── 2452.txt │ │ ├── 2453.jpg │ │ ├── 2453.txt │ │ ├── 2454.jpg │ │ ├── 2454.txt │ │ ├── 2455.jpg │ │ ├── 2455.txt │ │ ├── 2456.jpg │ │ ├── 2456.txt │ │ ├── 2458.jpg │ │ ├── 2458.txt │ │ ├── 2459.jpg │ │ ├── 2459.txt │ │ ├── 245.jpg │ │ ├── 245.txt │ │ ├── 2460.jpg │ │ ├── 2460.txt │ │ ├── 2462.jpg │ │ ├── 2462.txt │ │ ├── 2463.jpg │ │ ├── 2463.txt │ │ ├── 2464.jpg │ │ ├── 2464.txt │ │ ├── 2465.jpg │ │ ├── 2465.txt │ │ ├── 2468.jpg │ │ ├── 2468.txt │ │ ├── 2469.jpg │ │ ├── 2469.txt │ │ ├── 246.jpg │ │ ├── 246.txt │ │ ├── 2470.jpg │ │ ├── 2470.txt │ │ ├── 2471.jpg │ │ ├── 2471.txt │ │ ├── 2472.jpg │ │ ├── 2472.txt │ │ ├── 2473.jpg │ │ ├── 2473.txt │ │ ├── 2474.jpg │ │ ├── 2474.txt │ │ ├── 2475.jpg │ │ ├── 2475.txt │ │ ├── 2476.jpg │ │ ├── 2476.txt │ │ ├── 2477.jpg │ │ ├── 2477.txt │ │ ├── 2478.jpg │ │ ├── 2478.txt │ │ ├── 2479.jpg │ │ ├── 2479.txt │ │ ├── 247.jpg │ │ ├── 247.txt │ │ ├── 2480.jpg │ │ ├── 2480.txt │ │ ├── 2488.jpg │ │ ├── 2488.txt │ │ ├── 2489.jpg │ │ ├── 2489.txt │ │ ├── 248.jpg │ │ ├── 248.txt │ │ ├── 2490.jpg │ │ ├── 2490.txt │ │ ├── 2491.jpg │ │ ├── 2491.txt │ │ ├── 2492.jpg │ │ ├── 2492.txt │ │ ├── 2493.jpg │ │ ├── 2493.txt │ │ ├── 2494.jpg │ │ ├── 2494.txt │ │ ├── 2496.jpg │ │ ├── 2496.txt │ │ ├── 2497.jpg │ │ ├── 2497.txt │ │ ├── 2498.jpg │ │ ├── 2498.txt │ │ ├── 2499.jpg │ │ ├── 2499.txt │ │ ├── 249.jpg │ │ ├── 249.txt │ │ ├── 24.jpg │ │ ├── 24.txt │ │ ├── 2500.jpg │ │ ├── 2500.txt │ │ ├── 2501.jpg │ │ ├── 2501.txt │ │ ├── 2502.jpg │ │ ├── 2502.txt │ │ ├── 2503.jpg │ │ ├── 2503.txt │ │ ├── 2504.jpg │ │ ├── 2504.txt │ │ ├── 2505.jpg │ │ ├── 2505.txt │ │ ├── 2506.jpg │ │ ├── 2506.txt │ │ ├── 2507.jpg │ │ ├── 2507.txt │ │ ├── 2508.jpg │ │ ├── 2508.txt │ │ ├── 2509.jpg │ │ ├── 2509.txt │ │ ├── 250.jpg │ │ ├── 250.txt │ │ ├── 2510.jpg │ │ ├── 2510.txt │ │ ├── 2513.jpg │ │ ├── 2513.txt │ │ ├── 2514.jpg │ │ ├── 2514.txt │ │ ├── 2515.jpg │ │ ├── 2515.txt │ │ ├── 251.jpg │ │ ├── 251.txt │ │ ├── 2523.jpg │ │ ├── 2523.txt │ │ ├── 2524.jpg │ │ ├── 2524.txt │ │ ├── 2525.jpg │ │ ├── 2525.txt │ │ ├── 2526.jpg │ │ ├── 2526.txt │ │ ├── 2527.jpg │ │ ├── 2527.txt │ │ ├── 2528.jpg │ │ ├── 2528.txt │ │ ├── 2529.jpg │ │ ├── 2529.txt │ │ ├── 252.jpg │ │ ├── 252.txt │ │ ├── 2530.jpg │ │ ├── 2530.txt │ │ ├── 2531.jpg │ │ ├── 2531.txt │ │ ├── 2532.jpg │ │ ├── 2532.txt │ │ ├── 2533.jpg │ │ ├── 2533.txt │ │ ├── 2534.jpg │ │ ├── 2534.txt │ │ ├── 2535.jpg │ │ ├── 2535.txt │ │ ├── 2536.jpg │ │ ├── 2536.txt │ │ ├── 2537.jpg │ │ ├── 2537.txt │ │ ├── 2538.jpg │ │ ├── 2538.txt │ │ ├── 253.jpg │ │ ├── 253.txt │ │ ├── 2540.jpg │ │ ├── 2540.txt │ │ ├── 2541.jpg │ │ ├── 2541.txt │ │ ├── 2542.jpg │ │ ├── 2542.txt │ │ ├── 2543.jpg │ │ ├── 2543.txt │ │ ├── 2544.jpg │ │ ├── 2544.txt │ │ ├── 2546.jpg │ │ ├── 2546.txt │ │ ├── 2547.jpg │ │ ├── 2547.txt │ │ ├── 2548.jpg │ │ ├── 2548.txt │ │ ├── 2549.jpg │ │ ├── 2549.txt │ │ ├── 254.jpg │ │ ├── 254.txt │ │ ├── 2550.jpg │ │ ├── 2550.txt │ │ ├── 2551.jpg │ │ ├── 2551.txt │ │ ├── 2552.jpg │ │ ├── 2552.txt │ │ ├── 2553.jpg │ │ ├── 2553.txt │ │ ├── 2554.jpg │ │ ├── 2554.txt │ │ ├── 2555.jpg │ │ ├── 2555.txt │ │ ├── 2556.jpg │ │ ├── 2556.txt │ │ ├── 2557.jpg │ │ ├── 2557.txt │ │ ├── 2558.jpg │ │ ├── 2558.txt │ │ ├── 2559.jpg │ │ ├── 2559.txt │ │ ├── 255.jpg │ │ ├── 255.txt │ │ ├── 2560.jpg │ │ ├── 2560.txt │ │ ├── 2561.jpg │ │ ├── 2561.txt │ │ ├── 2562.jpg │ │ ├── 2562.txt │ │ ├── 2563.jpg │ │ ├── 2563.txt │ │ ├── 2564.jpg │ │ ├── 2564.txt │ │ ├── 2565.jpg │ │ ├── 2565.txt │ │ ├── 2566.jpg │ │ ├── 2566.txt │ │ ├── 2567.jpg │ │ ├── 2567.txt │ │ ├── 2568.jpg │ │ ├── 2568.txt │ │ ├── 2569.jpg │ │ ├── 2569.txt │ │ ├── 256.jpg │ │ ├── 256.txt │ │ ├── 2570.jpg │ │ ├── 2570.txt │ │ ├── 2571.jpg │ │ ├── 2571.txt │ │ ├── 2572.jpg │ │ ├── 2572.txt │ │ ├── 2573.jpg │ │ ├── 2573.txt │ │ ├── 2574.jpg │ │ ├── 2574.txt │ │ ├── 2575.jpg │ │ ├── 2575.txt │ │ ├── 2576.jpg │ │ ├── 2576.txt │ │ ├── 2577.jpg │ │ ├── 2577.txt │ │ ├── 2578.jpg │ │ ├── 2578.txt │ │ ├── 2579.jpg │ │ ├── 2579.txt │ │ ├── 257.jpg │ │ ├── 257.txt │ │ ├── 2580.jpg │ │ ├── 2580.txt │ │ ├── 2581.jpg │ │ ├── 2581.txt │ │ ├── 2582.jpg │ │ ├── 2582.txt │ │ ├── 2583.jpg │ │ ├── 2583.txt │ │ ├── 2584.jpg │ │ ├── 2584.txt │ │ ├── 2585.jpg │ │ ├── 2585.txt │ │ ├── 2586.jpg │ │ ├── 2586.txt │ │ ├── 2587.jpg │ │ ├── 2587.txt │ │ ├── 2588.jpg │ │ ├── 2588.txt │ │ ├── 2589.jpg │ │ ├── 2589.txt │ │ ├── 258.jpg │ │ ├── 258.txt │ │ ├── 2590.jpg │ │ ├── 2590.txt │ │ ├── 2591.jpg │ │ ├── 2591.txt │ │ ├── 2592.jpg │ │ ├── 2592.txt │ │ ├── 2593.jpg │ │ ├── 2593.txt │ │ ├── 2594.jpg │ │ ├── 2594.txt │ │ ├── 2595.jpg │ │ ├── 2595.txt │ │ ├── 2596.jpg │ │ ├── 2596.txt │ │ ├── 2597.jpg │ │ ├── 2597.txt │ │ ├── 2598.jpg │ │ ├── 2598.txt │ │ ├── 2599.jpg │ │ ├── 2599.txt │ │ ├── 259.jpg │ │ ├── 259.txt │ │ ├── 25.jpg │ │ ├── 25.txt │ │ ├── 2600.jpg │ │ ├── 2600.txt │ │ ├── 2601.jpg │ │ ├── 2601.txt │ │ ├── 2602.jpg │ │ ├── 2602.txt │ │ ├── 2603.jpg │ │ ├── 2603.txt │ │ ├── 2604.jpg │ │ ├── 2604.txt │ │ ├── 2605.jpg │ │ ├── 2605.txt │ │ ├── 2606.jpg │ │ ├── 2606.txt │ │ ├── 2607.jpg │ │ ├── 2607.txt │ │ ├── 2608.jpg │ │ ├── 2608.txt │ │ ├── 2609.jpg │ │ ├── 2609.txt │ │ ├── 260.jpg │ │ ├── 260.txt │ │ ├── 2610.jpg │ │ ├── 2610.txt │ │ ├── 2611.jpg │ │ ├── 2611.txt │ │ ├── 2612.jpg │ │ ├── 2612.txt │ │ ├── 2613.jpg │ │ ├── 2613.txt │ │ ├── 2614.jpg │ │ ├── 2614.txt │ │ ├── 2615.jpg │ │ ├── 2615.txt │ │ ├── 2616.jpg │ │ ├── 2616.txt │ │ ├── 2617.jpg │ │ ├── 2617.txt │ │ ├── 2618.jpg │ │ ├── 2618.txt │ │ ├── 2619.jpg │ │ ├── 2619.txt │ │ ├── 261.jpg │ │ ├── 261.txt │ │ ├── 2620.jpg │ │ ├── 2620.txt │ │ ├── 2621.jpg │ │ ├── 2621.txt │ │ ├── 2622.jpg │ │ ├── 2622.txt │ │ ├── 2623.jpg │ │ ├── 2623.txt │ │ ├── 2624.jpg │ │ ├── 2624.txt │ │ ├── 2626.jpg │ │ ├── 2626.txt │ │ ├── 2627.jpg │ │ ├── 2627.txt │ │ ├── 2628.jpg │ │ ├── 2628.txt │ │ ├── 2629.jpg │ │ ├── 2629.txt │ │ ├── 262.jpg │ │ ├── 262.txt │ │ ├── 2630.jpg │ │ ├── 2630.txt │ │ ├── 2632.jpg │ │ ├── 2632.txt │ │ ├── 2633.jpg │ │ ├── 2633.txt │ │ ├── 2634.jpg │ │ ├── 2634.txt │ │ ├── 2635.jpg │ │ ├── 2635.txt │ │ ├── 2636.jpg │ │ ├── 2636.txt │ │ ├── 2637.jpg │ │ ├── 2637.txt │ │ ├── 2638.jpg │ │ ├── 2638.txt │ │ ├── 2639.jpg │ │ ├── 2639.txt │ │ ├── 263.jpg │ │ ├── 263.txt │ │ ├── 2640.jpg │ │ ├── 2640.txt │ │ ├── 2641.jpg │ │ ├── 2641.txt │ │ ├── 2642.jpg │ │ ├── 2642.txt │ │ ├── 2643.jpg │ │ ├── 2643.txt │ │ ├── 2644.jpg │ │ ├── 2644.txt │ │ ├── 2645.jpg │ │ ├── 2645.txt │ │ ├── 2646.jpg │ │ ├── 2646.txt │ │ ├── 2647.jpg │ │ ├── 2647.txt │ │ ├── 2648.jpg │ │ ├── 2648.txt │ │ ├── 264.jpg │ │ ├── 264.txt │ │ ├── 2650.jpg │ │ ├── 2650.txt │ │ ├── 2651.jpg │ │ ├── 2651.txt │ │ ├── 2653.jpg │ │ ├── 2653.txt │ │ ├── 2654.jpg │ │ ├── 2654.txt │ │ ├── 2655.jpg │ │ ├── 2655.txt │ │ ├── 2656.jpg │ │ ├── 2656.txt │ │ ├── 2657.jpg │ │ ├── 2657.txt │ │ ├── 2658.jpg │ │ ├── 2658.txt │ │ ├── 2659.jpg │ │ ├── 2659.txt │ │ ├── 265.jpg │ │ ├── 265.txt │ │ ├── 2660.jpg │ │ ├── 2660.txt │ │ ├── 2661.jpg │ │ ├── 2661.txt │ │ ├── 2662.jpg │ │ ├── 2662.txt │ │ ├── 2663.jpg │ │ ├── 2663.txt │ │ ├── 2664.jpg │ │ ├── 2664.txt │ │ ├── 2665.jpg │ │ ├── 2665.txt │ │ ├── 2666.jpg │ │ ├── 2666.txt │ │ ├── 2667.jpg │ │ ├── 2667.txt │ │ ├── 2668.jpg │ │ ├── 2668.txt │ │ ├── 2669.jpg │ │ ├── 2669.txt │ │ ├── 266.jpg │ │ ├── 266.txt │ │ ├── 2670.jpg │ │ ├── 2670.txt │ │ ├── 2671.jpg │ │ ├── 2671.txt │ │ ├── 2672.jpg │ │ ├── 2672.txt │ │ ├── 2673.jpg │ │ ├── 2673.txt │ │ ├── 2674.jpg │ │ ├── 2674.txt │ │ ├── 2675.jpg │ │ ├── 2675.txt │ │ ├── 2676.jpg │ │ ├── 2676.txt │ │ ├── 2677.jpg │ │ ├── 2677.txt │ │ ├── 2678.jpg │ │ ├── 2678.txt │ │ ├── 2679.jpg │ │ ├── 2679.txt │ │ ├── 267.jpg │ │ ├── 267.txt │ │ ├── 2680.jpg │ │ ├── 2680.txt │ │ ├── 2683.jpg │ │ ├── 2683.txt │ │ ├── 2684.jpg │ │ ├── 2684.txt │ │ ├── 2685.jpg │ │ ├── 2685.txt │ │ ├── 2686.jpg │ │ ├── 2686.txt │ │ ├── 2687.jpg │ │ ├── 2687.txt │ │ ├── 2688.jpg │ │ ├── 2688.txt │ │ ├── 2689.jpg │ │ ├── 2689.txt │ │ ├── 268.jpg │ │ ├── 268.txt │ │ ├── 2690.jpg │ │ ├── 2690.txt │ │ ├── 2691.jpg │ │ ├── 2691.txt │ │ ├── 2692.jpg │ │ ├── 2692.txt │ │ ├── 2693.jpg │ │ ├── 2693.txt │ │ ├── 2694.jpg │ │ ├── 2694.txt │ │ ├── 2695.jpg │ │ ├── 2695.txt │ │ ├── 2696.jpg │ │ ├── 2696.txt │ │ ├── 2697.jpg │ │ ├── 2697.txt │ │ ├── 2698.jpg │ │ ├── 2698.txt │ │ ├── 2699.jpg │ │ ├── 2699.txt │ │ ├── 269.jpg │ │ ├── 269.txt │ │ ├── 26.jpg │ │ ├── 26.txt │ │ ├── 2700.jpg │ │ ├── 2700.txt │ │ ├── 2701.jpg │ │ ├── 2701.txt │ │ ├── 2702.jpg │ │ ├── 2702.txt │ │ ├── 2703.jpg │ │ ├── 2703.txt │ │ ├── 2704.jpg │ │ ├── 2704.txt │ │ ├── 2705.jpg │ │ ├── 2705.txt │ │ ├── 2706.jpg │ │ ├── 2706.txt │ │ ├── 2707.jpg │ │ ├── 2707.txt │ │ ├── 2708.jpg │ │ ├── 2708.txt │ │ ├── 2709.jpg │ │ ├── 2709.txt │ │ ├── 270.jpg │ │ ├── 270.txt │ │ ├── 2710.jpg │ │ ├── 2710.txt │ │ ├── 2711.jpg │ │ ├── 2711.txt │ │ ├── 2712.jpg │ │ ├── 2712.txt │ │ ├── 2713.jpg │ │ ├── 2713.txt │ │ ├── 2714.jpg │ │ ├── 2714.txt │ │ ├── 2715.jpg │ │ ├── 2715.txt │ │ ├── 2716.jpg │ │ ├── 2716.txt │ │ ├── 2717.jpg │ │ ├── 2717.txt │ │ ├── 2718.jpg │ │ ├── 2718.txt │ │ ├── 2719.jpg │ │ ├── 2719.txt │ │ ├── 271.jpg │ │ ├── 271.txt │ │ ├── 2720.jpg │ │ ├── 2720.txt │ │ ├── 2721.jpg │ │ ├── 2721.txt │ │ ├── 2723.jpg │ │ ├── 2723.txt │ │ ├── 2724.jpg │ │ ├── 2724.txt │ │ ├── 2725.jpg │ │ ├── 2725.txt │ │ ├── 2726.jpg │ │ ├── 2726.txt │ │ ├── 2727.jpg │ │ ├── 2727.txt │ │ ├── 2728.jpg │ │ ├── 2728.txt │ │ ├── 2729.jpg │ │ ├── 2729.txt │ │ ├── 272.jpg │ │ ├── 272.txt │ │ ├── 2730.jpg │ │ ├── 2730.txt │ │ ├── 2731.jpg │ │ ├── 2731.txt │ │ ├── 2732.jpg │ │ ├── 2732.txt │ │ ├── 2734.jpg │ │ ├── 2734.txt │ │ ├── 2735.jpg │ │ ├── 2735.txt │ │ ├── 2736.jpg │ │ ├── 2736.txt │ │ ├── 2737.jpg │ │ ├── 2737.txt │ │ ├── 2738.jpg │ │ ├── 2738.txt │ │ ├── 2739.jpg │ │ ├── 2739.txt │ │ ├── 273.jpg │ │ ├── 273.txt │ │ ├── 2740.jpg │ │ ├── 2740.txt │ │ ├── 2741.jpg │ │ ├── 2741.txt │ │ ├── 2742.jpg │ │ ├── 2742.txt │ │ ├── 2743.jpg │ │ ├── 2743.txt │ │ ├── 2744.jpg │ │ ├── 2744.txt │ │ ├── 2745.jpg │ │ ├── 2745.txt │ │ ├── 2746.jpg │ │ ├── 2746.txt │ │ ├── 2747.jpg │ │ ├── 2747.txt │ │ ├── 2748.jpg │ │ ├── 2748.txt │ │ ├── 2749.jpg │ │ ├── 2749.txt │ │ ├── 274.jpg │ │ ├── 274.txt │ │ ├── 2750.jpg │ │ ├── 2750.txt │ │ ├── 2751.jpg │ │ ├── 2751.txt │ │ ├── 2752.jpg │ │ ├── 2752.txt │ │ ├── 2753.jpg │ │ ├── 2753.txt │ │ ├── 2754.jpg │ │ ├── 2754.txt │ │ ├── 2755.jpg │ │ ├── 2755.txt │ │ ├── 2757.jpg │ │ ├── 2757.txt │ │ ├── 2758.jpg │ │ ├── 2758.txt │ │ ├── 275.jpg │ │ ├── 275.txt │ │ ├── 2760.jpg │ │ ├── 2760.txt │ │ ├── 2761.jpg │ │ ├── 2761.txt │ │ ├── 2762.jpg │ │ ├── 2762.txt │ │ ├── 2763.jpg │ │ ├── 2763.txt │ │ ├── 2764.jpg │ │ ├── 2764.txt │ │ ├── 2765.jpg │ │ ├── 2765.txt │ │ ├── 2766.jpg │ │ ├── 2766.txt │ │ ├── 2767.jpg │ │ ├── 2767.txt │ │ ├── 2768.jpg │ │ ├── 2768.txt │ │ ├── 2769.jpg │ │ ├── 2769.txt │ │ ├── 276.jpg │ │ ├── 276.txt │ │ ├── 2770.jpg │ │ ├── 2770.txt │ │ ├── 2771.jpg │ │ ├── 2771.txt │ │ ├── 2772.jpg │ │ ├── 2772.txt │ │ ├── 2773.jpg │ │ ├── 2773.txt │ │ ├── 2774.jpg │ │ ├── 2774.txt │ │ ├── 2775.jpg │ │ ├── 2775.txt │ │ ├── 2776.jpg │ │ ├── 2776.txt │ │ ├── 2778.jpg │ │ ├── 2778.txt │ │ ├── 277.jpg │ │ ├── 277.txt │ │ ├── 2780.jpg │ │ ├── 2780.txt │ │ ├── 2781.jpg │ │ ├── 2781.txt │ │ ├── 2782.jpg │ │ ├── 2782.txt │ │ ├── 2783.jpg │ │ ├── 2783.txt │ │ ├── 2784.jpg │ │ ├── 2784.txt │ │ ├── 2785.jpg │ │ ├── 2785.txt │ │ ├── 2786.jpg │ │ ├── 2786.txt │ │ ├── 2787.jpg │ │ ├── 2787.txt │ │ ├── 2788.jpg │ │ ├── 2788.txt │ │ ├── 2789.jpg │ │ ├── 2789.txt │ │ ├── 278.jpg │ │ ├── 278.txt │ │ ├── 2790.jpg │ │ ├── 2790.txt │ │ ├── 2791.jpg │ │ ├── 2791.txt │ │ ├── 2792.jpg │ │ ├── 2792.txt │ │ ├── 2793.jpg │ │ ├── 2793.txt │ │ ├── 2794.jpg │ │ ├── 2794.txt │ │ ├── 2795.jpg │ │ ├── 2795.txt │ │ ├── 2796.jpg │ │ ├── 2796.txt │ │ ├── 2797.jpg │ │ ├── 2797.txt │ │ ├── 2798.jpg │ │ ├── 2798.txt │ │ ├── 2799.jpg │ │ ├── 2799.txt │ │ ├── 279.jpg │ │ ├── 279.txt │ │ ├── 27.jpg │ │ ├── 27.txt │ │ ├── 2800.jpg │ │ ├── 2800.txt │ │ ├── 2801.jpg │ │ ├── 2801.txt │ │ ├── 2803.jpg │ │ ├── 2803.txt │ │ ├── 2804.jpg │ │ ├── 2804.txt │ │ ├── 2806.jpg │ │ ├── 2806.txt │ │ ├── 2807.jpg │ │ ├── 2807.txt │ │ ├── 2808.jpg │ │ ├── 2808.txt │ │ ├── 2809.jpg │ │ ├── 2809.txt │ │ ├── 280.jpg │ │ ├── 280.txt │ │ ├── 2810.jpg │ │ ├── 2810.txt │ │ ├── 2811.jpg │ │ ├── 2811.txt │ │ ├── 2812.jpg │ │ ├── 2812.txt │ │ ├── 2813.jpg │ │ ├── 2813.txt │ │ ├── 2814.jpg │ │ ├── 2814.txt │ │ ├── 2815.jpg │ │ ├── 2815.txt │ │ ├── 2816.jpg │ │ ├── 2816.txt │ │ ├── 2817.jpg │ │ ├── 2817.txt │ │ ├── 2818.jpg │ │ ├── 2818.txt │ │ ├── 2819.jpg │ │ ├── 2819.txt │ │ ├── 281.jpg │ │ ├── 281.txt │ │ ├── 2820.jpg │ │ ├── 2820.txt │ │ ├── 2821.jpg │ │ ├── 2821.txt │ │ ├── 2822.jpg │ │ ├── 2822.txt │ │ ├── 2823.jpg │ │ ├── 2823.txt │ │ ├── 2824.jpg │ │ ├── 2824.txt │ │ ├── 2826.jpg │ │ ├── 2826.txt │ │ ├── 2827.jpg │ │ ├── 2827.txt │ │ ├── 2828.jpg │ │ ├── 2828.txt │ │ ├── 2829.jpg │ │ ├── 2829.txt │ │ ├── 282.jpg │ │ ├── 282.txt │ │ ├── 2830.jpg │ │ ├── 2830.txt │ │ ├── 2832.jpg │ │ ├── 2832.txt │ │ ├── 2833.jpg │ │ ├── 2833.txt │ │ ├── 2836.jpg │ │ ├── 2836.txt │ │ ├── 2837.jpg │ │ ├── 2837.txt │ │ ├── 2838.jpg │ │ ├── 2838.txt │ │ ├── 2839.jpg │ │ ├── 2839.txt │ │ ├── 283.jpg │ │ ├── 283.txt │ │ ├── 2840.jpg │ │ ├── 2840.txt │ │ ├── 2841.jpg │ │ ├── 2841.txt │ │ ├── 2842.jpg │ │ ├── 2842.txt │ │ ├── 2843.jpg │ │ ├── 2843.txt │ │ ├── 2844.jpg │ │ ├── 2844.txt │ │ ├── 2845.jpg │ │ ├── 2845.txt │ │ ├── 2846.jpg │ │ ├── 2846.txt │ │ ├── 2847.jpg │ │ ├── 2847.txt │ │ ├── 2848.jpg │ │ ├── 2848.txt │ │ ├── 2849.jpg │ │ ├── 2849.txt │ │ ├── 284.jpg │ │ ├── 284.txt │ │ ├── 2850.jpg │ │ ├── 2850.txt │ │ ├── 2851.jpg │ │ ├── 2851.txt │ │ ├── 2852.jpg │ │ ├── 2852.txt │ │ ├── 2853.jpg │ │ ├── 2853.txt │ │ ├── 2854.jpg │ │ ├── 2854.txt │ │ ├── 2855.jpg │ │ ├── 2855.txt │ │ ├── 2856.jpg │ │ ├── 2856.txt │ │ ├── 2858.jpg │ │ ├── 2858.txt │ │ ├── 2859.jpg │ │ ├── 2859.txt │ │ ├── 285.jpg │ │ ├── 285.txt │ │ ├── 2860.jpg │ │ ├── 2860.txt │ │ ├── 2861.jpg │ │ ├── 2861.txt │ │ ├── 2862.jpg │ │ ├── 2862.txt │ │ ├── 2863.jpg │ │ ├── 2863.txt │ │ ├── 2864.jpg │ │ ├── 2864.txt │ │ ├── 2865.jpg │ │ ├── 2865.txt │ │ ├── 2866.jpg │ │ ├── 2866.txt │ │ ├── 2867.jpg │ │ ├── 2867.txt │ │ ├── 2868.jpg │ │ ├── 2868.txt │ │ ├── 2869.jpg │ │ ├── 2869.txt │ │ ├── 286.jpg │ │ ├── 286.txt │ │ ├── 2870.jpg │ │ ├── 2870.txt │ │ ├── 2871.jpg │ │ ├── 2871.txt │ │ ├── 2872.jpg │ │ ├── 2872.txt │ │ ├── 2873.jpg │ │ ├── 2873.txt │ │ ├── 2874.jpg │ │ ├── 2874.txt │ │ ├── 2875.jpg │ │ ├── 2875.txt │ │ ├── 2877.jpg │ │ ├── 2877.txt │ │ ├── 2878.jpg │ │ ├── 2878.txt │ │ ├── 2879.jpg │ │ ├── 2879.txt │ │ ├── 287.jpg │ │ ├── 287.txt │ │ ├── 2880.jpg │ │ ├── 2880.txt │ │ ├── 2881.jpg │ │ ├── 2881.txt │ │ ├── 2882.jpg │ │ ├── 2882.txt │ │ ├── 2883.jpg │ │ ├── 2883.txt │ │ ├── 2884.jpg │ │ ├── 2884.txt │ │ ├── 2885.jpg │ │ ├── 2885.txt │ │ ├── 2886.jpg │ │ ├── 2886.txt │ │ ├── 2887.jpg │ │ ├── 2887.txt │ │ ├── 2888.jpg │ │ ├── 2888.txt │ │ ├── 288.jpg │ │ ├── 288.txt │ │ ├── 2890.jpg │ │ ├── 2890.txt │ │ ├── 2891.jpg │ │ ├── 2891.txt │ │ ├── 2892.jpg │ │ ├── 2892.txt │ │ ├── 2893.jpg │ │ ├── 2893.txt │ │ ├── 2894.jpg │ │ ├── 2894.txt │ │ ├── 2895.jpg │ │ ├── 2895.txt │ │ ├── 2896.jpg │ │ ├── 2896.txt │ │ ├── 2897.jpg │ │ ├── 2897.txt │ │ ├── 2898.jpg │ │ ├── 2898.txt │ │ ├── 2899.jpg │ │ ├── 2899.txt │ │ ├── 289.jpg │ │ ├── 289.txt │ │ ├── 28.jpg │ │ ├── 28.txt │ │ ├── 2900.jpg │ │ ├── 2900.txt │ │ ├── 2901.jpg │ │ ├── 2901.txt │ │ ├── 2902.jpg │ │ ├── 2902.txt │ │ ├── 2903.jpg │ │ ├── 2903.txt │ │ ├── 2904.jpg │ │ ├── 2904.txt │ │ ├── 2905.jpg │ │ ├── 2905.txt │ │ ├── 2907.jpg │ │ ├── 2907.txt │ │ ├── 2908.jpg │ │ ├── 2908.txt │ │ ├── 290.jpg │ │ ├── 290.txt │ │ ├── 2910.jpg │ │ ├── 2910.txt │ │ ├── 2911.jpg │ │ ├── 2911.txt │ │ ├── 2912.jpg │ │ ├── 2912.txt │ │ ├── 2913.jpg │ │ ├── 2913.txt │ │ ├── 2914.jpg │ │ ├── 2914.txt │ │ ├── 2915.jpg │ │ ├── 2915.txt │ │ ├── 2916.jpg │ │ ├── 2916.txt │ │ ├── 2917.jpg │ │ ├── 2917.txt │ │ ├── 2918.jpg │ │ ├── 2918.txt │ │ ├── 2919.jpg │ │ ├── 2919.txt │ │ ├── 291.jpg │ │ ├── 291.txt │ │ ├── 2920.jpg │ │ ├── 2920.txt │ │ ├── 2922.jpg │ │ ├── 2922.txt │ │ ├── 2923.jpg │ │ ├── 2923.txt │ │ ├── 2924.jpg │ │ ├── 2924.txt │ │ ├── 2925.jpg │ │ ├── 2925.txt │ │ ├── 2926.jpg │ │ ├── 2926.txt │ │ ├── 2927.jpg │ │ ├── 2927.txt │ │ ├── 2928.jpg │ │ ├── 2928.txt │ │ ├── 2929.jpg │ │ ├── 2929.txt │ │ ├── 292.jpg │ │ ├── 292.txt │ │ ├── 2930.jpg │ │ ├── 2930.txt │ │ ├── 2931.jpg │ │ ├── 2931.txt │ │ ├── 2932.jpg │ │ ├── 2932.txt │ │ ├── 2933.jpg │ │ ├── 2933.txt │ │ ├── 2934.jpg │ │ ├── 2934.txt │ │ ├── 2935.jpg │ │ ├── 2935.txt │ │ ├── 2936.jpg │ │ ├── 2936.txt │ │ ├── 2937.jpg │ │ ├── 2937.txt │ │ ├── 2938.jpg │ │ ├── 2938.txt │ │ ├── 2939.jpg │ │ ├── 2939.txt │ │ ├── 293.jpg │ │ ├── 293.txt │ │ ├── 2940.jpg │ │ ├── 2940.txt │ │ ├── 2941.jpg │ │ ├── 2941.txt │ │ ├── 2942.jpg │ │ ├── 2942.txt │ │ ├── 2943.jpg │ │ ├── 2943.txt │ │ ├── 2944.jpg │ │ ├── 2944.txt │ │ ├── 2945.jpg │ │ ├── 2945.txt │ │ ├── 2946.jpg │ │ ├── 2946.txt │ │ ├── 2947.jpg │ │ ├── 2947.txt │ │ ├── 2948.jpg │ │ ├── 2948.txt │ │ ├── 2949.jpg │ │ ├── 2949.txt │ │ ├── 294.jpg │ │ ├── 294.txt │ │ ├── 2950.jpg │ │ ├── 2950.txt │ │ ├── 2951.jpg │ │ ├── 2951.txt │ │ ├── 2952.jpg │ │ ├── 2952.txt │ │ ├── 2953.jpg │ │ ├── 2953.txt │ │ ├── 2954.jpg │ │ ├── 2954.txt │ │ ├── 2955.jpg │ │ ├── 2955.txt │ │ ├── 2956.jpg │ │ ├── 2956.txt │ │ ├── 2957.jpg │ │ ├── 2957.txt │ │ ├── 2958.jpg │ │ ├── 2958.txt │ │ ├── 2959.jpg │ │ ├── 2959.txt │ │ ├── 295.jpg │ │ ├── 295.txt │ │ ├── 2960.jpg │ │ ├── 2960.txt │ │ ├── 2961.jpg │ │ ├── 2961.txt │ │ ├── 2962.jpg │ │ ├── 2962.txt │ │ ├── 2963.jpg │ │ ├── 2963.txt │ │ ├── 2964.jpg │ │ ├── 2964.txt │ │ ├── 2965.jpg │ │ ├── 2965.txt │ │ ├── 2966.jpg │ │ ├── 2966.txt │ │ ├── 2967.jpg │ │ ├── 2967.txt │ │ ├── 2968.jpg │ │ ├── 2968.txt │ │ ├── 2969.jpg │ │ ├── 2969.txt │ │ ├── 296.jpg │ │ ├── 296.txt │ │ ├── 2970.jpg │ │ ├── 2970.txt │ │ ├── 2971.jpg │ │ ├── 2971.txt │ │ ├── 2972.jpg │ │ ├── 2972.txt │ │ ├── 2973.jpg │ │ ├── 2973.txt │ │ ├── 2974.jpg │ │ ├── 2974.txt │ │ ├── 2975.jpg │ │ ├── 2975.txt │ │ ├── 2976.jpg │ │ ├── 2976.txt │ │ ├── 2977.jpg │ │ ├── 2977.txt │ │ ├── 2978.jpg │ │ ├── 2978.txt │ │ ├── 2979.jpg │ │ ├── 2979.txt │ │ ├── 297.jpg │ │ ├── 297.txt │ │ ├── 2980.jpg │ │ ├── 2980.txt │ │ ├── 2981.jpg │ │ ├── 2981.txt │ │ ├── 2982.jpg │ │ ├── 2982.txt │ │ ├── 2983.jpg │ │ ├── 2983.txt │ │ ├── 2984.jpg │ │ ├── 2984.txt │ │ ├── 2985.jpg │ │ ├── 2985.txt │ │ ├── 2986.jpg │ │ ├── 2986.txt │ │ ├── 2987.jpg │ │ ├── 2987.txt │ │ ├── 2988.jpg │ │ ├── 2988.txt │ │ ├── 2989.jpg │ │ ├── 2989.txt │ │ ├── 298.jpg │ │ ├── 298.txt │ │ ├── 2990.jpg │ │ ├── 2990.txt │ │ ├── 2991.jpg │ │ ├── 2991.txt │ │ ├── 2992.jpg │ │ ├── 2992.txt │ │ ├── 2993.jpg │ │ ├── 2993.txt │ │ ├── 2994.jpg │ │ ├── 2994.txt │ │ ├── 2995.jpg │ │ ├── 2995.txt │ │ ├── 2996.jpg │ │ ├── 2996.txt │ │ ├── 2997.jpg │ │ ├── 2997.txt │ │ ├── 2998.jpg │ │ ├── 2998.txt │ │ ├── 2999.jpg │ │ ├── 2999.txt │ │ ├── 299.jpg │ │ ├── 299.txt │ │ ├── 29.jpg │ │ ├── 29.txt │ │ ├── 2.jpg │ │ ├── 2.txt │ │ ├── 3001.jpg │ │ ├── 3001.txt │ │ ├── 3002.jpg │ │ ├── 3002.txt │ │ ├── 3003.jpg │ │ ├── 3003.txt │ │ ├── 3004.jpg │ │ ├── 3004.txt │ │ ├── 3005.jpg │ │ ├── 3005.txt │ │ ├── 3006.jpg │ │ ├── 3006.txt │ │ ├── 3007.jpg │ │ ├── 3007.txt │ │ ├── 3008.jpg │ │ ├── 3008.txt │ │ ├── 3009.jpg │ │ ├── 3009.txt │ │ ├── 300.jpg │ │ ├── 300.txt │ │ ├── 3010.jpg │ │ ├── 3010.txt │ │ ├── 3012.jpg │ │ ├── 3012.txt │ │ ├── 3013.jpg │ │ ├── 3013.txt │ │ ├── 3014.jpg │ │ ├── 3014.txt │ │ ├── 3015.jpg │ │ ├── 3015.txt │ │ ├── 3016.jpg │ │ ├── 3016.txt │ │ ├── 3017.jpg │ │ ├── 3017.txt │ │ ├── 3018.jpg │ │ ├── 3018.txt │ │ ├── 3019.jpg │ │ ├── 3019.txt │ │ ├── 301.jpg │ │ ├── 301.txt │ │ ├── 3020.jpg │ │ ├── 3020.txt │ │ ├── 3021.jpg │ │ ├── 3021.txt │ │ ├── 3022.jpg │ │ ├── 3022.txt │ │ ├── 3023.jpg │ │ ├── 3023.txt │ │ ├── 3024.jpg │ │ ├── 3024.txt │ │ ├── 3025.jpg │ │ ├── 3025.txt │ │ ├── 3026.jpg │ │ ├── 3026.txt │ │ ├── 3027.jpg │ │ ├── 3027.txt │ │ ├── 3028.jpg │ │ ├── 3028.txt │ │ ├── 3029.jpg │ │ ├── 3029.txt │ │ ├── 302.jpg │ │ ├── 302.txt │ │ ├── 3030.jpg │ │ ├── 3030.txt │ │ ├── 3031.jpg │ │ ├── 3031.txt │ │ ├── 3032.jpg │ │ ├── 3032.txt │ │ ├── 3033.jpg │ │ ├── 3033.txt │ │ ├── 3034.jpg │ │ ├── 3034.txt │ │ ├── 3035.jpg │ │ ├── 3035.txt │ │ ├── 3036.jpg │ │ ├── 3036.txt │ │ ├── 3037.jpg │ │ ├── 3037.txt │ │ ├── 3038.jpg │ │ ├── 3038.txt │ │ ├── 3039.jpg │ │ ├── 3039.txt │ │ ├── 303.jpg │ │ ├── 303.txt │ │ ├── 3040.jpg │ │ ├── 3040.txt │ │ ├── 3041.jpg │ │ ├── 3041.txt │ │ ├── 3042.jpg │ │ ├── 3042.txt │ │ ├── 3043.jpg │ │ ├── 3043.txt │ │ ├── 3044.jpg │ │ ├── 3044.txt │ │ ├── 3045.jpg │ │ ├── 3045.txt │ │ ├── 3046.jpg │ │ ├── 3046.txt │ │ ├── 3047.jpg │ │ ├── 3047.txt │ │ ├── 3048.jpg │ │ ├── 3048.txt │ │ ├── 3049.jpg │ │ ├── 3049.txt │ │ ├── 304.jpg │ │ ├── 304.txt │ │ ├── 3050.jpg │ │ ├── 3050.txt │ │ ├── 3051.jpg │ │ ├── 3051.txt │ │ ├── 3052.jpg │ │ ├── 3052.txt │ │ ├── 3055.jpg │ │ ├── 3055.txt │ │ ├── 3056.jpg │ │ ├── 3056.txt │ │ ├── 3057.jpg │ │ ├── 3057.txt │ │ ├── 3058.jpg │ │ ├── 3058.txt │ │ ├── 3059.jpg │ │ ├── 3059.txt │ │ ├── 305.jpg │ │ ├── 305.txt │ │ ├── 3060.jpg │ │ ├── 3060.txt │ │ ├── 3061.jpg │ │ ├── 3061.txt │ │ ├── 3062.jpg │ │ ├── 3062.txt │ │ ├── 3063.jpg │ │ ├── 3063.txt │ │ ├── 3064.jpg │ │ ├── 3064.txt │ │ ├── 3065.jpg │ │ ├── 3065.txt │ │ ├── 3066.jpg │ │ ├── 3066.txt │ │ ├── 3067.jpg │ │ ├── 3067.txt │ │ ├── 3068.jpg │ │ ├── 3068.txt │ │ ├── 3069.jpg │ │ ├── 3069.txt │ │ ├── 306.jpg │ │ ├── 306.txt │ │ ├── 3070.jpg │ │ ├── 3070.txt │ │ ├── 3071.jpg │ │ ├── 3071.txt │ │ ├── 3072.jpg │ │ ├── 3072.txt │ │ ├── 3073.jpg │ │ ├── 3073.txt │ │ ├── 3074.jpg │ │ ├── 3074.txt │ │ ├── 3075.jpg │ │ ├── 3075.txt │ │ ├── 3076.jpg │ │ ├── 3076.txt │ │ ├── 3077.jpg │ │ ├── 3077.txt │ │ ├── 3078.jpg │ │ ├── 3078.txt │ │ ├── 3079.jpg │ │ ├── 3079.txt │ │ ├── 307.jpg │ │ ├── 307.txt │ │ ├── 3080.jpg │ │ ├── 3080.txt │ │ ├── 3081.jpg │ │ ├── 3081.txt │ │ ├── 3082.jpg │ │ ├── 3082.txt │ │ ├── 3083.jpg │ │ ├── 3083.txt │ │ ├── 3085.jpg │ │ ├── 3085.txt │ │ ├── 3086.jpg │ │ ├── 3086.txt │ │ ├── 3087.jpg │ │ ├── 3087.txt │ │ ├── 3088.jpg │ │ ├── 3088.txt │ │ ├── 3089.jpg │ │ ├── 3089.txt │ │ ├── 308.jpg │ │ ├── 308.txt │ │ ├── 3090.jpg │ │ ├── 3090.txt │ │ ├── 3091.jpg │ │ ├── 3091.txt │ │ ├── 3092.jpg │ │ ├── 3092.txt │ │ ├── 3093.jpg │ │ ├── 3093.txt │ │ ├── 3094.jpg │ │ ├── 3094.txt │ │ ├── 3095.jpg │ │ ├── 3095.txt │ │ ├── 3096.jpg │ │ ├── 3096.txt │ │ ├── 3097.jpg │ │ ├── 3097.txt │ │ ├── 3098.jpg │ │ ├── 3098.txt │ │ ├── 3099.jpg │ │ ├── 3099.txt │ │ ├── 309.jpg │ │ ├── 309.txt │ │ ├── 30.jpg │ │ ├── 30.txt │ │ ├── 3100.jpg │ │ ├── 3100.txt │ │ ├── 3101.jpg │ │ ├── 3101.txt │ │ ├── 3102.jpg │ │ ├── 3102.txt │ │ ├── 3103.jpg │ │ ├── 3103.txt │ │ ├── 3104.jpg │ │ ├── 3104.txt │ │ ├── 3105.jpg │ │ ├── 3105.txt │ │ ├── 3106.jpg │ │ ├── 3106.txt │ │ ├── 3107.jpg │ │ ├── 3107.txt │ │ ├── 3108.jpg │ │ ├── 3108.txt │ │ ├── 3109.jpg │ │ ├── 3109.txt │ │ ├── 310.jpg │ │ ├── 310.txt │ │ ├── 3110.jpg │ │ ├── 3110.txt │ │ ├── 3111.jpg │ │ ├── 3111.txt │ │ ├── 3112.jpg │ │ ├── 3112.txt │ │ ├── 3113.jpg │ │ ├── 3113.txt │ │ ├── 3114.jpg │ │ ├── 3114.txt │ │ ├── 3115.jpg │ │ ├── 3115.txt │ │ ├── 3116.jpg │ │ ├── 3116.txt │ │ ├── 3117.jpg │ │ ├── 3117.txt │ │ ├── 3118.jpg │ │ ├── 3118.txt │ │ ├── 3119.jpg │ │ ├── 3119.txt │ │ ├── 311.jpg │ │ ├── 311.txt │ │ ├── 3120.jpg │ │ ├── 3120.txt │ │ ├── 3121.jpg │ │ ├── 3121.txt │ │ ├── 3122.jpg │ │ ├── 3122.txt │ │ ├── 3123.jpg │ │ ├── 3123.txt │ │ ├── 3124.jpg │ │ ├── 3124.txt │ │ ├── 3125.jpg │ │ ├── 3125.txt │ │ ├── 3126.jpg │ │ ├── 3126.txt │ │ ├── 3127.jpg │ │ ├── 3127.txt │ │ ├── 3128.jpg │ │ ├── 3128.txt │ │ ├── 3129.jpg │ │ ├── 3129.txt │ │ ├── 312.jpg │ │ ├── 312.txt │ │ ├── 3130.jpg │ │ ├── 3130.txt │ │ ├── 3131.jpg │ │ ├── 3131.txt │ │ ├── 3132.jpg │ │ ├── 3132.txt │ │ ├── 3133.jpg │ │ ├── 3133.txt │ │ ├── 3134.jpg │ │ ├── 3134.txt │ │ ├── 3135.jpg │ │ ├── 3135.txt │ │ ├── 3136.jpg │ │ ├── 3136.txt │ │ ├── 3137.jpg │ │ ├── 3137.txt │ │ ├── 3138.jpg │ │ ├── 3138.txt │ │ ├── 3139.jpg │ │ ├── 3139.txt │ │ ├── 313.jpg │ │ ├── 313.txt │ │ ├── 3140.jpg │ │ ├── 3140.txt │ │ ├── 3141.jpg │ │ ├── 3141.txt │ │ ├── 3142.jpg │ │ ├── 3142.txt │ │ ├── 3143.jpg │ │ ├── 3143.txt │ │ ├── 3144.jpg │ │ ├── 3144.txt │ │ ├── 3146.jpg │ │ ├── 3146.txt │ │ ├── 3147.jpg │ │ ├── 3147.txt │ │ ├── 3148.jpg │ │ ├── 3148.txt │ │ ├── 3149.jpg │ │ ├── 3149.txt │ │ ├── 314.jpg │ │ ├── 314.txt │ │ ├── 3150.jpg │ │ ├── 3150.txt │ │ ├── 3151.jpg │ │ ├── 3151.txt │ │ ├── 3152.jpg │ │ ├── 3152.txt │ │ ├── 3154.jpg │ │ ├── 3154.txt │ │ ├── 3155.jpg │ │ ├── 3155.txt │ │ ├── 3156.jpg │ │ ├── 3156.txt │ │ ├── 3157.jpg │ │ ├── 3157.txt │ │ ├── 3159.jpg │ │ ├── 3159.txt │ │ ├── 315.jpg │ │ ├── 315.txt │ │ ├── 3160.jpg │ │ ├── 3160.txt │ │ ├── 3161.jpg │ │ ├── 3161.txt │ │ ├── 3162.jpg │ │ ├── 3162.txt │ │ ├── 3163.jpg │ │ ├── 3163.txt │ │ ├── 3164.jpg │ │ ├── 3164.txt │ │ ├── 3165.jpg │ │ ├── 3165.txt │ │ ├── 3166.jpg │ │ ├── 3166.txt │ │ ├── 3167.jpg │ │ ├── 3167.txt │ │ ├── 3168.jpg │ │ ├── 3168.txt │ │ ├── 3169.jpg │ │ ├── 3169.txt │ │ ├── 316.jpg │ │ ├── 316.txt │ │ ├── 3170.jpg │ │ ├── 3170.txt │ │ ├── 3171.jpg │ │ ├── 3171.txt │ │ ├── 3172.jpg │ │ ├── 3172.txt │ │ ├── 3173.jpg │ │ ├── 3173.txt │ │ ├── 3174.jpg │ │ ├── 3174.txt │ │ ├── 3175.jpg │ │ ├── 3175.txt │ │ ├── 3176.jpg │ │ ├── 3176.txt │ │ ├── 3177.jpg │ │ ├── 3177.txt │ │ ├── 3178.jpg │ │ ├── 3178.txt │ │ ├── 3179.jpg │ │ ├── 3179.txt │ │ ├── 317.jpg │ │ ├── 317.txt │ │ ├── 3180.jpg │ │ ├── 3180.txt │ │ ├── 3181.jpg │ │ ├── 3181.txt │ │ ├── 3182.jpg │ │ ├── 3182.txt │ │ ├── 3183.jpg │ │ ├── 3183.txt │ │ ├── 3184.jpg │ │ ├── 3184.txt │ │ ├── 3185.jpg │ │ ├── 3185.txt │ │ ├── 3186.jpg │ │ ├── 3186.txt │ │ ├── 3187.jpg │ │ ├── 3187.txt │ │ ├── 3188.jpg │ │ ├── 3188.txt │ │ ├── 318.jpg │ │ ├── 318.txt │ │ ├── 3190.jpg │ │ ├── 3190.txt │ │ ├── 3191.jpg │ │ ├── 3191.txt │ │ ├── 3192.jpg │ │ ├── 3192.txt │ │ ├── 3193.jpg │ │ ├── 3193.txt │ │ ├── 3194.jpg │ │ ├── 3194.txt │ │ ├── 3195.jpg │ │ ├── 3195.txt │ │ ├── 3196.jpg │ │ ├── 3196.txt │ │ ├── 3197.jpg │ │ ├── 3197.txt │ │ ├── 3198.jpg │ │ ├── 3198.txt │ │ ├── 3199.jpg │ │ ├── 3199.txt │ │ ├── 319.jpg │ │ ├── 319.txt │ │ ├── 31.jpg │ │ ├── 31.txt │ │ ├── 3200.jpg │ │ ├── 3200.txt │ │ ├── 3201.jpg │ │ ├── 3201.txt │ │ ├── 3202.jpg │ │ ├── 3202.txt │ │ ├── 3203.jpg │ │ ├── 3203.txt │ │ ├── 3204.jpg │ │ ├── 3204.txt │ │ ├── 3205.jpg │ │ ├── 3205.txt │ │ ├── 3206.jpg │ │ ├── 3206.txt │ │ ├── 3207.jpg │ │ ├── 3207.txt │ │ ├── 3208.jpg │ │ ├── 3208.txt │ │ ├── 3209.jpg │ │ ├── 3209.txt │ │ ├── 320.jpg │ │ ├── 320.txt │ │ ├── 3210.jpg │ │ ├── 3210.txt │ │ ├── 3211.jpg │ │ ├── 3211.txt │ │ ├── 3212.jpg │ │ ├── 3212.txt │ │ ├── 3213.jpg │ │ ├── 3213.txt │ │ ├── 3214.jpg │ │ ├── 3214.txt │ │ ├── 3215.jpg │ │ ├── 3215.txt │ │ ├── 3216.jpg │ │ ├── 3216.txt │ │ ├── 3217.jpg │ │ ├── 3217.txt │ │ ├── 3218.jpg │ │ ├── 3218.txt │ │ ├── 3219.jpg │ │ ├── 3219.txt │ │ ├── 321.jpg │ │ ├── 321.txt │ │ ├── 3220.jpg │ │ ├── 3220.txt │ │ ├── 3221.jpg │ │ ├── 3221.txt │ │ ├── 3222.jpg │ │ ├── 3222.txt │ │ ├── 3223.jpg │ │ ├── 3223.txt │ │ ├── 3224.jpg │ │ ├── 3224.txt │ │ ├── 3225.jpg │ │ ├── 3225.txt │ │ ├── 3226.jpg │ │ ├── 3226.txt │ │ ├── 3227.jpg │ │ ├── 3227.txt │ │ ├── 3228.jpg │ │ ├── 3228.txt │ │ ├── 3229.jpg │ │ ├── 3229.txt │ │ ├── 322.jpg │ │ ├── 322.txt │ │ ├── 3230.jpg │ │ ├── 3230.txt │ │ ├── 3231.jpg │ │ ├── 3231.txt │ │ ├── 3232.jpg │ │ ├── 3232.txt │ │ ├── 3233.jpg │ │ ├── 3233.txt │ │ ├── 3234.jpg │ │ ├── 3234.txt │ │ ├── 3235.jpg │ │ ├── 3235.txt │ │ ├── 3236.jpg │ │ ├── 3236.txt │ │ ├── 3237.jpg │ │ ├── 3237.txt │ │ ├── 3238.jpg │ │ ├── 3238.txt │ │ ├── 3239.jpg │ │ ├── 3239.txt │ │ ├── 323.jpg │ │ ├── 323.txt │ │ ├── 3240.jpg │ │ ├── 3240.txt │ │ ├── 3241.jpg │ │ ├── 3241.txt │ │ ├── 3242.jpg │ │ ├── 3242.txt │ │ ├── 3243.jpg │ │ ├── 3243.txt │ │ ├── 3244.jpg │ │ ├── 3244.txt │ │ ├── 3245.jpg │ │ ├── 3245.txt │ │ ├── 3246.jpg │ │ ├── 3246.txt │ │ ├── 3247.jpg │ │ ├── 3247.txt │ │ ├── 3248.jpg │ │ ├── 3248.txt │ │ ├── 3249.jpg │ │ ├── 3249.txt │ │ ├── 324.jpg │ │ ├── 324.txt │ │ ├── 3250.jpg │ │ ├── 3250.txt │ │ ├── 3251.jpg │ │ ├── 3251.txt │ │ ├── 3252.jpg │ │ ├── 3252.txt │ │ ├── 3253.jpg │ │ ├── 3253.txt │ │ ├── 3254.jpg │ │ ├── 3254.txt │ │ ├── 3255.jpg │ │ ├── 3255.txt │ │ ├── 3256.jpg │ │ ├── 3256.txt │ │ ├── 3257.jpg │ │ ├── 3257.txt │ │ ├── 3258.jpg │ │ ├── 3258.txt │ │ ├── 3259.jpg │ │ ├── 3259.txt │ │ ├── 325.jpg │ │ ├── 325.txt │ │ ├── 3260.jpg │ │ ├── 3260.txt │ │ ├── 3261.jpg │ │ ├── 3261.txt │ │ ├── 3262.jpg │ │ ├── 3262.txt │ │ ├── 3263.jpg │ │ ├── 3263.txt │ │ ├── 3264.jpg │ │ ├── 3264.txt │ │ ├── 3265.jpg │ │ ├── 3265.txt │ │ ├── 3266.jpg │ │ ├── 3266.txt │ │ ├── 3267.jpg │ │ ├── 3267.txt │ │ ├── 3268.jpg │ │ ├── 3268.txt │ │ ├── 3269.jpg │ │ ├── 3269.txt │ │ ├── 326.jpg │ │ ├── 326.txt │ │ ├── 3270.jpg │ │ ├── 3270.txt │ │ ├── 3271.jpg │ │ ├── 3271.txt │ │ ├── 3272.jpg │ │ ├── 3272.txt │ │ ├── 3273.jpg │ │ ├── 3273.txt │ │ ├── 3274.jpg │ │ ├── 3274.txt │ │ ├── 3275.jpg │ │ ├── 3275.txt │ │ ├── 3276.jpg │ │ ├── 3276.txt │ │ ├── 3277.jpg │ │ ├── 3277.txt │ │ ├── 3278.jpg │ │ ├── 3278.txt │ │ ├── 3279.jpg │ │ ├── 3279.txt │ │ ├── 327.jpg │ │ ├── 327.txt │ │ ├── 3280.jpg │ │ ├── 3280.txt │ │ ├── 3281.jpg │ │ ├── 3281.txt │ │ ├── 3282.jpg │ │ ├── 3282.txt │ │ ├── 3283.jpg │ │ ├── 3283.txt │ │ ├── 3284.jpg │ │ ├── 3284.txt │ │ ├── 3285.jpg │ │ ├── 3285.txt │ │ ├── 3286.jpg │ │ ├── 3286.txt │ │ ├── 3287.jpg │ │ ├── 3287.txt │ │ ├── 3288.jpg │ │ ├── 3288.txt │ │ ├── 3289.jpg │ │ ├── 3289.txt │ │ ├── 328.jpg │ │ ├── 328.txt │ │ ├── 3290.jpg │ │ ├── 3290.txt │ │ ├── 3291.jpg │ │ ├── 3291.txt │ │ ├── 3292.jpg │ │ ├── 3292.txt │ │ ├── 3293.jpg │ │ ├── 3293.txt │ │ ├── 3294.jpg │ │ ├── 3294.txt │ │ ├── 3295.jpg │ │ ├── 3295.txt │ │ ├── 3296.jpg │ │ ├── 3296.txt │ │ ├── 3297.jpg │ │ ├── 3297.txt │ │ ├── 3298.jpg │ │ ├── 3298.txt │ │ ├── 3299.jpg │ │ ├── 3299.txt │ │ ├── 329.jpg │ │ ├── 329.txt │ │ ├── 32.jpg │ │ ├── 32.txt │ │ ├── 3300.jpg │ │ ├── 3300.txt │ │ ├── 3301.jpg │ │ ├── 3301.txt │ │ ├── 3302.jpg │ │ ├── 3302.txt │ │ ├── 3303.jpg │ │ ├── 3303.txt │ │ ├── 3304.jpg │ │ ├── 3304.txt │ │ ├── 3305.jpg │ │ ├── 3305.txt │ │ ├── 3306.jpg │ │ ├── 3306.txt │ │ ├── 3307.jpg │ │ ├── 3307.txt │ │ ├── 3308.jpg │ │ ├── 3308.txt │ │ ├── 3309.jpg │ │ ├── 3309.txt │ │ ├── 330.jpg │ │ ├── 330.txt │ │ ├── 3310.jpg │ │ ├── 3310.txt │ │ ├── 3311.jpg │ │ ├── 3311.txt │ │ ├── 3312.jpg │ │ ├── 3312.txt │ │ ├── 3313.jpg │ │ ├── 3313.txt │ │ ├── 3314.jpg │ │ ├── 3314.txt │ │ ├── 3315.jpg │ │ ├── 3315.txt │ │ ├── 3316.jpg │ │ ├── 3316.txt │ │ ├── 3317.jpg │ │ ├── 3317.txt │ │ ├── 3318.jpg │ │ ├── 3318.txt │ │ ├── 3319.jpg │ │ ├── 3319.txt │ │ ├── 331.jpg │ │ ├── 331.txt │ │ ├── 3320.jpg │ │ ├── 3320.txt │ │ ├── 3321.jpg │ │ ├── 3321.txt │ │ ├── 3322.jpg │ │ ├── 3322.txt │ │ ├── 3323.jpg │ │ ├── 3323.txt │ │ ├── 3324.jpg │ │ ├── 3324.txt │ │ ├── 3325.jpg │ │ ├── 3325.txt │ │ ├── 3326.jpg │ │ ├── 3326.txt │ │ ├── 3327.jpg │ │ ├── 3327.txt │ │ ├── 3328.jpg │ │ ├── 3328.txt │ │ ├── 3329.jpg │ │ ├── 3329.txt │ │ ├── 332.jpg │ │ ├── 332.txt │ │ ├── 3330.jpg │ │ ├── 3330.txt │ │ ├── 3331.jpg │ │ ├── 3331.txt │ │ ├── 3332.jpg │ │ ├── 3332.txt │ │ ├── 3333.jpg │ │ ├── 3333.txt │ │ ├── 3334.jpg │ │ ├── 3334.txt │ │ ├── 3335.jpg │ │ ├── 3335.txt │ │ ├── 3336.jpg │ │ ├── 3336.txt │ │ ├── 3337.jpg │ │ ├── 3337.txt │ │ ├── 3338.jpg │ │ ├── 3338.txt │ │ ├── 3339.jpg │ │ ├── 3339.txt │ │ ├── 333.jpg │ │ ├── 333.txt │ │ ├── 3340.jpg │ │ ├── 3340.txt │ │ ├── 3341.jpg │ │ ├── 3341.txt │ │ ├── 3342.jpg │ │ ├── 3342.txt │ │ ├── 3343.jpg │ │ ├── 3343.txt │ │ ├── 3344.jpg │ │ ├── 3344.txt │ │ ├── 3345.jpg │ │ ├── 3345.txt │ │ ├── 3346.jpg │ │ ├── 3346.txt │ │ ├── 3347.jpg │ │ ├── 3347.txt │ │ ├── 3348.jpg │ │ ├── 3348.txt │ │ ├── 3349.jpg │ │ ├── 3349.txt │ │ ├── 334.jpg │ │ ├── 334.txt │ │ ├── 3350.jpg │ │ ├── 3350.txt │ │ ├── 3351.jpg │ │ ├── 3351.txt │ │ ├── 3352.jpg │ │ ├── 3352.txt │ │ ├── 3353.jpg │ │ ├── 3353.txt │ │ ├── 3354.jpg │ │ ├── 3354.txt │ │ ├── 3355.jpg │ │ ├── 3355.txt │ │ ├── 3356.jpg │ │ ├── 3356.txt │ │ ├── 3357.jpg │ │ ├── 3357.txt │ │ ├── 3358.jpg │ │ ├── 3358.txt │ │ ├── 3359.jpg │ │ ├── 3359.txt │ │ ├── 335.jpg │ │ ├── 335.txt │ │ ├── 3360.jpg │ │ ├── 3360.txt │ │ ├── 3361.jpg │ │ ├── 3361.txt │ │ ├── 3362.jpg │ │ ├── 3362.txt │ │ ├── 3363.jpg │ │ ├── 3363.txt │ │ ├── 3364.jpg │ │ ├── 3364.txt │ │ ├── 3365.jpg │ │ ├── 3365.txt │ │ ├── 3366.jpg │ │ ├── 3366.txt │ │ ├── 3367.jpg │ │ ├── 3367.txt │ │ ├── 3368.jpg │ │ ├── 3368.txt │ │ ├── 3369.jpg │ │ ├── 3369.txt │ │ ├── 336.jpg │ │ ├── 336.txt │ │ ├── 3370.jpg │ │ ├── 3370.txt │ │ ├── 3371.jpg │ │ ├── 3371.txt │ │ ├── 3372.jpg │ │ ├── 3372.txt │ │ ├── 3373.jpg │ │ ├── 3373.txt │ │ ├── 3374.jpg │ │ ├── 3374.txt │ │ ├── 3375.jpg │ │ ├── 3375.txt │ │ ├── 3376.jpg │ │ ├── 3376.txt │ │ ├── 3377.jpg │ │ ├── 3377.txt │ │ ├── 3378.jpg │ │ ├── 3378.txt │ │ ├── 3379.jpg │ │ ├── 3379.txt │ │ ├── 337.jpg │ │ ├── 337.txt │ │ ├── 3380.jpg │ │ ├── 3380.txt │ │ ├── 3381.jpg │ │ ├── 3381.txt │ │ ├── 3382.jpg │ │ ├── 3382.txt │ │ ├── 3383.jpg │ │ ├── 3383.txt │ │ ├── 3384.jpg │ │ ├── 3384.txt │ │ ├── 3385.jpg │ │ ├── 3385.txt │ │ ├── 3386.jpg │ │ ├── 3386.txt │ │ ├── 3387.jpg │ │ ├── 3387.txt │ │ ├── 3388.jpg │ │ ├── 3388.txt │ │ ├── 3389.jpg │ │ ├── 3389.txt │ │ ├── 338.jpg │ │ ├── 338.txt │ │ ├── 3390.jpg │ │ ├── 3390.txt │ │ ├── 3391.jpg │ │ ├── 3391.txt │ │ ├── 3392.jpg │ │ ├── 3392.txt │ │ ├── 3393.jpg │ │ ├── 3393.txt │ │ ├── 3394.jpg │ │ ├── 3394.txt │ │ ├── 3395.jpg │ │ ├── 3395.txt │ │ ├── 3396.jpg │ │ ├── 3396.txt │ │ ├── 3397.jpg │ │ ├── 3397.txt │ │ ├── 3398.jpg │ │ ├── 3398.txt │ │ ├── 3399.jpg │ │ ├── 3399.txt │ │ ├── 339.jpg │ │ ├── 339.txt │ │ ├── 33.jpg │ │ ├── 33.txt │ │ ├── 3400.jpg │ │ ├── 3400.txt │ │ ├── 3401.jpg │ │ ├── 3401.txt │ │ ├── 3402.jpg │ │ ├── 3402.txt │ │ ├── 3403.jpg │ │ ├── 3403.txt │ │ ├── 3404.jpg │ │ ├── 3404.txt │ │ ├── 3405.jpg │ │ ├── 3405.txt │ │ ├── 3406.jpg │ │ ├── 3406.txt │ │ ├── 3407.jpg │ │ ├── 3407.txt │ │ ├── 3408.jpg │ │ ├── 3408.txt │ │ ├── 3409.jpg │ │ ├── 3409.txt │ │ ├── 340.jpg │ │ ├── 340.txt │ │ ├── 3410.jpg │ │ ├── 3410.txt │ │ ├── 3411.jpg │ │ ├── 3411.txt │ │ ├── 3412.jpg │ │ ├── 3412.txt │ │ ├── 3413.jpg │ │ ├── 3413.txt │ │ ├── 3414.jpg │ │ ├── 3414.txt │ │ ├── 3415.jpg │ │ ├── 3415.txt │ │ ├── 3416.jpg │ │ ├── 3416.txt │ │ ├── 3417.jpg │ │ ├── 3417.txt │ │ ├── 3418.jpg │ │ ├── 3418.txt │ │ ├── 3419.jpg │ │ ├── 3419.txt │ │ ├── 341.jpg │ │ ├── 341.txt │ │ ├── 3420.jpg │ │ ├── 3420.txt │ │ ├── 3421.jpg │ │ ├── 3421.txt │ │ ├── 3422.jpg │ │ ├── 3422.txt │ │ ├── 3423.jpg │ │ ├── 3423.txt │ │ ├── 3424.jpg │ │ ├── 3424.txt │ │ ├── 3425.jpg │ │ ├── 3425.txt │ │ ├── 3426.jpg │ │ ├── 3426.txt │ │ ├── 3427.jpg │ │ ├── 3427.txt │ │ ├── 3428.jpg │ │ ├── 3428.txt │ │ ├── 3429.jpg │ │ ├── 3429.txt │ │ ├── 342.jpg │ │ ├── 342.txt │ │ ├── 3430.jpg │ │ ├── 3430.txt │ │ ├── 3431.jpg │ │ ├── 3431.txt │ │ ├── 3432.jpg │ │ ├── 3432.txt │ │ ├── 3433.jpg │ │ ├── 3433.txt │ │ ├── 3434.jpg │ │ ├── 3434.txt │ │ ├── 3435.jpg │ │ ├── 3435.txt │ │ ├── 3436.jpg │ │ ├── 3436.txt │ │ ├── 3437.jpg │ │ ├── 3437.txt │ │ ├── 3439.jpg │ │ ├── 3439.txt │ │ ├── 343.jpg │ │ ├── 343.txt │ │ ├── 3440.jpg │ │ ├── 3440.txt │ │ ├── 3441.jpg │ │ ├── 3441.txt │ │ ├── 3442.jpg │ │ ├── 3442.txt │ │ ├── 3443.jpg │ │ ├── 3443.txt │ │ ├── 3444.jpg │ │ ├── 3444.txt │ │ ├── 3445.jpg │ │ ├── 3445.txt │ │ ├── 3446.jpg │ │ ├── 3446.txt │ │ ├── 3447.jpg │ │ ├── 3447.txt │ │ ├── 3448.jpg │ │ ├── 3448.txt │ │ ├── 3449.jpg │ │ ├── 3449.txt │ │ ├── 344.jpg │ │ ├── 344.txt │ │ ├── 3450.jpg │ │ ├── 3450.txt │ │ ├── 3451.jpg │ │ ├── 3451.txt │ │ ├── 3452.jpg │ │ ├── 3452.txt │ │ ├── 3453.jpg │ │ ├── 3453.txt │ │ ├── 3454.jpg │ │ ├── 3454.txt │ │ ├── 3455.jpg │ │ ├── 3455.txt │ │ ├── 3456.jpg │ │ ├── 3456.txt │ │ ├── 3457.jpg │ │ ├── 3457.txt │ │ ├── 3458.jpg │ │ ├── 3458.txt │ │ ├── 3459.jpg │ │ ├── 3459.txt │ │ ├── 345.jpg │ │ ├── 345.txt │ │ ├── 3460.jpg │ │ ├── 3460.txt │ │ ├── 3461.jpg │ │ ├── 3461.txt │ │ ├── 3462.jpg │ │ ├── 3462.txt │ │ ├── 3463.jpg │ │ ├── 3463.txt │ │ ├── 3464.jpg │ │ ├── 3464.txt │ │ ├── 3465.jpg │ │ ├── 3465.txt │ │ ├── 3466.jpg │ │ ├── 3466.txt │ │ ├── 3467.jpg │ │ ├── 3467.txt │ │ ├── 3468.jpg │ │ ├── 3468.txt │ │ ├── 3469.jpg │ │ ├── 3469.txt │ │ ├── 346.jpg │ │ ├── 346.txt │ │ ├── 3470.jpg │ │ ├── 3470.txt │ │ ├── 3472.jpg │ │ ├── 3472.txt │ │ ├── 3473.jpg │ │ ├── 3473.txt │ │ ├── 3474.jpg │ │ ├── 3474.txt │ │ ├── 3475.jpg │ │ ├── 3475.txt │ │ ├── 3476.jpg │ │ ├── 3476.txt │ │ ├── 3477.jpg │ │ ├── 3477.txt │ │ ├── 3478.jpg │ │ ├── 3478.txt │ │ ├── 3479.jpg │ │ ├── 3479.txt │ │ ├── 347.jpg │ │ ├── 347.txt │ │ ├── 3480.jpg │ │ ├── 3480.txt │ │ ├── 3481.jpg │ │ ├── 3481.txt │ │ ├── 3482.jpg │ │ ├── 3482.txt │ │ ├── 3483.jpg │ │ ├── 3483.txt │ │ ├── 3484.jpg │ │ ├── 3484.txt │ │ ├── 3485.jpg │ │ ├── 3485.txt │ │ ├── 3486.jpg │ │ ├── 3486.txt │ │ ├── 3487.jpg │ │ ├── 3487.txt │ │ ├── 3488.jpg │ │ ├── 3488.txt │ │ ├── 3489.jpg │ │ ├── 3489.txt │ │ ├── 348.jpg │ │ ├── 348.txt │ │ ├── 3490.jpg │ │ ├── 3490.txt │ │ ├── 3491.jpg │ │ ├── 3491.txt │ │ ├── 3492.jpg │ │ ├── 3492.txt │ │ ├── 3493.jpg │ │ ├── 3493.txt │ │ ├── 3494.jpg │ │ ├── 3494.txt │ │ ├── 3495.jpg │ │ ├── 3495.txt │ │ ├── 3496.jpg │ │ ├── 3496.txt │ │ ├── 3497.jpg │ │ ├── 3497.txt │ │ ├── 3498.jpg │ │ ├── 3498.txt │ │ ├── 3499.jpg │ │ ├── 3499.txt │ │ ├── 349.jpg │ │ ├── 349.txt │ │ ├── 34.jpg │ │ ├── 34.txt │ │ ├── 3500.jpg │ │ ├── 3500.txt │ │ ├── 3501.jpg │ │ ├── 3501.txt │ │ ├── 3502.jpg │ │ ├── 3502.txt │ │ ├── 3503.jpg │ │ ├── 3503.txt │ │ ├── 3504.jpg │ │ ├── 3504.txt │ │ ├── 3505.jpg │ │ ├── 3505.txt │ │ ├── 3506.jpg │ │ ├── 3506.txt │ │ ├── 3507.jpg │ │ ├── 3507.txt │ │ ├── 3508.jpg │ │ ├── 3508.txt │ │ ├── 3509.jpg │ │ ├── 3509.txt │ │ ├── 350.jpg │ │ ├── 350.txt │ │ ├── 3510.jpg │ │ ├── 3510.txt │ │ ├── 3511.jpg │ │ ├── 3511.txt │ │ ├── 3512.jpg │ │ ├── 3512.txt │ │ ├── 3513.jpg │ │ ├── 3513.txt │ │ ├── 3515.jpg │ │ ├── 3515.txt │ │ ├── 3516.jpg │ │ ├── 3516.txt │ │ ├── 3517.jpg │ │ ├── 3517.txt │ │ ├── 351.jpg │ │ ├── 351.txt │ │ ├── 3520.jpg │ │ ├── 3520.txt │ │ ├── 3521.jpg │ │ ├── 3521.txt │ │ ├── 3522.jpg │ │ ├── 3522.txt │ │ ├── 3523.jpg │ │ ├── 3523.txt │ │ ├── 3524.jpg │ │ ├── 3524.txt │ │ ├── 3525.jpg │ │ ├── 3525.txt │ │ ├── 3526.jpg │ │ ├── 3526.txt │ │ ├── 3527.jpg │ │ ├── 3527.txt │ │ ├── 3528.jpg │ │ ├── 3528.txt │ │ ├── 3529.jpg │ │ ├── 3529.txt │ │ ├── 352.jpg │ │ ├── 352.txt │ │ ├── 3530.jpg │ │ ├── 3530.txt │ │ ├── 3531.jpg │ │ ├── 3531.txt │ │ ├── 3532.jpg │ │ ├── 3532.txt │ │ ├── 3533.jpg │ │ ├── 3533.txt │ │ ├── 3534.jpg │ │ ├── 3534.txt │ │ ├── 3535.jpg │ │ ├── 3535.txt │ │ ├── 3536.jpg │ │ ├── 3536.txt │ │ ├── 3537.jpg │ │ ├── 3537.txt │ │ ├── 3538.jpg │ │ ├── 3538.txt │ │ ├── 3539.jpg │ │ ├── 3539.txt │ │ ├── 353.jpg │ │ ├── 353.txt │ │ ├── 3540.jpg │ │ ├── 3540.txt │ │ ├── 3541.jpg │ │ ├── 3541.txt │ │ ├── 3542.jpg │ │ ├── 3542.txt │ │ ├── 3543.jpg │ │ ├── 3543.txt │ │ ├── 3544.jpg │ │ ├── 3544.txt │ │ ├── 3545.jpg │ │ ├── 3545.txt │ │ ├── 3546.jpg │ │ ├── 3546.txt │ │ ├── 3547.jpg │ │ ├── 3547.txt │ │ ├── 3548.jpg │ │ ├── 3548.txt │ │ ├── 3549.jpg │ │ ├── 3549.txt │ │ ├── 354.jpg │ │ ├── 354.txt │ │ ├── 3550.jpg │ │ ├── 3550.txt │ │ ├── 3551.jpg │ │ ├── 3551.txt │ │ ├── 3552.jpg │ │ ├── 3552.txt │ │ ├── 3553.jpg │ │ ├── 3553.txt │ │ ├── 3554.jpg │ │ ├── 3554.txt │ │ ├── 3555.jpg │ │ ├── 3555.txt │ │ ├── 3556.jpg │ │ ├── 3556.txt │ │ ├── 3557.jpg │ │ ├── 3557.txt │ │ ├── 3558.jpg │ │ ├── 3558.txt │ │ ├── 3559.jpg │ │ ├── 3559.txt │ │ ├── 355.jpg │ │ ├── 355.txt │ │ ├── 3560.jpg │ │ ├── 3560.txt │ │ ├── 3561.jpg │ │ ├── 3561.txt │ │ ├── 3562.jpg │ │ ├── 3562.txt │ │ ├── 3563.jpg │ │ ├── 3563.txt │ │ ├── 3564.jpg │ │ ├── 3564.txt │ │ ├── 3565.jpg │ │ ├── 3565.txt │ │ ├── 3566.jpg │ │ ├── 3566.txt │ │ ├── 3567.jpg │ │ ├── 3567.txt │ │ ├── 3568.jpg │ │ ├── 3568.txt │ │ ├── 3569.jpg │ │ ├── 3569.txt │ │ ├── 356.jpg │ │ ├── 356.txt │ │ ├── 3570.jpg │ │ ├── 3570.txt │ │ ├── 3571.jpg │ │ ├── 3571.txt │ │ ├── 3572.jpg │ │ ├── 3572.txt │ │ ├── 3573.jpg │ │ ├── 3573.txt │ │ ├── 3574.jpg │ │ ├── 3574.txt │ │ ├── 3575.jpg │ │ ├── 3575.txt │ │ ├── 3576.jpg │ │ ├── 3576.txt │ │ ├── 3577.jpg │ │ ├── 3577.txt │ │ ├── 3578.jpg │ │ ├── 3578.txt │ │ ├── 3579.jpg │ │ ├── 3579.txt │ │ ├── 357.jpg │ │ ├── 357.txt │ │ ├── 3580.jpg │ │ ├── 3580.txt │ │ ├── 3581.jpg │ │ ├── 3581.txt │ │ ├── 3582.jpg │ │ ├── 3582.txt │ │ ├── 3583.jpg │ │ ├── 3583.txt │ │ ├── 3584.jpg │ │ ├── 3584.txt │ │ ├── 3585.jpg │ │ ├── 3585.txt │ │ ├── 3586.jpg │ │ ├── 3586.txt │ │ ├── 3587.jpg │ │ ├── 3587.txt │ │ ├── 3588.jpg │ │ ├── 3588.txt │ │ ├── 3589.jpg │ │ ├── 3589.txt │ │ ├── 358.jpg │ │ ├── 358.txt │ │ ├── 3590.jpg │ │ ├── 3590.txt │ │ ├── 3591.jpg │ │ ├── 3591.txt │ │ ├── 3592.jpg │ │ ├── 3592.txt │ │ ├── 3593.jpg │ │ ├── 3593.txt │ │ ├── 3594.jpg │ │ ├── 3594.txt │ │ ├── 3595.jpg │ │ ├── 3595.txt │ │ ├── 3596.jpg │ │ ├── 3596.txt │ │ ├── 3597.jpg │ │ ├── 3597.txt │ │ ├── 3598.jpg │ │ ├── 3598.txt │ │ ├── 3599.jpg │ │ ├── 3599.txt │ │ ├── 359.jpg │ │ ├── 359.txt │ │ ├── 35.jpg │ │ ├── 35.txt │ │ ├── 3600.jpg │ │ ├── 3600.txt │ │ ├── 3601.jpg │ │ ├── 3601.txt │ │ ├── 3602.jpg │ │ ├── 3602.txt │ │ ├── 3603.jpg │ │ ├── 3603.txt │ │ ├── 3604.jpg │ │ ├── 3604.txt │ │ ├── 3605.jpg │ │ ├── 3605.txt │ │ ├── 3606.jpg │ │ ├── 3606.txt │ │ ├── 3607.jpg │ │ ├── 3607.txt │ │ ├── 3608.jpg │ │ ├── 3608.txt │ │ ├── 3609.jpg │ │ ├── 3609.txt │ │ ├── 360.jpg │ │ ├── 360.txt │ │ ├── 3610.jpg │ │ ├── 3610.txt │ │ ├── 3611.jpg │ │ ├── 3611.txt │ │ ├── 3612.jpg │ │ ├── 3612.txt │ │ ├── 3613.jpg │ │ ├── 3613.txt │ │ ├── 3614.jpg │ │ ├── 3614.txt │ │ ├── 3615.jpg │ │ ├── 3615.txt │ │ ├── 3616.jpg │ │ ├── 3616.txt │ │ ├── 3617.jpg │ │ ├── 3617.txt │ │ ├── 3618.jpg │ │ ├── 3618.txt │ │ ├── 3619.jpg │ │ ├── 3619.txt │ │ ├── 361.jpg │ │ ├── 361.txt │ │ ├── 3620.jpg │ │ ├── 3620.txt │ │ ├── 3621.jpg │ │ ├── 3621.txt
│ │ ├── 3622.jpg │ │ ├── 3622.txt │ │ ├── 3623.jpg │ │ ├── 3623.txt │ │ ├── 3624.jpg │ │ ├── 3624.txt │ │ ├── 3625.jpg │ │ ├── 3625.txt │ │ ├── 3626.jpg │ │ ├── 3626.txt │ │ ├── 3627.jpg │ │ ├── 3627.txt │ │ ├── 3628.jpg │ │ ├── 3628.txt │ │ ├── 3629.jpg │ │ ├── 3629.txt │ │ ├── 362.jpg │ │ ├── 362.txt │ │ ├── 3630.jpg │ │ ├── 3630.txt │ │ ├── 3631.jpg │ │ ├── 3631.txt │ │ ├── 3632.jpg │ │ ├── 3632.txt │ │ ├── 3633.jpg │ │ ├── 3633.txt │ │ ├── 3634.jpg │ │ ├── 3634.txt │ │ ├── 3635.jpg │ │ ├── 3635.txt │ │ ├── 3636.jpg │ │ ├── 3636.txt │ │ ├── 3637.jpg │ │ ├── 3637.txt │ │ ├── 3638.jpg │ │ ├── 3638.txt │ │ ├── 3639.jpg │ │ ├── 3639.txt │ │ ├── 363.jpg │ │ ├── 363.txt │ │ ├── 3640.jpg │ │ ├── 3640.txt │ │ ├── 3641.jpg │ │ ├── 3641.txt │ │ ├── 3642.jpg │ │ ├── 3642.txt │ │ ├── 3643.jpg │ │ ├── 3643.txt │ │ ├── 3644.jpg │ │ ├── 3644.txt │ │ ├── 3645.jpg │ │ ├── 3645.txt │ │ ├── 3646.jpg │ │ ├── 3646.txt │ │ ├── 3647.jpg │ │ ├── 3647.txt │ │ ├── 3648.jpg │ │ ├── 3648.txt │ │ ├── 3649.jpg │ │ ├── 3649.txt │ │ ├── 364.jpg │ │ ├── 364.txt │ │ ├── 3650.jpg │ │ ├── 3650.txt │ │ ├── 3651.jpg │ │ ├── 3651.txt │ │ ├── 3652.jpg │ │ ├── 3652.txt │ │ ├── 3653.jpg │ │ ├── 3653.txt │ │ ├── 3654.jpg │ │ ├── 3654.txt │ │ ├── 3655.jpg │ │ ├── 3655.txt │ │ ├── 3656.jpg │ │ ├── 3656.txt │ │ ├── 3657.jpg │ │ ├── 3657.txt │ │ ├── 3658.jpg │ │ ├── 3658.txt │ │ ├── 3659.jpg │ │ ├── 3659.txt │ │ ├── 365.jpg │ │ ├── 365.txt │ │ ├── 3660.jpg │ │ ├── 3660.txt │ │ ├── 3661.jpg │ │ ├── 3661.txt │ │ ├── 3662.jpg │ │ ├── 3662.txt │ │ ├── 3663.jpg │ │ ├── 3663.txt │ │ ├── 3664.jpg │ │ ├── 3664.txt │ │ ├── 3665.jpg │ │ ├── 3665.txt │ │ ├── 3666.jpg │ │ ├── 3666.txt │ │ ├── 3667.jpg │ │ ├── 3667.txt │ │ ├── 3668.jpg │ │ ├── 3668.txt │ │ ├── 3669.jpg │ │ ├── 3669.txt │ │ ├── 366.jpg │ │ ├── 366.txt │ │ ├── 3670.jpg │ │ ├── 3670.txt │ │ ├── 3671.jpg │ │ ├── 3671.txt │ │ ├── 3672.jpg │ │ ├── 3672.txt │ │ ├── 3673.jpg │ │ ├── 3673.txt │ │ ├── 3674.jpg │ │ ├── 3674.txt │ │ ├── 3675.jpg │ │ ├── 3675.txt │ │ ├── 3676.jpg │ │ ├── 3676.txt │ │ ├── 3677.jpg │ │ ├── 3677.txt │ │ ├── 3678.jpg │ │ ├── 3678.txt │ │ ├── 3679.jpg │ │ ├── 3679.txt │ │ ├── 367.jpg │ │ ├── 367.txt │ │ ├── 3680.jpg │ │ ├── 3680.txt │ │ ├── 3681.jpg │ │ ├── 3681.txt │ │ ├── 3682.jpg │ │ ├── 3682.txt │ │ ├── 3684.jpg │ │ ├── 3684.txt │ │ ├── 3685.jpg │ │ ├── 3685.txt │ │ ├── 3686.jpg │ │ ├── 3686.txt │ │ ├── 3687.jpg │ │ ├── 3687.txt │ │ ├── 3688.jpg │ │ ├── 3688.txt │ │ ├── 3689.jpg │ │ ├── 3689.txt │ │ ├── 368.jpg │ │ ├── 368.txt │ │ ├── 3690.jpg │ │ ├── 3690.txt │ │ ├── 3691.jpg │ │ ├── 3691.txt │ │ ├── 3692.jpg │ │ ├── 3692.txt │ │ ├── 3693.jpg │ │ ├── 3693.txt │ │ ├── 3694.jpg │ │ ├── 3694.txt │ │ ├── 3695.jpg │ │ ├── 3695.txt │ │ ├── 3696.jpg │ │ ├── 3696.txt │ │ ├── 3697.jpg │ │ ├── 3697.txt │ │ ├── 3698.jpg │ │ ├── 3698.txt │ │ ├── 3699.jpg │ │ ├── 3699.txt │ │ ├── 369.jpg │ │ ├── 369.txt │ │ ├── 36.jpg │ │ ├── 36.txt │ │ ├── 3700.jpg │ │ ├── 3700.txt │ │ ├── 3701.jpg │ │ ├── 3701.txt │ │ ├── 3703.jpg │ │ ├── 3703.txt │ │ ├── 3704.jpg │ │ ├── 3704.txt │ │ ├── 3705.jpg │ │ ├── 3705.txt │ │ ├── 3706.jpg │ │ ├── 3706.txt │ │ ├── 3708.jpg │ │ ├── 3708.txt │ │ ├── 3709.jpg │ │ ├── 3709.txt │ │ ├── 370.jpg │ │ ├── 370.txt │ │ ├── 3710.jpg │ │ ├── 3710.txt │ │ ├── 3711.jpg │ │ ├── 3711.txt │ │ ├── 3712.jpg │ │ ├── 3712.txt │ │ ├── 3713.jpg │ │ ├── 3713.txt │ │ ├── 3714.jpg │ │ ├── 3714.txt │ │ ├── 3715.jpg │ │ ├── 3715.txt │ │ ├── 3716.jpg │ │ ├── 3716.txt │ │ ├── 3717.jpg │ │ ├── 3717.txt │ │ ├── 3718.jpg │ │ ├── 3718.txt │ │ ├── 3719.jpg │ │ ├── 3719.txt │ │ ├── 371.jpg │ │ ├── 371.txt │ │ ├── 3720.jpg │ │ ├── 3720.txt │ │ ├── 3721.jpg │ │ ├── 3721.txt │ │ ├── 3722.jpg │ │ ├── 3722.txt │ │ ├── 3723.jpg │ │ ├── 3723.txt │ │ ├── 3724.jpg │ │ ├── 3724.txt │ │ ├── 3725.jpg │ │ ├── 3725.txt │ │ ├── 3726.jpg │ │ ├── 3726.txt │ │ ├── 3727.jpg │ │ ├── 3727.txt │ │ ├── 3728.jpg │ │ ├── 3728.txt │ │ ├── 3729.jpg │ │ ├── 3729.txt │ │ ├── 372.jpg │ │ ├── 372.txt │ │ ├── 3730.jpg │ │ ├── 3730.txt │ │ ├── 3731.jpg │ │ ├── 3731.txt │ │ ├── 3732.jpg │ │ ├── 3732.txt │ │ ├── 3733.jpg │ │ ├── 3733.txt │ │ ├── 3734.jpg │ │ ├── 3734.txt │ │ ├── 3735.jpg │ │ ├── 3735.txt │ │ ├── 3736.jpg │ │ ├── 3736.txt │ │ ├── 3737.jpg │ │ ├── 3737.txt │ │ ├── 3738.jpg │ │ ├── 3738.txt │ │ ├── 373.jpg │ │ ├── 373.txt │ │ ├── 3740.jpg │ │ ├── 3740.txt │ │ ├── 3741.jpg │ │ ├── 3741.txt │ │ ├── 3742.jpg │ │ ├── 3742.txt │ │ ├── 3743.jpg │ │ ├── 3743.txt │ │ ├── 3744.jpg │ │ ├── 3744.txt │ │ ├── 3745.jpg │ │ ├── 3745.txt │ │ ├── 3747.jpg │ │ ├── 3747.txt │ │ ├── 3748.jpg │ │ ├── 3748.txt │ │ ├── 3749.jpg │ │ ├── 3749.txt │ │ ├── 374.jpg │ │ ├── 374.txt │ │ ├── 3750.jpg │ │ ├── 3750.txt │ │ ├── 3752.jpg │ │ ├── 3752.txt │ │ ├── 3753.jpg │ │ ├── 3753.txt │ │ ├── 3754.jpg │ │ ├── 3754.txt │ │ ├── 3755.jpg │ │ ├── 3755.txt │ │ ├── 3756.jpg │ │ ├── 3756.txt │ │ ├── 3758.jpg │ │ ├── 3758.txt │ │ ├── 3759.jpg │ │ ├── 3759.txt │ │ ├── 375.jpg │ │ ├── 375.txt │ │ ├── 3760.jpg │ │ ├── 3760.txt │ │ ├── 3761.jpg │ │ ├── 3761.txt │ │ ├── 3762.jpg │ │ ├── 3762.txt │ │ ├── 3763.jpg │ │ ├── 3763.txt │ │ ├── 3764.jpg │ │ ├── 3764.txt │ │ ├── 3765.jpg │ │ ├── 3765.txt │ │ ├── 3766.jpg │ │ ├── 3766.txt │ │ ├── 3767.jpg │ │ ├── 3767.txt │ │ ├── 3768.jpg │ │ ├── 3768.txt │ │ ├── 3769.jpg │ │ ├── 3769.txt │ │ ├── 376.jpg │ │ ├── 376.txt │ │ ├── 3770.jpg │ │ ├── 3770.txt │ │ ├── 3771.jpg │ │ ├── 3771.txt │ │ ├── 3772.jpg │ │ ├── 3772.txt │ │ ├── 3773.jpg │ │ ├── 3773.txt │ │ ├── 3774.jpg │ │ ├── 3774.txt │ │ ├── 3775.jpg │ │ ├── 3775.txt │ │ ├── 3776.jpg │ │ ├── 3776.txt │ │ ├── 3777.jpg │ │ ├── 3777.txt │ │ ├── 3778.jpg │ │ ├── 3778.txt │ │ ├── 3779.jpg │ │ ├── 3779.txt │ │ ├── 377.jpg │ │ ├── 377.txt │ │ ├── 3780.jpg │ │ ├── 3780.txt │ │ ├── 3781.jpg │ │ ├── 3781.txt │ │ ├── 3782.jpg │ │ ├── 3782.txt │ │ ├── 3783.jpg │ │ ├── 3783.txt │ │ ├── 3784.jpg │ │ ├── 3784.txt │ │ ├── 3785.jpg │ │ ├── 3785.txt │ │ ├── 3786.jpg │ │ ├── 3786.txt │ │ ├── 3787.jpg │ │ ├── 3787.txt │ │ ├── 3788.jpg │ │ ├── 3788.txt │ │ ├── 3789.jpg │ │ ├── 3789.txt │ │ ├── 378.jpg │ │ ├── 378.txt │ │ ├── 3790.jpg │ │ ├── 3790.txt │ │ ├── 3791.jpg │ │ ├── 3791.txt │ │ ├── 3792.jpg │ │ ├── 3792.txt │ │ ├── 3793.jpg │ │ ├── 3793.txt │ │ ├── 3794.jpg │ │ ├── 3794.txt │ │ ├── 3795.jpg │ │ ├── 3795.txt │ │ ├── 3796.jpg │ │ ├── 3796.txt │ │ ├── 3797.jpg │ │ ├── 3797.txt │ │ ├── 3798.jpg │ │ ├── 3798.txt │ │ ├── 3799.jpg │ │ ├── 3799.txt │ │ ├── 379.jpg │ │ ├── 379.txt │ │ ├── 37.jpg │ │ ├── 37.txt │ │ ├── 3800.jpg │ │ ├── 3800.txt │ │ ├── 3801.jpg │ │ ├── 3801.txt │ │ ├── 3802.jpg │ │ ├── 3802.txt │ │ ├── 3805.jpg │ │ ├── 3805.txt │ │ ├── 3806.jpg │ │ ├── 3806.txt │ │ ├── 3807.jpg │ │ ├── 3807.txt │ │ ├── 3808.jpg │ │ ├── 3808.txt │ │ ├── 3809.jpg │ │ ├── 3809.txt │ │ ├── 380.jpg │ │ ├── 380.txt │ │ ├── 3811.jpg │ │ ├── 3811.txt │ │ ├── 3812.jpg │ │ ├── 3812.txt │ │ ├── 3813.jpg │ │ ├── 3813.txt │ │ ├── 3814.jpg │ │ ├── 3814.txt │ │ ├── 3815.jpg │ │ ├── 3815.txt │ │ ├── 3816.jpg │ │ ├── 3816.txt │ │ ├── 3817.jpg │ │ ├── 3817.txt │ │ ├── 3818.jpg │ │ ├── 3818.txt │ │ ├── 3819.jpg │ │ ├── 3819.txt │ │ ├── 381.jpg │ │ ├── 381.txt │ │ ├── 3820.jpg │ │ ├── 3820.txt │ │ ├── 3821.jpg │ │ ├── 3821.txt │ │ ├── 3822.jpg │ │ ├── 3822.txt │ │ ├── 3823.jpg │ │ ├── 3823.txt │ │ ├── 3824.jpg │ │ ├── 3824.txt │ │ ├── 3825.jpg │ │ ├── 3825.txt │ │ ├── 3826.jpg │ │ ├── 3826.txt │ │ ├── 3827.jpg │ │ ├── 3827.txt │ │ ├── 3828.jpg │ │ ├── 3828.txt │ │ ├── 3829.jpg │ │ ├── 3829.txt │ │ ├── 382.jpg │ │ ├── 382.txt │ │ ├── 3830.jpg │ │ ├── 3830.txt │ │ ├── 3831.jpg │ │ ├── 3831.txt │ │ ├── 3832.jpg │ │ ├── 3832.txt │ │ ├── 3833.jpg │ │ ├── 3833.txt │ │ ├── 3834.jpg │ │ ├── 3834.txt │ │ ├── 3835.jpg │ │ ├── 3835.txt │ │ ├── 3836.jpg │ │ ├── 3836.txt │ │ ├── 3837.jpg │ │ ├── 3837.txt │ │ ├── 3838.jpg │ │ ├── 3838.txt │ │ ├── 3839.jpg │ │ ├── 3839.txt │ │ ├── 383.jpg │ │ ├── 383.txt │ │ ├── 3840.jpg │ │ ├── 3840.txt │ │ ├── 3841.jpg │ │ ├── 3841.txt │ │ ├── 3842.jpg │ │ ├── 3842.txt │ │ ├── 3843.jpg │ │ ├── 3843.txt │ │ ├── 3844.jpg │ │ ├── 3844.txt │ │ ├── 3845.jpg │ │ ├── 3845.txt │ │ ├── 3846.jpg │ │ ├── 3846.txt │ │ ├── 3848.jpg │ │ ├── 3848.txt │ │ ├── 3849.jpg │ │ ├── 3849.txt │ │ ├── 384.jpg │ │ ├── 384.txt │ │ ├── 3850.jpg │ │ ├── 3850.txt │ │ ├── 3851.jpg │ │ ├── 3851.txt │ │ ├── 3852.jpg │ │ ├── 3852.txt │ │ ├── 3853.jpg │ │ ├── 3853.txt │ │ ├── 3854.jpg │ │ ├── 3854.txt │ │ ├── 3855.jpg │ │ ├── 3855.txt │ │ ├── 3856.jpg │ │ ├── 3856.txt │ │ ├── 3857.jpg │ │ ├── 3857.txt │ │ ├── 3858.jpg │ │ ├── 3858.txt │ │ ├── 3859.jpg │ │ ├── 3859.txt │ │ ├── 385.jpg │ │ ├── 385.txt │ │ ├── 3860.jpg │ │ ├── 3860.txt │ │ ├── 3861.jpg │ │ ├── 3861.txt │ │ ├── 3862.jpg │ │ ├── 3862.txt │ │ ├── 3863.jpg │ │ ├── 3863.txt │ │ ├── 3864.jpg │ │ ├── 3864.txt │ │ ├── 3865.jpg │ │ ├── 3865.txt │ │ ├── 3866.jpg │ │ ├── 3866.txt │ │ ├── 3867.jpg │ │ ├── 3867.txt │ │ ├── 3868.jpg │ │ ├── 3868.txt │ │ ├── 3869.jpg │ │ ├── 3869.txt │ │ ├── 386.jpg │ │ ├── 386.txt │ │ ├── 3870.jpg │ │ ├── 3870.txt │ │ ├── 3871.jpg │ │ ├── 3871.txt │ │ ├── 3872.jpg │ │ ├── 3872.txt │ │ ├── 3873.jpg │ │ ├── 3873.txt │ │ ├── 3874.jpg │ │ ├── 3874.txt │ │ ├── 3875.jpg │ │ ├── 3875.txt │ │ ├── 3876.jpg │ │ ├── 3876.txt │ │ ├── 3877.jpg │ │ ├── 3877.txt │ │ ├── 3878.jpg │ │ ├── 3878.txt │ │ ├── 3879.jpg │ │ ├── 3879.txt │ │ ├── 387.jpg │ │ ├── 387.txt │ │ ├── 3880.jpg │ │ ├── 3880.txt │ │ ├── 3881.jpg │ │ ├── 3881.txt │ │ ├── 3882.jpg │ │ ├── 3882.txt │ │ ├── 3883.jpg │ │ ├── 3883.txt │ │ ├── 3884.jpg │ │ ├── 3884.txt │ │ ├── 3885.jpg │ │ ├── 3885.txt │ │ ├── 3886.jpg │ │ ├── 3886.txt │ │ ├── 3887.jpg │ │ ├── 3887.txt │ │ ├── 3888.jpg │ │ ├── 3888.txt │ │ ├── 3889.jpg │ │ ├── 3889.txt │ │ ├── 388.jpg │ │ ├── 388.txt │ │ ├── 3890.jpg │ │ ├── 3890.txt │ │ ├── 3891.jpg │ │ ├── 3891.txt │ │ ├── 3892.jpg │ │ ├── 3892.txt │ │ ├── 3893.jpg │ │ ├── 3893.txt │ │ ├── 3894.jpg │ │ ├── 3894.txt │ │ ├── 3896.jpg │ │ ├── 3896.txt │ │ ├── 3897.jpg │ │ ├── 3897.txt │ │ ├── 3898.jpg │ │ ├── 3898.txt │ │ ├── 3899.jpg │ │ ├── 3899.txt │ │ ├── 389.jpg │ │ ├── 389.txt │ │ ├── 38.jpg │ │ ├── 38.txt │ │ ├── 3900.jpg │ │ ├── 3900.txt │ │ ├── 3901.jpg │ │ ├── 3901.txt │ │ ├── 3902.jpg │ │ ├── 3902.txt │ │ ├── 3903.jpg │ │ ├── 3903.txt │ │ ├── 3904.jpg │ │ ├── 3904.txt │ │ ├── 3905.jpg │ │ ├── 3905.txt │ │ ├── 3907.jpg │ │ ├── 3907.txt │ │ ├── 3909.jpg │ │ ├── 3909.txt │ │ ├── 390.jpg │ │ ├── 390.txt │ │ ├── 3910.jpg │ │ ├── 3910.txt │ │ ├── 3911.jpg │ │ ├── 3911.txt │ │ ├── 3912.jpg │ │ ├── 3912.txt │ │ ├── 3913.jpg │ │ ├── 3913.txt │ │ ├── 3914.jpg │ │ ├── 3914.txt │ │ ├── 3915.jpg │ │ ├── 3915.txt │ │ ├── 3916.jpg │ │ ├── 3916.txt │ │ ├── 3917.jpg │ │ ├── 3917.txt │ │ ├── 3918.jpg │ │ ├── 3918.txt │ │ ├── 3919.jpg │ │ ├── 3919.txt │ │ ├── 391.jpg │ │ ├── 391.txt │ │ ├── 3920.jpg │ │ ├── 3920.txt │ │ ├── 3921.jpg │ │ ├── 3921.txt │ │ ├── 3922.jpg │ │ ├── 3922.txt │ │ ├── 3923.jpg │ │ ├── 3923.txt │ │ ├── 3924.jpg │ │ ├── 3924.txt │ │ ├── 3925.jpg │ │ ├── 3925.txt │ │ ├── 3926.jpg │ │ ├── 3926.txt │ │ ├── 3927.jpg │ │ ├── 3927.txt │ │ ├── 3928.jpg │ │ ├── 3928.txt │ │ ├── 3929.jpg │ │ ├── 3929.txt │ │ ├── 392.jpg │ │ ├── 392.txt │ │ ├── 3930.jpg │ │ ├── 3930.txt │ │ ├── 3931.jpg │ │ ├── 3931.txt │ │ ├── 3932.jpg │ │ ├── 3932.txt │ │ ├── 3933.jpg │ │ ├── 3933.txt │ │ ├── 3934.jpg │ │ ├── 3934.txt │ │ ├── 3935.jpg │ │ ├── 3935.txt │ │ ├── 3936.jpg │ │ ├── 3936.txt │ │ ├── 3937.jpg │ │ ├── 3937.txt │ │ ├── 3938.jpg │ │ ├── 3938.txt │ │ ├── 3939.jpg │ │ ├── 3939.txt │ │ ├── 393.jpg │ │ ├── 393.txt │ │ ├── 3940.jpg │ │ ├── 3940.txt │ │ ├── 3941.jpg │ │ ├── 3941.txt │ │ ├── 3942.jpg │ │ ├── 3942.txt │ │ ├── 3943.jpg │ │ ├── 3943.txt │ │ ├── 3944.jpg │ │ ├── 3944.txt │ │ ├── 3945.jpg │ │ ├── 3945.txt │ │ ├── 3946.jpg │ │ ├── 3946.txt │ │ ├── 3947.jpg │ │ ├── 3947.txt │ │ ├── 3948.jpg │ │ ├── 3948.txt │ │ ├── 3949.jpg │ │ ├── 3949.txt │ │ ├── 394.jpg │ │ ├── 394.txt │ │ ├── 3950.jpg │ │ ├── 3950.txt │ │ ├── 3951.jpg │ │ ├── 3951.txt │ │ ├── 3952.jpg │ │ ├── 3952.txt │ │ ├── 3953.jpg │ │ ├── 3953.txt │ │ ├── 3954.jpg │ │ ├── 3954.txt │ │ ├── 3955.jpg │ │ ├── 3955.txt │ │ ├── 3956.jpg │ │ ├── 3956.txt │ │ ├── 3957.jpg │ │ ├── 3957.txt │ │ ├── 3958.jpg │ │ ├── 3958.txt │ │ ├── 3959.jpg │ │ ├── 3959.txt │ │ ├── 395.jpg │ │ ├── 395.txt │ │ ├── 3961.jpg │ │ ├── 3961.txt │ │ ├── 3962.jpg │ │ ├── 3962.txt │ │ ├── 3963.jpg │ │ ├── 3963.txt │ │ ├── 3964.jpg │ │ ├── 3964.txt │ │ ├── 3965.jpg │ │ ├── 3965.txt │ │ ├── 3966.jpg │ │ ├── 3966.txt │ │ ├── 3967.jpg │ │ ├── 3967.txt │ │ ├── 3968.jpg │ │ ├── 3968.txt │ │ ├── 3969.jpg │ │ ├── 3969.txt │ │ ├── 396.jpg │ │ ├── 396.txt │ │ ├── 3970.jpg │ │ ├── 3970.txt │ │ ├── 3971.jpg │ │ ├── 3971.txt │ │ ├── 3972.jpg │ │ ├── 3972.txt │ │ ├── 3973.jpg │ │ ├── 3973.txt │ │ ├── 3974.jpg │ │ ├── 3974.txt │ │ ├── 3975.jpg │ │ ├── 3975.txt │ │ ├── 3976.jpg │ │ ├── 3976.txt │ │ ├── 3977.jpg │ │ ├── 3977.txt │ │ ├── 3978.jpg │ │ ├── 3978.txt │ │ ├── 3979.jpg │ │ ├── 3979.txt │ │ ├── 397.jpg │ │ ├── 397.txt │ │ ├── 3980.jpg │ │ ├── 3980.txt │ │ ├── 3981.jpg │ │ ├── 3981.txt │ │ ├── 3982.jpg │ │ ├── 3982.txt │ │ ├── 3983.jpg │ │ ├── 3983.txt │ │ ├── 3984.jpg │ │ ├── 3984.txt │ │ ├── 3985.jpg │ │ ├── 3985.txt │ │ ├── 3986.jpg │ │ ├── 3986.txt │ │ ├── 3987.jpg │ │ ├── 3987.txt │ │ ├── 3988.jpg │ │ ├── 3988.txt │ │ ├── 3989.jpg │ │ ├── 3989.txt │ │ ├── 398.jpg │ │ ├── 398.txt │ │ ├── 3990.jpg │ │ ├── 3990.txt │ │ ├── 3991.jpg │ │ ├── 3991.txt │ │ ├── 3992.jpg │ │ ├── 3992.txt │ │ ├── 3993.jpg │ │ ├── 3993.txt │ │ ├── 3994.jpg │ │ ├── 3994.txt │ │ ├── 3995.jpg │ │ ├── 3995.txt │ │ ├── 3996.jpg │ │ ├── 3996.txt │ │ ├── 3997.jpg │ │ ├── 3997.txt │ │ ├── 3998.jpg │ │ ├── 3998.txt │ │ ├── 3999.jpg │ │ ├── 3999.txt │ │ ├── 399.jpg │ │ ├── 399.txt │ │ ├── 39.jpg │ │ ├── 39.txt │ │ ├── 3.jpg │ │ ├── 3.txt │ │ ├── 4000.jpg │ │ ├── 4000.txt │ │ ├── 4001.jpg │ │ ├── 4001.txt │ │ ├── 4002.jpg │ │ ├── 4002.txt │ │ ├── 4003.jpg │ │ ├── 4003.txt │ │ ├── 4004.jpg │ │ ├── 4004.txt │ │ ├── 4005.jpg │ │ ├── 4005.txt │ │ ├── 4006.jpg │ │ ├── 4006.txt │ │ ├── 4007.jpg │ │ ├── 4007.txt │ │ ├── 4008.jpg │ │ ├── 4008.txt │ │ ├── 4009.jpg │ │ ├── 4009.txt │ │ ├── 400.jpg │ │ ├── 400.txt │ │ ├── 4010.jpg │ │ ├── 4010.txt │ │ ├── 4011.jpg │ │ ├── 4011.txt │ │ ├── 4012.jpg │ │ ├── 4012.txt │ │ ├── 4013.jpg │ │ ├── 4013.txt │ │ ├── 4014.jpg │ │ ├── 4014.txt │ │ ├── 4015.jpg │ │ ├── 4015.txt │ │ ├── 4016.jpg │ │ ├── 4016.txt │ │ ├── 4017.jpg │ │ ├── 4017.txt │ │ ├── 4018.jpg │ │ ├── 4018.txt │ │ ├── 4019.jpg │ │ ├── 4019.txt │ │ ├── 401.jpg │ │ ├── 401.txt │ │ ├── 4020.jpg │ │ ├── 4020.txt │ │ ├── 4021.jpg │ │ ├── 4021.txt │ │ ├── 4022.jpg │ │ ├── 4022.txt │ │ ├── 4023.jpg │ │ ├── 4023.txt │ │ ├── 4024.jpg │ │ ├── 4024.txt │ │ ├── 4025.jpg │ │ ├── 4025.txt │ │ ├── 4026.jpg │ │ ├── 4026.txt │ │ ├── 4027.jpg │ │ ├── 4027.txt │ │ ├── 4028.jpg │ │ ├── 4028.txt │ │ ├── 4029.jpg │ │ ├── 4029.txt │ │ ├── 402.jpg │ │ ├── 402.txt │ │ ├── 4030.jpg │ │ ├── 4030.txt │ │ ├── 4031.jpg │ │ ├── 4031.txt │ │ ├── 4032.jpg │ │ ├── 4032.txt │ │ ├── 4033.jpg │ │ ├── 4033.txt │ │ ├── 4034.jpg │ │ ├── 4034.txt │ │ ├── 4035.jpg │ │ ├── 4035.txt │ │ ├── 4036.jpg │ │ ├── 4036.txt │ │ ├── 4037.jpg │ │ ├── 4037.txt │ │ ├── 4038.jpg │ │ ├── 4038.txt │ │ ├── 4039.jpg │ │ ├── 4039.txt │ │ ├── 403.jpg │ │ ├── 403.txt │ │ ├── 4040.jpg │ │ ├── 4040.txt │ │ ├── 4041.jpg │ │ ├── 4041.txt │ │ ├── 4042.jpg │ │ ├── 4042.txt │ │ ├── 4043.jpg │ │ ├── 4043.txt │ │ ├── 4044.jpg │ │ ├── 4044.txt │ │ ├── 4045.jpg │ │ ├── 4045.txt │ │ ├── 4046.jpg │ │ ├── 4046.txt │ │ ├── 4047.jpg │ │ ├── 4047.txt │ │ ├── 4048.jpg │ │ ├── 4048.txt │ │ ├── 4049.jpg │ │ ├── 4049.txt │ │ ├── 404.jpg │ │ ├── 404.txt │ │ ├── 4050.jpg │ │ ├── 4050.txt │ │ ├── 4051.jpg │ │ ├── 4051.txt │ │ ├── 4052.jpg │ │ ├── 4052.txt │ │ ├── 4053.jpg │ │ ├── 4053.txt │ │ ├── 4054.jpg │ │ ├── 4054.txt │ │ ├── 4055.jpg │ │ ├── 4055.txt │ │ ├── 4056.jpg │ │ ├── 4056.txt │ │ ├── 4057.jpg │ │ ├── 4057.txt │ │ ├── 4058.jpg │ │ ├── 4058.txt │ │ ├── 4059.jpg │ │ ├── 4059.txt │ │ ├── 405.jpg │ │ ├── 405.txt │ │ ├── 4060.jpg │ │ ├── 4060.txt │ │ ├── 4061.jpg │ │ ├── 4061.txt │ │ ├── 4062.jpg │ │ ├── 4062.txt │ │ ├── 4063.jpg │ │ ├── 4063.txt │ │ ├── 4064.jpg │ │ ├── 4064.txt │ │ ├── 4065.jpg │ │ ├── 4065.txt │ │ ├── 4066.jpg │ │ ├── 4066.txt │ │ ├── 4067.jpg │ │ ├── 4067.txt │ │ ├── 4068.jpg │ │ ├── 4068.txt │ │ ├── 4069.jpg │ │ ├── 4069.txt │ │ ├── 406.jpg │ │ ├── 406.txt │ │ ├── 4070.jpg │ │ ├── 4070.txt │ │ ├── 4071.jpg │ │ ├── 4071.txt │ │ ├── 4072.jpg │ │ ├── 4072.txt │ │ ├── 4073.jpg │ │ ├── 4073.txt │ │ ├── 4074.jpg │ │ ├── 4074.txt │ │ ├── 4075.jpg │ │ ├── 4075.txt │ │ ├── 4076.jpg │ │ ├── 4076.txt │ │ ├── 4077.jpg │ │ ├── 4077.txt │ │ ├── 4078.jpg │ │ ├── 4078.txt │ │ ├── 4079.jpg │ │ ├── 4079.txt │ │ ├── 407.jpg │ │ ├── 407.txt │ │ ├── 4080.jpg │ │ ├── 4080.txt │ │ ├── 4081.jpg │ │ ├── 4081.txt │ │ ├── 4082.jpg │ │ ├── 4082.txt │ │ ├── 4083.jpg │ │ ├── 4083.txt │ │ ├── 4084.jpg │ │ ├── 4084.txt │ │ ├── 4085.jpg │ │ ├── 4085.txt │ │ ├── 4086.jpg │ │ ├── 4086.txt │ │ ├── 4087.jpg │ │ ├── 4087.txt │ │ ├── 4088.jpg │ │ ├── 4088.txt │ │ ├── 4089.jpg │ │ ├── 4089.txt │ │ ├── 408.jpg │ │ ├── 408.txt │ │ ├── 4090.jpg │ │ ├── 4090.txt │ │ ├── 4091.jpg │ │ ├── 4091.txt │ │ ├── 4092.jpg │ │ ├── 4092.txt │ │ ├── 4093.jpg │ │ ├── 4093.txt │ │ ├── 4094.jpg │ │ ├── 4094.txt │ │ ├── 4095.jpg │ │ ├── 4095.txt │ │ ├── 4096.jpg │ │ ├── 4096.txt │ │ ├── 4097.jpg │ │ ├── 4097.txt │ │ ├── 4098.jpg │ │ ├── 4098.txt │ │ ├── 4099.jpg │ │ ├── 4099.txt │ │ ├── 409.jpg │ │ ├── 409.txt │ │ ├── 40.jpg │ │ ├── 40.txt │ │ ├── 4100.jpg │ │ ├── 4100.txt │ │ ├── 4101.jpg │ │ ├── 4101.txt │ │ ├── 4102.jpg │ │ ├── 4102.txt │ │ ├── 4103.jpg │ │ ├── 4103.txt │ │ ├── 4104.jpg │ │ ├── 4104.txt │ │ ├── 4105.jpg │ │ ├── 4105.txt │ │ ├── 4106.jpg │ │ ├── 4106.txt │ │ ├── 4107.jpg │ │ ├── 4107.txt │ │ ├── 4108.jpg │ │ ├── 4108.txt │ │ ├── 4109.jpg │ │ ├── 4109.txt │ │ ├── 410.jpg │ │ ├── 410.txt │ │ ├── 4110.jpg │ │ ├── 4110.txt │ │ ├── 4111.jpg │ │ ├── 4111.txt │ │ ├── 4112.jpg │ │ ├── 4112.txt │ │ ├── 4113.jpg │ │ ├── 4113.txt │ │ ├── 4114.jpg │ │ ├── 4114.txt │ │ ├── 4115.jpg │ │ ├── 4115.txt │ │ ├── 4116.jpg │ │ ├── 4116.txt │ │ ├── 4117.jpg │ │ ├── 4117.txt │ │ ├── 4118.jpg │ │ ├── 4118.txt │ │ ├── 4119.jpg │ │ ├── 4119.txt │ │ ├── 411.jpg │ │ ├── 411.txt │ │ ├── 4120.jpg │ │ ├── 4120.txt │ │ ├── 4121.jpg │ │ ├── 4121.txt │ │ ├── 4122.jpg │ │ ├── 4122.txt │ │ ├── 4123.jpg │ │ ├── 4123.txt │ │ ├── 4124.jpg │ │ ├── 4124.txt │ │ ├── 4125.jpg │ │ ├── 4125.txt │ │ ├── 4126.jpg │ │ ├── 4126.txt │ │ ├── 4127.jpg │ │ ├── 4127.txt │ │ ├── 4128.jpg │ │ ├── 4128.txt │ │ ├── 4129.jpg │ │ ├── 4129.txt │ │ ├── 412.jpg │ │ ├── 412.txt │ │ ├── 4130.jpg │ │ ├── 4130.txt │ │ ├── 4131.jpg │ │ ├── 4131.txt │ │ ├── 4132.jpg │ │ ├── 4132.txt │ │ ├── 4133.jpg │ │ ├── 4133.txt │ │ ├── 4134.jpg │ │ ├── 4134.txt │ │ ├── 4135.jpg │ │ ├── 4135.txt │ │ ├── 4136.jpg │ │ ├── 4136.txt │ │ ├── 4137.jpg │ │ ├── 4137.txt │ │ ├── 4138.jpg │ │ ├── 4138.txt │ │ ├── 4139.jpg │ │ ├── 4139.txt │ │ ├── 413.jpg │ │ ├── 413.txt │ │ ├── 4140.jpg │ │ ├── 4140.txt │ │ ├── 4141.jpg │ │ ├── 4141.txt │ │ ├── 4142.jpg │ │ ├── 4142.txt │ │ ├── 4143.jpg │ │ ├── 4143.txt │ │ ├── 4144.jpg │ │ ├── 4144.txt │ │ ├── 4145.jpg │ │ ├── 4145.txt │ │ ├── 4146.jpg │ │ ├── 4146.txt │ │ ├── 4147.jpg │ │ ├── 4147.txt │ │ ├── 4148.jpg │ │ ├── 4148.txt │ │ ├── 4149.jpg │ │ ├── 4149.txt │ │ ├── 414.jpg │ │ ├── 414.txt │ │ ├── 4150.jpg │ │ ├── 4150.txt │ │ ├── 4151.jpg │ │ ├── 4151.txt │ │ ├── 4152.jpg │ │ ├── 4152.txt │ │ ├── 4153.jpg │ │ ├── 4153.txt │ │ ├── 4154.jpg │ │ ├── 4154.txt │ │ ├── 4155.jpg │ │ ├── 4155.txt │ │ ├── 4156.jpg │ │ ├── 4156.txt │ │ ├── 4157.jpg │ │ ├── 4157.txt │ │ ├── 4158.jpg │ │ ├── 4158.txt │ │ ├── 4159.jpg │ │ ├── 4159.txt │ │ ├── 415.jpg │ │ ├── 415.txt │ │ ├── 4160.jpg │ │ ├── 4160.txt │ │ ├── 4161.jpg │ │ ├── 4161.txt │ │ ├── 4162.jpg │ │ ├── 4162.txt │ │ ├── 4163.jpg │ │ ├── 4163.txt │ │ ├── 4164.jpg │ │ ├── 4164.txt │ │ ├── 4165.jpg │ │ ├── 4165.txt │ │ ├── 4166.jpg │ │ ├── 4166.txt │ │ ├── 4167.jpg │ │ ├── 4167.txt │ │ ├── 4168.jpg │ │ ├── 4168.txt │ │ ├── 4169.jpg │ │ ├── 4169.txt │ │ ├── 416.jpg │ │ ├── 416.txt │ │ ├── 4170.jpg │ │ ├── 4170.txt │ │ ├── 4171.jpg │ │ ├── 4171.txt │ │ ├── 4172.jpg │ │ ├── 4172.txt │ │ ├── 4173.jpg │ │ ├── 4173.txt │ │ ├── 4174.jpg │ │ ├── 4174.txt │ │ ├── 4175.jpg │ │ ├── 4175.txt │ │ ├── 4176.jpg │ │ ├── 4176.txt │ │ ├── 4177.jpg │ │ ├── 4177.txt │ │ ├── 4178.jpg │ │ ├── 4178.txt │ │ ├── 4179.jpg │ │ ├── 4179.txt │ │ ├── 417.jpg │ │ ├── 417.txt │ │ ├── 4180.jpg │ │ ├── 4180.txt │ │ ├── 4181.jpg │ │ ├── 4181.txt │ │ ├── 4182.jpg │ │ ├── 4182.txt │ │ ├── 4183.jpg │ │ ├── 4183.txt │ │ ├── 4184.jpg │ │ ├── 4184.txt │ │ ├── 4185.jpg │ │ ├── 4185.txt │ │ ├── 4186.jpg │ │ ├── 4186.txt │ │ ├── 4187.jpg │ │ ├── 4187.txt │ │ ├── 4188.jpg │ │ ├── 4188.txt │ │ ├── 4189.jpg │ │ ├── 4189.txt │ │ ├── 418.jpg │ │ ├── 418.txt │ │ ├── 4190.jpg │ │ ├── 4190.txt │ │ ├── 4191.jpg │ │ ├── 4191.txt │ │ ├── 4192.jpg │ │ ├── 4192.txt │ │ ├── 4193.jpg │ │ ├── 4193.txt │ │ ├── 4194.jpg │ │ ├── 4194.txt │ │ ├── 4195.jpg │ │ ├── 4195.txt │ │ ├── 4196.jpg │ │ ├── 4196.txt │ │ ├── 4197.jpg │ │ ├── 4197.txt │ │ ├── 4198.jpg │ │ ├── 4198.txt │ │ ├── 4199.jpg │ │ ├── 4199.txt │ │ ├── 419.jpg │ │ ├── 419.txt │ │ ├── 41.jpg │ │ ├── 41.txt │ │ ├── 4200.jpg │ │ ├── 4200.txt │ │ ├── 4201.jpg │ │ ├── 4201.txt │ │ ├── 4202.jpg │ │ ├── 4202.txt │ │ ├── 4203.jpg │ │ ├── 4203.txt │ │ ├── 4204.jpg │ │ ├── 4204.txt │ │ ├── 4205.jpg │ │ ├── 4205.txt │ │ ├── 4206.jpg │ │ ├── 4206.txt │ │ ├── 4207.jpg │ │ ├── 4207.txt │ │ ├── 4208.jpg │ │ ├── 4208.txt │ │ ├── 4209.jpg │ │ ├── 4209.txt │ │ ├── 420.jpg │ │ ├── 420.txt │ │ ├── 4210.jpg │ │ ├── 4210.txt │ │ ├── 4211.jpg │ │ ├── 4211.txt │ │ ├── 4212.jpg │ │ ├── 4212.txt │ │ ├── 4213.jpg │ │ ├── 4213.txt │ │ ├── 4214.jpg │ │ ├── 4214.txt │ │ ├── 4215.jpg │ │ ├── 4215.txt │ │ ├── 4216.jpg │ │ ├── 4216.txt │ │ ├── 4217.jpg │ │ ├── 4217.txt │ │ ├── 4218.jpg │ │ ├── 4218.txt │ │ ├── 4219.jpg │ │ ├── 4219.txt │ │ ├── 421.jpg │ │ ├── 421.txt │ │ ├── 4220.jpg │ │ ├── 4220.txt │ │ ├── 4221.jpg │ │ ├── 4221.txt │ │ ├── 4222.jpg │ │ ├── 4222.txt │ │ ├── 4223.jpg │ │ ├── 4223.txt │ │ ├── 4224.jpg │ │ ├── 4224.txt │ │ ├── 4225.jpg │ │ ├── 4225.txt │ │ ├── 4226.jpg │ │ ├── 4226.txt │ │ ├── 4227.jpg │ │ ├── 4227.txt │ │ ├── 4228.jpg │ │ ├── 4228.txt │ │ ├── 4229.jpg │ │ ├── 4229.txt │ │ ├── 422.jpg │ │ ├── 422.txt │ │ ├── 4230.jpg │ │ ├── 4230.txt │ │ ├── 4231.jpg │ │ ├── 4231.txt │ │ ├── 4232.jpg │ │ ├── 4232.txt │ │ ├── 4233.jpg │ │ ├── 4233.txt │ │ ├── 4234.jpg │ │ ├── 4234.txt │ │ ├── 4235.jpg │ │ ├── 4235.txt │ │ ├── 4236.jpg │ │ ├── 4236.txt │ │ ├── 4237.jpg │ │ ├── 4237.txt │ │ ├── 4238.jpg │ │ ├── 4238.txt │ │ ├── 4239.jpg │ │ ├── 4239.txt │ │ ├── 423.jpg │ │ ├── 423.txt │ │ ├── 4240.jpg │ │ ├── 4240.txt │ │ ├── 4241.jpg │ │ ├── 4241.txt │ │ ├── 4242.jpg │ │ ├── 4242.txt │ │ ├── 4243.jpg │ │ ├── 4243.txt │ │ ├── 4244.jpg │ │ ├── 4244.txt │ │ ├── 4245.jpg │ │ ├── 4245.txt │ │ ├── 4246.jpg │ │ ├── 4246.txt │ │ ├── 4247.jpg │ │ ├── 4247.txt │ │ ├── 4248.jpg │ │ ├── 4248.txt │ │ ├── 4249.jpg │ │ ├── 4249.txt │ │ ├── 424.jpg │ │ ├── 424.txt │ │ ├── 4250.jpg │ │ ├── 4250.txt │ │ ├── 4251.jpg │ │ ├── 4251.txt │ │ ├── 4252.jpg │ │ ├── 4252.txt │ │ ├── 4253.jpg │ │ ├── 4253.txt │ │ ├── 4254.jpg │ │ ├── 4254.txt │ │ ├── 4255.jpg │ │ ├── 4255.txt │ │ ├── 4256.jpg │ │ ├── 4256.txt │ │ ├── 4257.jpg │ │ ├── 4257.txt │ │ ├── 4258.jpg │ │ ├── 4258.txt │ │ ├── 4259.jpg │ │ ├── 4259.txt │ │ ├── 425.jpg │ │ ├── 425.txt │ │ ├── 4260.jpg │ │ ├── 4260.txt │ │ ├── 4261.jpg │ │ ├── 4261.txt │ │ ├── 4262.jpg │ │ ├── 4262.txt │ │ ├── 4263.jpg │ │ ├── 4263.txt │ │ ├── 4264.jpg │ │ ├── 4264.txt │ │ ├── 4265.jpg │ │ ├── 4265.txt │ │ ├── 4266.jpg │ │ ├── 4266.txt │ │ ├── 4267.jpg │ │ ├── 4267.txt │ │ ├── 4268.jpg │ │ ├── 4268.txt │ │ ├── 4269.jpg │ │ ├── 4269.txt │ │ ├── 426.jpg │ │ ├── 426.txt │ │ ├── 4270.jpg │ │ ├── 4270.txt │ │ ├── 4271.jpg │ │ ├── 4271.txt │ │ ├── 4272.jpg │ │ ├── 4272.txt │ │ ├── 4273.jpg │ │ ├── 4273.txt │ │ ├── 4274.jpg │ │ ├── 4274.txt │ │ ├── 4275.jpg │ │ ├── 4275.txt │ │ ├── 4276.jpg │ │ ├── 4276.txt │ │ ├── 4277.jpg │ │ ├── 4277.txt │ │ ├── 4278.jpg │ │ ├── 4278.txt │ │ ├── 4279.jpg │ │ ├── 4279.txt │ │ ├── 427.jpg │ │ ├── 427.txt │ │ ├── 4280.jpg │ │ ├── 4280.txt │ │ ├── 4281.jpg │ │ ├── 4281.txt │ │ ├── 4282.jpg │ │ ├── 4282.txt │ │ ├── 4283.jpg │ │ ├── 4283.txt │ │ ├── 4284.jpg │ │ ├── 4284.txt │ │ ├── 4285.jpg │ │ ├── 4285.txt │ │ ├── 4286.jpg │ │ ├── 4286.txt │ │ ├── 4287.jpg │ │ ├── 4287.txt │ │ ├── 4288.jpg │ │ ├── 4288.txt │ │ ├── 4289.jpg │ │ ├── 4289.txt │ │ ├── 428.jpg │ │ ├── 428.txt │ │ ├── 4290.jpg │ │ ├── 4290.txt │ │ ├── 4291.jpg │ │ ├── 4291.txt │ │ ├── 4292.jpg │ │ ├── 4292.txt │ │ ├── 4293.jpg │ │ ├── 4293.txt │ │ ├── 4294.jpg │ │ ├── 4294.txt │ │ ├── 4295.jpg │ │ ├── 4295.txt │ │ ├── 4296.jpg │ │ ├── 4296.txt │ │ ├── 4297.jpg │ │ ├── 4297.txt │ │ ├── 4298.jpg │ │ ├── 4298.txt │ │ ├── 4299.jpg │ │ ├── 4299.txt │ │ ├── 429.jpg │ │ ├── 429.txt │ │ ├── 42.jpg │ │ ├── 42.txt │ │ ├── 4300.jpg │ │ ├── 4300.txt │ │ ├── 4301.jpg │ │ ├── 4301.txt │ │ ├── 4302.jpg │ │ ├── 4302.txt │ │ ├── 4303.jpg │ │ ├── 4303.txt │ │ ├── 4304.jpg │ │ ├── 4304.txt │ │ ├── 4305.jpg │ │ ├── 4305.txt │ │ ├── 4306.jpg │ │ ├── 4306.txt │ │ ├── 4307.jpg │ │ ├── 4307.txt │ │ ├── 4308.jpg │ │ ├── 4308.txt │ │ ├── 4309.jpg │ │ ├── 4309.txt │ │ ├── 430.jpg │ │ ├── 430.txt │ │ ├── 4310.jpg │ │ ├── 4310.txt │ │ ├── 4311.jpg │ │ ├── 4311.txt │ │ ├── 4312.jpg │ │ ├── 4312.txt │ │ ├── 4313.jpg │ │ ├── 4313.txt │ │ ├── 4314.jpg │ │ ├── 4314.txt │ │ ├── 4315.jpg │ │ ├── 4315.txt │ │ ├── 4316.jpg │ │ ├── 4316.txt │ │ ├── 4317.jpg │ │ ├── 4317.txt │ │ ├── 4318.jpg │ │ ├── 4318.txt │ │ ├── 4319.jpg │ │ ├── 4319.txt │ │ ├── 431.jpg │ │ ├── 431.txt │ │ ├── 4320.jpg │ │ ├── 4320.txt │ │ ├── 4321.jpg │ │ ├── 4321.txt │ │ ├── 4322.jpg │ │ ├── 4322.txt │ │ ├── 4323.jpg │ │ ├── 4323.txt │ │ ├── 4324.jpg │ │ ├── 4324.txt │ │ ├── 4325.jpg │ │ ├── 4325.txt │ │ ├── 4326.jpg │ │ ├── 4326.txt │ │ ├── 4327.jpg │ │ ├── 4327.txt │ │ ├── 4328.jpg │ │ ├── 4328.txt │ │ ├── 4329.jpg │ │ ├── 4329.txt │ │ ├── 432.jpg │ │ ├── 432.txt │ │ ├── 4330.jpg │ │ ├── 4330.txt │ │ ├── 4331.jpg │ │ ├── 4331.txt │ │ ├── 4332.jpg │ │ ├── 4332.txt │ │ ├── 4333.jpg │ │ ├── 4333.txt │ │ ├── 4334.jpg │ │ ├── 4334.txt │ │ ├── 4335.jpg │ │ ├── 4335.txt │ │ ├── 4336.jpg │ │ ├── 4336.txt │ │ ├── 4337.jpg │ │ ├── 4337.txt │ │ ├── 4338.jpg │ │ ├── 4338.txt │ │ ├── 4339.jpg │ │ ├── 4339.txt │ │ ├── 433.jpg │ │ ├── 433.txt │ │ ├── 4340.jpg │ │ ├── 4340.txt │ │ ├── 4341.jpg │ │ ├── 4341.txt │ │ ├── 4342.jpg │ │ ├── 4342.txt │ │ ├── 4343.jpg │ │ ├── 4343.txt │ │ ├── 4344.jpg │ │ ├── 4344.txt │ │ ├── 4345.jpg │ │ ├── 4345.txt │ │ ├── 4346.jpg │ │ ├── 4346.txt │ │ ├── 4347.jpg │ │ ├── 4347.txt │ │ ├── 4348.jpg │ │ ├── 4348.txt │ │ ├── 4349.jpg │ │ ├── 4349.txt │ │ ├── 434.jpg │ │ ├── 434.txt │ │ ├── 4350.jpg │ │ ├── 4350.txt │ │ ├── 4351.jpg │ │ ├── 4351.txt │ │ ├── 4352.jpg │ │ ├── 4352.txt │ │ ├── 4353.jpg │ │ ├── 4353.txt │ │ ├── 4354.jpg │ │ ├── 4354.txt │ │ ├── 4355.jpg │ │ ├── 4355.txt │ │ ├── 4356.jpg │ │ ├── 4356.txt │ │ ├── 4357.jpg │ │ ├── 4357.txt │ │ ├── 4358.jpg │ │ ├── 4358.txt │ │ ├── 4359.jpg │ │ ├── 4359.txt │ │ ├── 435.jpg │ │ ├── 435.txt │ │ ├── 4360.jpg │ │ ├── 4360.txt │ │ ├── 4361.jpg │ │ ├── 4361.txt │ │ ├── 4362.jpg │ │ ├── 4362.txt │ │ ├── 4363.jpg │ │ ├── 4363.txt │ │ ├── 4364.jpg │ │ ├── 4364.txt │ │ ├── 4365.jpg │ │ ├── 4365.txt │ │ ├── 4366.jpg │ │ ├── 4366.txt │ │ ├── 4367.jpg │ │ ├── 4367.txt │ │ ├── 4368.jpg │ │ ├── 4368.txt │ │ ├── 4369.jpg │ │ ├── 4369.txt │ │ ├── 436.jpg │ │ ├── 436.txt │ │ ├── 4370.jpg │ │ ├── 4370.txt │ │ ├── 4371.jpg │ │ ├── 4371.txt │ │ ├── 4372.jpg │ │ ├── 4372.txt │ │ ├── 4373.jpg │ │ ├── 4373.txt │ │ ├── 4374.jpg │ │ ├── 4374.txt │ │ ├── 4375.jpg │ │ ├── 4375.txt │ │ ├── 4376.jpg │ │ ├── 4376.txt │ │ ├── 4377.jpg │ │ ├── 4377.txt │ │ ├── 4378.jpg │ │ ├── 4378.txt │ │ ├── 4379.jpg │ │ ├── 4379.txt │ │ ├── 437.jpg │ │ ├── 437.txt │ │ ├── 4380.jpg │ │ ├── 4380.txt │ │ ├── 4381.jpg │ │ ├── 4381.txt │ │ ├── 4382.jpg │ │ ├── 4382.txt │ │ ├── 4383.jpg │ │ ├── 4383.txt │ │ ├── 4384.jpg │ │ ├── 4384.txt │ │ ├── 4385.jpg │ │ ├── 4385.txt │ │ ├── 4386.jpg │ │ ├── 4386.txt │ │ ├── 4387.jpg │ │ ├── 4387.txt │ │ ├── 4388.jpg │ │ ├── 4388.txt │ │ ├── 4389.jpg │ │ ├── 4389.txt │ │ ├── 438.jpg │ │ ├── 438.txt │ │ ├── 4390.jpg │ │ ├── 4390.txt │ │ ├── 4391.jpg │ │ ├── 4391.txt │ │ ├── 4392.jpg │ │ ├── 4392.txt │ │ ├── 4393.jpg │ │ ├── 4393.txt │ │ ├── 4394.jpg │ │ ├── 4394.txt │ │ ├── 4395.jpg │ │ ├── 4395.txt │ │ ├── 4396.jpg │ │ ├── 4396.txt │ │ ├── 4397.jpg │ │ ├── 4397.txt │ │ ├── 4398.jpg │ │ ├── 4398.txt │ │ ├── 4399.jpg │ │ ├── 4399.txt │ │ ├── 439.jpg │ │ ├── 439.txt │ │ ├── 43.jpg │ │ ├── 43.txt │ │ ├── 4400.jpg │ │ ├── 4400.txt │ │ ├── 4401.jpg │ │ ├── 4401.txt │ │ ├── 4402.jpg │ │ ├── 4402.txt │ │ ├── 4403.jpg │ │ ├── 4403.txt │ │ ├── 4404.jpg │ │ ├── 4404.txt │ │ ├── 4405.jpg │ │ ├── 4405.txt │ │ ├── 4406.jpg │ │ ├── 4406.txt │ │ ├── 4407.jpg │ │ ├── 4407.txt │ │ ├── 4408.jpg │ │ ├── 4408.txt │ │ ├── 4409.jpg │ │ ├── 4409.txt │ │ ├── 440.jpg │ │ ├── 440.txt │ │ ├── 4410.jpg │ │ ├── 4410.txt │ │ ├── 4411.jpg │ │ ├── 4411.txt │ │ ├── 4412.jpg │ │ ├── 4412.txt │ │ ├── 4413.jpg │ │ ├── 4413.txt │ │ ├── 4414.jpg │ │ ├── 4414.txt │ │ ├── 4415.jpg │ │ ├── 4415.txt │ │ ├── 4416.jpg │ │ ├── 4416.txt │ │ ├── 4417.jpg │ │ ├── 4417.txt │ │ ├── 4418.jpg │ │ ├── 4418.txt │ │ ├── 4419.jpg │ │ ├── 4419.txt │ │ ├── 441.jpg │ │ ├── 441.txt │ │ ├── 4420.jpg │ │ ├── 4420.txt │ │ ├── 4421.jpg │ │ ├── 4421.txt │ │ ├── 4422.jpg │ │ ├── 4422.txt │ │ ├── 4423.jpg │ │ ├── 4423.txt │ │ ├── 4424.jpg │ │ ├── 4424.txt │ │ ├── 4425.jpg │ │ ├── 4425.txt │ │ ├── 4426.jpg │ │ ├── 4426.txt │ │ ├── 4427.jpg │ │ ├── 4427.txt │ │ ├── 4428.jpg │ │ ├── 4428.txt │ │ ├── 4429.jpg │ │ ├── 4429.txt │ │ ├── 442.jpg │ │ ├── 442.txt │ │ ├── 4430.jpg │ │ ├── 4430.txt │ │ ├── 4431.jpg │ │ ├── 4431.txt │ │ ├── 4432.jpg │ │ ├── 4432.txt │ │ ├── 4433.jpg │ │ ├── 4433.txt │ │ ├── 4434.jpg │ │ ├── 4434.txt │ │ ├── 4435.jpg │ │ ├── 4435.txt │ │ ├── 4436.jpg │ │ ├── 4436.txt │ │ ├── 4437.jpg │ │ ├── 4437.txt │ │ ├── 4438.jpg │ │ ├── 4438.txt │ │ ├── 4439.jpg │ │ ├── 4439.txt │ │ ├── 443.jpg │ │ ├── 443.txt │ │ ├── 4440.jpg │ │ ├── 4440.txt │ │ ├── 4441.jpg │ │ ├── 4441.txt │ │ ├── 4442.jpg │ │ ├── 4442.txt │ │ ├── 4443.jpg │ │ ├── 4443.txt │ │ ├── 4444.jpg │ │ ├── 4444.txt │ │ ├── 4445.jpg │ │ ├── 4445.txt │ │ ├── 4446.jpg │ │ ├── 4446.txt │ │ ├── 4447.jpg │ │ ├── 4447.txt │ │ ├── 4448.jpg │ │ ├── 4448.txt │ │ ├── 4449.jpg │ │ ├── 4449.txt │ │ ├── 444.jpg │ │ ├── 444.txt │ │ ├── 4450.jpg │ │ ├── 4450.txt │ │ ├── 4451.jpg │ │ ├── 4451.txt │ │ ├── 4452.jpg │ │ ├── 4452.txt │ │ ├── 4453.jpg │ │ ├── 4453.txt │ │ ├── 4454.jpg │ │ ├── 4454.txt │ │ ├── 4455.jpg │ │ ├── 4455.txt │ │ ├── 4456.jpg │ │ ├── 4456.txt │ │ ├── 4457.jpg │ │ ├── 4457.txt │ │ ├── 4458.jpg │ │ ├── 4458.txt │ │ ├── 4459.jpg │ │ ├── 4459.txt │ │ ├── 445.jpg │ │ ├── 445.txt │ │ ├── 4460.jpg │ │ ├── 4460.txt │ │ ├── 4461.jpg │ │ ├── 4461.txt │ │ ├── 4462.jpg │ │ ├── 4462.txt │ │ ├── 4463.jpg │ │ ├── 4463.txt │ │ ├── 4464.jpg │ │ ├── 4464.txt │ │ ├── 4465.jpg │ │ ├── 4465.txt │ │ ├── 4466.jpg │ │ ├── 4466.txt │ │ ├── 4467.jpg │ │ ├── 4467.txt │ │ ├── 4468.jpg │ │ ├── 4468.txt │ │ ├── 4469.jpg │ │ ├── 4469.txt │ │ ├── 446.jpg │ │ ├── 446.txt │ │ ├── 4470.jpg │ │ ├── 4470.txt │ │ ├── 4471.jpg │ │ ├── 4471.txt │ │ ├── 4472.jpg │ │ ├── 4472.txt │ │ ├── 4473.jpg │ │ ├── 4473.txt │ │ ├── 4474.jpg │ │ ├── 4474.txt │ │ ├── 4475.jpg │ │ ├── 4475.txt │ │ ├── 4476.jpg │ │ ├── 4476.txt │ │ ├── 4477.jpg │ │ ├── 4477.txt │ │ ├── 4478.jpg │ │ ├── 4478.txt │ │ ├── 4479.jpg │ │ ├── 4479.txt │ │ ├── 447.jpg │ │ ├── 447.txt │ │ ├── 4480.jpg │ │ ├── 4480.txt │ │ ├── 4481.jpg │ │ ├── 4481.txt │ │ ├── 4482.jpg │ │ ├── 4482.txt │ │ ├── 4483.jpg │ │ ├── 4483.txt │ │ ├── 4484.jpg │ │ ├── 4484.txt │ │ ├── 4485.jpg │ │ ├── 4485.txt │ │ ├── 4486.jpg │ │ ├── 4486.txt │ │ ├── 4487.jpg │ │ ├── 4487.txt │ │ ├── 4488.jpg │ │ ├── 4488.txt │ │ ├── 4489.jpg │ │ ├── 4489.txt │ │ ├── 448.jpg │ │ ├── 448.txt │ │ ├── 4490.jpg │ │ ├── 4490.txt │ │ ├── 4491.jpg │ │ ├── 4491.txt │ │ ├── 4492.jpg │ │ ├── 4492.txt │ │ ├── 4493.jpg │ │ ├── 4493.txt │ │ ├── 4494.jpg │ │ ├── 4494.txt │ │ ├── 4495.jpg │ │ ├── 4495.txt │ │ ├── 4496.jpg │ │ ├── 4496.txt │ │ ├── 4497.jpg │ │ ├── 4497.txt │ │ ├── 4498.jpg │ │ ├── 4498.txt │ │ ├── 4499.jpg │ │ ├── 4499.txt │ │ ├── 449.jpg │ │ ├── 449.txt │ │ ├── 44.jpg │ │ ├── 44.txt │ │ ├── 4500.jpg │ │ ├── 4500.txt │ │ ├── 4501.jpg │ │ ├── 4501.txt │ │ ├── 4502.jpg │ │ ├── 4502.txt │ │ ├── 4503.jpg │ │ ├── 4503.txt │ │ ├── 4504.jpg │ │ ├── 4504.txt │ │ ├── 4505.jpg │ │ ├── 4505.txt │ │ ├── 4506.jpg │ │ ├── 4506.txt │ │ ├── 4507.jpg │ │ ├── 4507.txt │ │ ├── 4508.jpg │ │ ├── 4508.txt │ │ ├── 4509.jpg │ │ ├── 4509.txt │ │ ├── 450.jpg │ │ ├── 450.txt │ │ ├── 4510.jpg │ │ ├── 4510.txt │ │ ├── 4511.jpg │ │ ├── 4511.txt │ │ ├── 4512.jpg │ │ ├── 4512.txt │ │ ├── 4513.jpg │ │ ├── 4513.txt │ │ ├── 4514.jpg │ │ ├── 4514.txt │ │ ├── 4515.jpg │ │ ├── 4515.txt │ │ ├── 4516.jpg │ │ ├── 4516.txt │ │ ├── 4517.jpg │ │ ├── 4517.txt │ │ ├── 4518.jpg │ │ ├── 4518.txt │ │ ├── 4519.jpg │ │ ├── 4519.txt │ │ ├── 451.jpg │ │ ├── 451.txt │ │ ├── 4520.jpg │ │ ├── 4520.txt │ │ ├── 4521.jpg │ │ ├── 4521.txt │ │ ├── 4522.jpg │ │ ├── 4522.txt │ │ ├── 4523.jpg │ │ ├── 4523.txt │ │ ├── 4524.jpg │ │ ├── 4524.txt │ │ ├── 4525.jpg │ │ ├── 4525.txt │ │ ├── 4526.jpg │ │ ├── 4526.txt │ │ ├── 4527.jpg │ │ ├── 4527.txt │ │ ├── 4528.jpg │ │ ├── 4528.txt │ │ ├── 4529.jpg │ │ ├── 4529.txt │ │ ├── 452.jpg │ │ ├── 452.txt │ │ ├── 4530.jpg │ │ ├── 4530.txt │ │ ├── 4531.jpg │ │ ├── 4531.txt │ │ ├── 4532.jpg │ │ ├── 4532.txt │ │ ├── 4533.jpg │ │ ├── 4533.txt │ │ ├── 4534.jpg │ │ ├── 4534.txt │ │ ├── 4535.jpg │ │ ├── 4535.txt │ │ ├── 4536.jpg │ │ ├── 4536.txt │ │ ├── 4537.jpg │ │ ├── 4537.txt │ │ ├── 4538.jpg │ │ ├── 4538.txt │ │ ├── 4539.jpg │ │ ├── 4539.txt │ │ ├── 453.jpg │ │ ├── 453.txt │ │ ├── 4540.jpg │ │ ├── 4540.txt │ │ ├── 4541.jpg │ │ ├── 4541.txt │ │ ├── 4542.jpg │ │ ├── 4542.txt │ │ ├── 4543.jpg │ │ ├── 4543.txt │ │ ├── 4544.jpg │ │ ├── 4544.txt │ │ ├── 4545.jpg │ │ ├── 4545.txt │ │ ├── 4546.jpg │ │ ├── 4546.txt │ │ ├── 4547.jpg │ │ ├── 4547.txt │ │ ├── 4548.jpg │ │ ├── 4548.txt │ │ ├── 4549.jpg │ │ ├── 4549.txt │ │ ├── 454.jpg │ │ ├── 454.txt │ │ ├── 4550.jpg │ │ ├── 4550.txt │ │ ├── 4551.jpg │ │ ├── 4551.txt │ │ ├── 4552.jpg │ │ ├── 4552.txt │ │ ├── 4553.jpg │ │ ├── 4553.txt │ │ ├── 4554.jpg │ │ ├── 4554.txt │ │ ├── 4555.jpg │ │ ├── 4555.txt │ │ ├── 4556.jpg │ │ ├── 4556.txt │ │ ├── 4557.jpg │ │ ├── 4557.txt │ │ ├── 4558.jpg │ │ ├── 4558.txt │ │ ├── 4559.jpg │ │ ├── 4559.txt │ │ ├── 455.jpg │ │ ├── 455.txt │ │ ├── 4560.jpg │ │ ├── 4560.txt │ │ ├── 4561.jpg │ │ ├── 4561.txt │ │ ├── 4562.jpg │ │ ├── 4562.txt │ │ ├── 4563.jpg │ │ ├── 4563.txt │ │ ├── 4564.jpg │ │ ├── 4564.txt │ │ ├── 4565.jpg │ │ ├── 4565.txt │ │ ├── 4566.jpg │ │ ├── 4566.txt │ │ ├── 4567.jpg │ │ ├── 4567.txt │ │ ├── 4568.jpg │ │ ├── 4568.txt │ │ ├── 4569.jpg │ │ ├── 4569.txt │ │ ├── 456.jpg │ │ ├── 456.txt │ │ ├── 4570.jpg │ │ ├── 4570.txt │ │ ├── 4571.jpg │ │ ├── 4571.txt │ │ ├── 4572.jpg │ │ ├── 4572.txt │ │ ├── 4573.jpg │ │ ├── 4573.txt │ │ ├── 4574.jpg │ │ ├── 4574.txt │ │ ├── 4575.jpg │ │ ├── 4575.txt │ │ ├── 4576.jpg │ │ ├── 4576.txt │ │ ├── 4577.jpg │ │ ├── 4577.txt │ │ ├── 4578.jpg │ │ ├── 4578.txt │ │ ├── 4579.jpg │ │ ├── 4579.txt │ │ ├── 457.jpg │ │ ├── 457.txt │ │ ├── 4580.jpg │ │ ├── 4580.txt │ │ ├── 4581.jpg │ │ ├── 4581.txt │ │ ├── 4582.jpg │ │ ├── 4582.txt │ │ ├── 4583.jpg │ │ ├── 4583.txt │ │ ├── 4584.jpg │ │ ├── 4584.txt │ │ ├── 4585.jpg │ │ ├── 4585.txt │ │ ├── 4586.jpg │ │ ├── 4586.txt │ │ ├── 4587.jpg │ │ ├── 4587.txt │ │ ├── 4588.jpg │ │ ├── 4588.txt │ │ ├── 4589.jpg │ │ ├── 4589.txt │ │ ├── 458.jpg │ │ ├── 458.txt │ │ ├── 4590.jpg │ │ ├── 4590.txt │ │ ├── 4591.jpg │ │ ├── 4591.txt │ │ ├── 4592.jpg │ │ ├── 4592.txt │ │ ├── 4593.jpg │ │ ├── 4593.txt │ │ ├── 4594.jpg │ │ ├── 4594.txt │ │ ├── 4595.jpg │ │ ├── 4595.txt │ │ ├── 4596.jpg │ │ ├── 4596.txt │ │ ├── 4597.jpg │ │ ├── 4597.txt │ │ ├── 4598.jpg │ │ ├── 4598.txt │ │ ├── 4599.jpg │ │ ├── 4599.txt │ │ ├── 459.jpg │ │ ├── 459.txt │ │ ├── 45.jpg │ │ ├── 45.txt │ │ ├── 4600.jpg │ │ ├── 4600.txt │ │ ├── 4601.jpg │ │ ├── 4601.txt │ │ ├── 4602.jpg │ │ ├── 4602.txt │ │ ├── 4603.jpg │ │ ├── 4603.txt │ │ ├── 4604.jpg │ │ ├── 4604.txt │ │ ├── 4605.jpg │ │ ├── 4605.txt │ │ ├── 4606.jpg │ │ ├── 4606.txt │ │ ├── 4607.jpg │ │ ├── 4607.txt │ │ ├── 4608.jpg │ │ ├── 4608.txt │ │ ├── 4609.jpg │ │ ├── 4609.txt │ │ ├── 460.jpg │ │ ├── 460.txt │ │ ├── 4610.jpg │ │ ├── 4610.txt │ │ ├── 4611.jpg │ │ ├── 4611.txt │ │ ├── 4612.jpg │ │ ├── 4612.txt │ │ ├── 4613.jpg │ │ ├── 4613.txt │ │ ├── 4614.jpg │ │ ├── 4614.txt │ │ ├── 4615.jpg │ │ ├── 4615.txt │ │ ├── 4616.jpg │ │ ├── 4616.txt │ │ ├── 4617.jpg │ │ ├── 4617.txt │ │ ├── 4618.jpg │ │ ├── 4618.txt │ │ ├── 4619.jpg │ │ ├── 4619.txt │ │ ├── 461.jpg │ │ ├── 461.txt │ │ ├── 4620.jpg │ │ ├── 4620.txt │ │ ├── 4621.jpg │ │ ├── 4621.txt │ │ ├── 4622.jpg │ │ ├── 4622.txt │ │ ├── 4623.jpg │ │ ├── 4623.txt │ │ ├── 4624.jpg │ │ ├── 4624.txt │ │ ├── 4625.jpg │ │ ├── 4625.txt │ │ ├── 4626.jpg │ │ ├── 4626.txt │ │ ├── 4627.jpg │ │ ├── 4627.txt │ │ ├── 4628.jpg │ │ ├── 4628.txt │ │ ├── 4629.jpg │ │ ├── 4629.txt │ │ ├── 462.jpg │ │ ├── 462.txt │ │ ├── 4630.jpg │ │ ├── 4630.txt │ │ ├── 4631.jpg │ │ ├── 4631.txt │ │ ├── 4632.jpg │ │ ├── 4632.txt │ │ ├── 4633.jpg │ │ ├── 4633.txt │ │ ├── 4634.jpg │ │ ├── 4634.txt │ │ ├── 4635.jpg │ │ ├── 4635.txt │ │ ├── 4636.jpg │ │ ├── 4636.txt │ │ ├── 4637.jpg │ │ ├── 4637.txt │ │ ├── 4638.jpg │ │ ├── 4638.txt │ │ ├── 4639.jpg │ │ ├── 4639.txt │ │ ├── 463.jpg │ │ ├── 463.txt │ │ ├── 4640.jpg │ │ ├── 4640.txt │ │ ├── 4641.jpg │ │ ├── 4641.txt │ │ ├── 4642.jpg │ │ ├── 4642.txt │ │ ├── 4643.jpg │ │ ├── 4643.txt │ │ ├── 4644.jpg │ │ ├── 4644.txt │ │ ├── 4645.jpg │ │ ├── 4645.txt │ │ ├── 4646.jpg │ │ ├── 4646.txt │ │ ├── 4647.jpg │ │ ├── 4647.txt │ │ ├── 4648.jpg │ │ ├── 4648.txt │ │ ├── 4649.jpg │ │ ├── 4649.txt │ │ ├── 464.jpg │ │ ├── 464.txt │ │ ├── 4650.jpg │ │ ├── 4650.txt │ │ ├── 4651.jpg │ │ ├── 4651.txt │ │ ├── 4652.jpg │ │ ├── 4652.txt │ │ ├── 4653.jpg │ │ ├── 4653.txt │ │ ├── 4654.jpg │ │ ├── 4654.txt │ │ ├── 4655.jpg │ │ ├── 4655.txt │ │ ├── 4656.jpg │ │ ├── 4656.txt │ │ ├── 4657.jpg │ │ ├── 4657.txt │ │ ├── 4658.jpg │ │ ├── 4658.txt │ │ ├── 4659.jpg │ │ ├── 4659.txt │ │ ├── 465.jpg │ │ ├── 465.txt │ │ ├── 4660.jpg │ │ ├── 4660.txt │ │ ├── 4661.jpg │ │ ├── 4661.txt │ │ ├── 4662.jpg │ │ ├── 4662.txt │ │ ├── 4663.jpg │ │ ├── 4663.txt │ │ ├── 4664.jpg │ │ ├── 4664.txt │ │ ├── 4665.jpg │ │ ├── 4665.txt │ │ ├── 4666.jpg │ │ ├── 4666.txt │ │ ├── 4667.jpg │ │ ├── 4667.txt │ │ ├── 4668.jpg │ │ ├── 4668.txt │ │ ├── 4669.jpg │ │ ├── 4669.txt │ │ ├── 466.jpg │ │ ├── 466.txt │ │ ├── 4670.jpg │ │ ├── 4670.txt │ │ ├── 4671.jpg │ │ ├── 4671.txt │ │ ├── 4672.jpg │ │ ├── 4672.txt │ │ ├── 4673.jpg │ │ ├── 4673.txt │ │ ├── 4674.jpg │ │ ├── 4674.txt │ │ ├── 4675.jpg │ │ ├── 4675.txt │ │ ├── 4676.jpg │ │ ├── 4676.txt │ │ ├── 4677.jpg │ │ ├── 4677.txt │ │ ├── 4678.jpg │ │ ├── 4678.txt │ │ ├── 4679.jpg │ │ ├── 4679.txt │ │ ├── 467.jpg │ │ ├── 467.txt │ │ ├── 4680.jpg │ │ ├── 4680.txt │ │ ├── 4681.jpg │ │ ├── 4681.txt │ │ ├── 4682.jpg │ │ ├── 4682.txt │ │ ├── 4683.jpg │ │ ├── 4683.txt │ │ ├── 4684.jpg │ │ ├── 4684.txt │ │ ├── 4685.jpg │ │ ├── 4685.txt │ │ ├── 4686.jpg │ │ ├── 4686.txt │ │ ├── 4687.jpg │ │ ├── 4687.txt │ │ ├── 4688.jpg │ │ ├── 4688.txt │ │ ├── 4689.jpg │ │ ├── 4689.txt │ │ ├── 468.jpg │ │ ├── 468.txt │ │ ├── 4690.jpg │ │ ├── 4690.txt │ │ ├── 4691.jpg │ │ ├── 4691.txt │ │ ├── 4692.jpg │ │ ├── 4692.txt │ │ ├── 4693.jpg │ │ ├── 4693.txt │ │ ├── 4694.jpg │ │ ├── 4694.txt │ │ ├── 4695.jpg │ │ ├── 4695.txt │ │ ├── 4696.jpg │ │ ├── 4696.txt │ │ ├── 4697.jpg │ │ ├── 4697.txt │ │ ├── 4698.jpg │ │ ├── 4698.txt │ │ ├── 4699.jpg │ │ ├── 4699.txt │ │ ├── 469.jpg │ │ ├── 469.txt │ │ ├── 46.jpg │ │ ├── 46.txt │ │ ├── 4700.jpg │ │ ├── 4700.txt │ │ ├── 4701.jpg │ │ ├── 4701.txt │ │ ├── 4702.jpg │ │ ├── 4702.txt │ │ ├── 4703.jpg │ │ ├── 4703.txt │ │ ├── 4704.jpg │ │ ├── 4704.txt │ │ ├── 4705.jpg │ │ ├── 4705.txt │ │ ├── 4706.jpg │ │ ├── 4706.txt │ │ ├── 4707.jpg │ │ ├── 4707.txt │ │ ├── 4708.jpg │ │ ├── 4708.txt │ │ ├── 4709.jpg │ │ ├── 4709.txt │ │ ├── 470.jpg │ │ ├── 470.txt │ │ ├── 4710.jpg │ │ ├── 4710.txt │ │ ├── 4711.jpg │ │ ├── 4711.txt │ │ ├── 4712.jpg │ │ ├── 4712.txt │ │ ├── 4713.jpg │ │ ├── 4713.txt │ │ ├── 4714.jpg │ │ ├── 4714.txt │ │ ├── 4715.jpg │ │ ├── 4715.txt │ │ ├── 4716.jpg │ │ ├── 4716.txt │ │ ├── 4717.jpg │ │ ├── 4717.txt │ │ ├── 4718.jpg │ │ ├── 4718.txt │ │ ├── 4719.jpg │ │ ├── 4719.txt │ │ ├── 471.jpg │ │ ├── 471.txt │ │ ├── 4720.jpg │ │ ├── 4720.txt │ │ ├── 4721.jpg │ │ ├── 4721.txt │ │ ├── 4722.jpg │ │ ├── 4722.txt │ │ ├── 4723.jpg │ │ ├── 4723.txt │ │ ├── 4724.jpg │ │ ├── 4724.txt │ │ ├── 4725.jpg │ │ ├── 4725.txt │ │ ├── 4726.jpg │ │ ├── 4726.txt │ │ ├── 4727.jpg │ │ ├── 4727.txt │ │ ├── 4728.jpg │ │ ├── 4728.txt │ │ ├── 4729.jpg │ │ ├── 4729.txt │ │ ├── 472.jpg │ │ ├── 472.txt │ │ ├── 4730.jpg │ │ ├── 4730.txt │ │ ├── 4731.jpg │ │ ├── 4731.txt │ │ ├── 4732.jpg │ │ ├── 4732.txt │ │ ├── 4733.jpg │ │ ├── 4733.txt │ │ ├── 4734.jpg │ │ ├── 4734.txt │ │ ├── 4735.jpg │ │ ├── 4735.txt │ │ ├── 4736.jpg │ │ ├── 4736.txt │ │ ├── 4737.jpg │ │ ├── 4737.txt │ │ ├── 4738.jpg │ │ ├── 4738.txt │ │ ├── 4739.jpg │ │ ├── 4739.txt │ │ ├── 473.jpg │ │ ├── 473.txt │ │ ├── 4740.jpg │ │ ├── 4740.txt │ │ ├── 4741.jpg │ │ ├── 4741.txt │ │ ├── 4742.jpg │ │ ├── 4742.txt │ │ ├── 4743.jpg │ │ ├── 4743.txt │ │ ├── 4744.jpg │ │ ├── 4744.txt │ │ ├── 4745.jpg │ │ ├── 4745.txt │ │ ├── 4746.jpg │ │ ├── 4746.txt │ │ ├── 4747.jpg │ │ ├── 4747.txt │ │ ├── 4748.jpg │ │ ├── 4748.txt │ │ ├── 4749.jpg │ │ ├── 4749.txt │ │ ├── 474.jpg │ │ ├── 474.txt │ │ ├── 4750.jpg │ │ ├── 4750.txt │ │ ├── 4751.jpg │ │ ├── 4751.txt │ │ ├── 4752.jpg │ │ ├── 4752.txt │ │ ├── 4753.jpg │ │ ├── 4753.txt │ │ ├── 4754.jpg │ │ ├── 4754.txt │ │ ├── 4755.jpg │ │ ├── 4755.txt │ │ ├── 4756.jpg │ │ ├── 4756.txt │ │ ├── 4757.jpg │ │ ├── 4757.txt │ │ ├── 4758.jpg │ │ ├── 4758.txt │ │ ├── 4759.jpg │ │ ├── 4759.txt │ │ ├── 475.jpg │ │ ├── 475.txt │ │ ├── 4760.jpg │ │ ├── 4760.txt │ │ ├── 4761.jpg │ │ ├── 4761.txt │ │ ├── 4762.jpg │ │ ├── 4762.txt │ │ ├── 4763.jpg │ │ ├── 4763.txt │ │ ├── 4764.jpg │ │ ├── 4764.txt │ │ ├── 4765.jpg │ │ ├── 4765.txt │ │ ├── 4766.jpg │ │ ├── 4766.txt │ │ ├── 4767.jpg │ │ ├── 4767.txt │ │ ├── 4768.jpg │ │ ├── 4768.txt │ │ ├── 4769.jpg │ │ ├── 4769.txt │ │ ├── 476.jpg │ │ ├── 476.txt │ │ ├── 4770.jpg │ │ ├── 4770.txt │ │ ├── 4771.jpg │ │ ├── 4771.txt │ │ ├── 4772.jpg │ │ ├── 4772.txt │ │ ├── 4773.jpg │ │ ├── 4773.txt │ │ ├── 4774.jpg │ │ ├── 4774.txt │ │ ├── 4775.jpg │ │ ├── 4775.txt │ │ ├── 4776.jpg │ │ ├── 4776.txt │ │ ├── 4777.jpg │ │ ├── 4777.txt │ │ ├── 4778.jpg │ │ ├── 4778.txt │ │ ├── 4779.jpg │ │ ├── 4779.txt │ │ ├── 477.jpg │ │ ├── 477.txt │ │ ├── 4780.jpg │ │ ├── 4780.txt │ │ ├── 4781.jpg │ │ ├── 4781.txt │ │ ├── 4782.jpg │ │ ├── 4782.txt │ │ ├── 4783.jpg │ │ ├── 4783.txt │ │ ├── 4784.jpg │ │ ├── 4784.txt │ │ ├── 4785.jpg │ │ ├── 4785.txt │ │ ├── 4786.jpg │ │ ├── 4786.txt │ │ ├── 4787.jpg │ │ ├── 4787.txt │ │ ├── 4788.jpg │ │ ├── 4788.txt │ │ ├── 4789.jpg │ │ ├── 4789.txt │ │ ├── 478.jpg │ │ ├── 478.txt │ │ ├── 4790.jpg │ │ ├── 4790.txt │ │ ├── 4791.jpg │ │ ├── 4791.txt │ │ ├── 4792.jpg │ │ ├── 4792.txt │ │ ├── 4793.jpg │ │ ├── 4793.txt │ │ ├── 4794.jpg │ │ ├── 4794.txt │ │ ├── 4795.jpg │ │ ├── 4795.txt │ │ ├── 4796.jpg │ │ ├── 4796.txt │ │ ├── 4797.jpg │ │ ├── 4797.txt │ │ ├── 4798.jpg │ │ ├── 4798.txt │ │ ├── 4799.jpg │ │ ├── 4799.txt │ │ ├── 479.jpg │ │ ├── 479.txt │ │ ├── 47.jpg │ │ ├── 47.txt │ │ ├── 4800.jpg │ │ ├── 4800.txt │ │ ├── 4801.jpg │ │ ├── 4801.txt │ │ ├── 4802.jpg │ │ ├── 4802.txt │ │ ├── 4803.jpg │ │ ├── 4803.txt │ │ ├── 4804.jpg │ │ ├── 4804.txt │ │ ├── 4805.jpg │ │ ├── 4805.txt │ │ ├── 4806.jpg │ │ ├── 4806.txt │ │ ├── 4807.jpg │ │ ├── 4807.txt │ │ ├── 4808.jpg │ │ ├── 4808.txt │ │ ├── 4809.jpg │ │ ├── 4809.txt │ │ ├── 480.jpg │ │ ├── 480.txt │ │ ├── 4810.jpg │ │ ├── 4810.txt │ │ ├── 4811.jpg │ │ ├── 4811.txt │ │ ├── 4812.jpg │ │ ├── 4812.txt │ │ ├── 4813.jpg │ │ ├── 4813.txt │ │ ├── 4814.jpg │ │ ├── 4814.txt │ │ ├── 4815.jpg │ │ ├── 4815.txt │ │ ├── 4816.jpg │ │ ├── 4816.txt │ │ ├── 4817.jpg │ │ ├── 4817.txt │ │ ├── 4818.jpg │ │ ├── 4818.txt │ │ ├── 4819.jpg │ │ ├── 4819.txt │ │ ├── 481.jpg │ │ ├── 481.txt │ │ ├── 4820.jpg │ │ ├── 4820.txt │ │ ├── 4821.jpg │ │ ├── 4821.txt │ │ ├── 4822.jpg │ │ ├── 4822.txt │ │ ├── 4823.jpg │ │ ├── 4823.txt │ │ ├── 4824.jpg │ │ ├── 4824.txt │ │ ├── 4825.jpg │ │ ├── 4825.txt │ │ ├── 4826.jpg │ │ ├── 4826.txt │ │ ├── 4827.jpg │ │ ├── 4827.txt │ │ ├── 4828.jpg │ │ ├── 4828.txt │ │ ├── 4829.jpg │ │ ├── 4829.txt │ │ ├── 482.jpg │ │ ├── 482.txt │ │ ├── 4830.jpg │ │ ├── 4830.txt │ │ ├── 4831.jpg │ │ ├── 4831.txt │ │ ├── 4832.jpg │ │ ├── 4832.txt │ │ ├── 4833.jpg │ │ ├── 4833.txt │ │ ├── 4834.jpg │ │ ├── 4834.txt │ │ ├── 4835.jpg │ │ ├── 4835.txt │ │ ├── 4836.jpg │ │ ├── 4836.txt │ │ ├── 4837.jpg │ │ ├── 4837.txt │ │ ├── 4838.jpg │ │ ├── 4838.txt │ │ ├── 4839.jpg │ │ ├── 4839.txt │ │ ├── 483.jpg │ │ ├── 483.txt │ │ ├── 4840.jpg │ │ ├── 4840.txt │ │ ├── 4841.jpg │ │ ├── 4841.txt │ │ ├── 4842.jpg │ │ ├── 4842.txt │ │ ├── 4843.jpg │ │ ├── 4843.txt │ │ ├── 4844.jpg │ │ ├── 4844.txt │ │ ├── 4845.jpg │ │ ├── 4845.txt │ │ ├── 4846.jpg │ │ ├── 4846.txt │ │ ├── 4847.jpg │ │ ├── 4847.txt │ │ ├── 4848.jpg │ │ ├── 4848.txt │ │ ├── 4849.jpg │ │ ├── 4849.txt │ │ ├── 484.jpg │ │ ├── 484.txt │ │ ├── 4850.jpg │ │ ├── 4850.txt │ │ ├── 4851.jpg │ │ ├── 4851.txt │ │ ├── 4852.jpg │ │ ├── 4852.txt │ │ ├── 4853.jpg │ │ ├── 4853.txt │ │ ├── 4854.jpg │ │ ├── 4854.txt │ │ ├── 4855.jpg │ │ ├── 4855.txt │ │ ├── 4856.jpg │ │ ├── 4856.txt │ │ ├── 4857.jpg │ │ ├── 4857.txt │ │ ├── 4858.jpg │ │ ├── 4858.txt │ │ ├── 4859.jpg │ │ ├── 4859.txt │ │ ├── 485.jpg │ │ ├── 485.txt │ │ ├── 4860.jpg │ │ ├── 4860.txt │ │ ├── 4861.jpg │ │ ├── 4861.txt │ │ ├── 4862.jpg │ │ ├── 4862.txt │ │ ├── 4863.jpg │ │ ├── 4863.txt │ │ ├── 4864.jpg │ │ ├── 4864.txt │ │ ├── 4865.jpg │ │ ├── 4865.txt │ │ ├── 4866.jpg │ │ ├── 4866.txt │ │ ├── 4867.jpg │ │ ├── 4867.txt │ │ ├── 4868.jpg │ │ ├── 4868.txt │ │ ├── 4869.jpg │ │ ├── 4869.txt │ │ ├── 486.jpg │ │ ├── 486.txt │ │ ├── 4870.jpg │ │ ├── 4870.txt │ │ ├── 4871.jpg │ │ ├── 4871.txt │ │ ├── 4872.jpg │ │ ├── 4872.txt │ │ ├── 4873.jpg │ │ ├── 4873.txt │ │ ├── 4874.jpg │ │ ├── 4874.txt │ │ ├── 4875.jpg │ │ ├── 4875.txt │ │ ├── 4876.jpg │ │ ├── 4876.txt │ │ ├── 4877.jpg │ │ ├── 4877.txt │ │ ├── 4878.jpg │ │ ├── 4878.txt │ │ ├── 4879.jpg │ │ ├── 4879.txt │ │ ├── 487.jpg │ │ ├── 487.txt │ │ ├── 4880.jpg │ │ ├── 4880.txt │ │ ├── 4881.jpg │ │ ├── 4881.txt │ │ ├── 4882.jpg │ │ ├── 4882.txt │ │ ├── 4883.jpg │ │ ├── 4883.txt │ │ ├── 4884.jpg │ │ ├── 4884.txt │ │ ├── 4885.jpg │ │ ├── 4885.txt │ │ ├── 4886.jpg │ │ ├── 4886.txt │ │ ├── 4887.jpg │ │ ├── 4887.txt │ │ ├── 4888.jpg │ │ ├── 4888.txt │ │ ├── 4889.jpg │ │ ├── 4889.txt │ │ ├── 488.jpg │ │ ├── 488.txt │ │ ├── 4890.jpg │ │ ├── 4890.txt │ │ ├── 4891.jpg │ │ ├── 4891.txt │ │ ├── 4892.jpg │ │ ├── 4892.txt │ │ ├── 4893.jpg │ │ ├── 4893.txt │ │ ├── 4894.jpg │ │ ├── 4894.txt │ │ ├── 4895.jpg │ │ ├── 4895.txt │ │ ├── 4896.jpg │ │ ├── 4896.txt │ │ ├── 4897.jpg │ │ ├── 4897.txt │ │ ├── 4898.jpg │ │ ├── 4898.txt │ │ ├── 4899.jpg │ │ ├── 4899.txt │ │ ├── 489.jpg │ │ ├── 489.txt │ │ ├── 48.jpg │ │ ├── 48.txt │ │ ├── 4900.jpg │ │ ├── 4900.txt │ │ ├── 4901.jpg │ │ ├── 4901.txt │ │ ├── 4902.jpg │ │ ├── 4902.txt │ │ ├── 4903.jpg │ │ ├── 4903.txt │ │ ├── 4904.jpg │ │ ├── 4904.txt │ │ ├── 4905.jpg │ │ ├── 4905.txt │ │ ├── 4906.jpg │ │ ├── 4906.txt │ │ ├── 4907.jpg │ │ ├── 4907.txt │ │ ├── 4908.jpg │ │ ├── 4908.txt │ │ ├── 4909.jpg │ │ ├── 4909.txt │ │ ├── 490.jpg │ │ ├── 490.txt │ │ ├── 4910.jpg │ │ ├── 4910.txt │ │ ├── 4911.jpg │ │ ├── 4911.txt │ │ ├── 4912.jpg │ │ ├── 4912.txt │ │ ├── 4913.jpg │ │ ├── 4913.txt │ │ ├── 4914.jpg │ │ ├── 4914.txt │ │ ├── 4915.jpg │ │ ├── 4915.txt │ │ ├── 4916.jpg │ │ ├── 4916.txt │ │ ├── 4917.jpg │ │ ├── 4917.txt │ │ ├── 4918.jpg │ │ ├── 4918.txt │ │ ├── 4919.jpg │ │ ├── 4919.txt │ │ ├── 491.jpg │ │ ├── 491.txt │ │ ├── 4920.jpg │ │ ├── 4920.txt │ │ ├── 4921.jpg │ │ ├── 4921.txt │ │ ├── 4922.jpg │ │ ├── 4922.txt │ │ ├── 4923.jpg │ │ ├── 4923.txt │ │ ├── 4924.jpg │ │ ├── 4924.txt │ │ ├── 4925.jpg │ │ ├── 4925.txt │ │ ├── 4926.jpg │ │ ├── 4926.txt │ │ ├── 4927.jpg │ │ ├── 4927.txt │ │ ├── 4928.jpg │ │ ├── 4928.txt │ │ ├── 4929.jpg │ │ ├── 4929.txt │ │ ├── 492.jpg │ │ ├── 492.txt │ │ ├── 4930.jpg │ │ ├── 4930.txt │ │ ├── 4931.jpg │ │ ├── 4931.txt │ │ ├── 4932.jpg │ │ ├── 4932.txt │ │ ├── 4933.jpg │ │ ├── 4933.txt │ │ ├── 4934.jpg │ │ ├── 4934.txt │ │ ├── 4935.jpg │ │ ├── 4935.txt │ │ ├── 4936.jpg │ │ ├── 4936.txt │ │ ├── 4937.jpg │ │ ├── 4937.txt │ │ ├── 4938.jpg │ │ ├── 4938.txt │ │ ├── 4939.jpg │ │ ├── 4939.txt │ │ ├── 493.jpg │ │ ├── 493.txt │ │ ├── 4940.jpg │ │ ├── 4940.txt │ │ ├── 4941.jpg │ │ ├── 4941.txt │ │ ├── 4942.jpg │ │ ├── 4942.txt │ │ ├── 4943.jpg │ │ ├── 4943.txt │ │ ├── 4944.jpg │ │ ├── 4944.txt │ │ ├── 4945.jpg │ │ ├── 4945.txt │ │ ├── 4946.jpg │ │ ├── 4946.txt │ │ ├── 4947.jpg │ │ ├── 4947.txt │ │ ├── 4948.jpg │ │ ├── 4948.txt │ │ ├── 4949.jpg │ │ ├── 4949.txt │ │ ├── 494.jpg │ │ ├── 494.txt │ │ ├── 4950.jpg │ │ ├── 4950.txt │ │ ├── 4951.jpg │ │ ├── 4951.txt │ │ ├── 4952.jpg │ │ ├── 4952.txt │ │ ├── 4953.jpg │ │ ├── 4953.txt │ │ ├── 4954.jpg │ │ ├── 4954.txt │ │ ├── 4955.jpg │ │ ├── 4955.txt │ │ ├── 4956.jpg │ │ ├── 4956.txt │ │ ├── 4957.jpg │ │ ├── 4957.txt │ │ ├── 4958.jpg │ │ ├── 4958.txt │ │ ├── 4959.jpg │ │ ├── 4959.txt │ │ ├── 495.jpg │ │ ├── 495.txt │ │ ├── 4960.jpg │ │ ├── 4960.txt │ │ ├── 4961.jpg │ │ ├── 4961.txt │ │ ├── 4962.jpg │ │ ├── 4962.txt │ │ ├── 4963.jpg │ │ ├── 4963.txt │ │ ├── 4964.jpg │ │ ├── 4964.txt │ │ ├── 4965.jpg │ │ ├── 4965.txt │ │ ├── 4966.jpg │ │ ├── 4966.txt │ │ ├── 4967.jpg │ │ ├── 4967.txt │ │ ├── 4968.jpg │ │ ├── 4968.txt │ │ ├── 4969.jpg │ │ ├── 4969.txt │ │ ├── 496.jpg │ │ ├── 496.txt │ │ ├── 4970.jpg │ │ ├── 4970.txt │ │ ├── 4971.jpg │ │ ├── 4971.txt │ │ ├── 4972.jpg │ │ ├── 4972.txt │ │ ├── 4973.jpg │ │ ├── 4973.txt │ │ ├── 4974.jpg │ │ ├── 4974.txt │ │ ├── 4975.jpg │ │ ├── 4975.txt │ │ ├── 4976.jpg │ │ ├── 4976.txt │ │ ├── 4977.jpg │ │ ├── 4977.txt │ │ ├── 4978.jpg │ │ ├── 4978.txt │ │ ├── 4979.jpg │ │ ├── 4979.txt │ │ ├── 497.jpg │ │ ├── 497.txt │ │ ├── 4980.jpg │ │ ├── 4980.txt │ │ ├── 4981.jpg │ │ ├── 4981.txt │ │ ├── 4982.jpg │ │ ├── 4982.txt │ │ ├── 4983.jpg │ │ ├── 4983.txt │ │ ├── 4984.jpg │ │ ├── 4984.txt │ │ ├── 4985.jpg │ │ ├── 4985.txt │ │ ├── 4986.jpg │ │ ├── 4986.txt │ │ ├── 4987.jpg │ │ ├── 4987.txt │ │ ├── 4988.jpg │ │ ├── 4988.txt │ │ ├── 4989.jpg │ │ ├── 4989.txt │ │ ├── 498.jpg │ │ ├── 498.txt │ │ ├── 4990.jpg │ │ ├── 4990.txt │ │ ├── 4991.jpg │ │ ├── 4991.txt │ │ ├── 4992.jpg │ │ ├── 4992.txt │ │ ├── 4993.jpg │ │ ├── 4993.txt │ │ ├── 4994.jpg │ │ ├── 4994.txt │ │ ├── 4995.jpg │ │ ├── 4995.txt │ │ ├── 4996.jpg │ │ ├── 4996.txt │ │ ├── 4997.jpg │ │ ├── 4997.txt │ │ ├── 4998.jpg │ │ ├── 4998.txt │ │ ├── 4999.jpg │ │ ├── 4999.txt │ │ ├── 499.jpg │ │ ├── 499.txt │ │ ├── 49.jpg │ │ ├── 49.txt │ │ ├── 4.jpg │ │ ├── 4.txt │ │ ├── 5000.jpg │ │ ├── 5000.txt │ │ ├── 5001.jpg │ │ ├── 5001.txt │ │ ├── 5002.jpg │ │ ├── 5002.txt │ │ ├── 5003.jpg │ │ ├── 5003.txt │ │ ├── 5004.jpg │ │ ├── 5004.txt │ │ ├── 5005.jpg │ │ ├── 5005.txt │ │ ├── 5006.jpg │ │ ├── 5006.txt │ │ ├── 5007.jpg │ │ ├── 5007.txt │ │ ├── 5008.jpg │ │ ├── 5008.txt │ │ ├── 5009.jpg │ │ ├── 5009.txt │ │ ├── 500.jpg │ │ ├── 500.txt │ │ ├── 5010.jpg │ │ ├── 5010.txt │ │ ├── 5011.jpg │ │ ├── 5011.txt │ │ ├── 5012.jpg │ │ ├── 5012.txt │ │ ├── 5013.jpg │ │ ├── 5013.txt │ │ ├── 5014.jpg │ │ ├── 5014.txt │ │ ├── 5015.jpg │ │ ├── 5015.txt │ │ ├── 5016.jpg │ │ ├── 5016.txt │ │ ├── 5017.jpg │ │ ├── 5017.txt │ │ ├── 5018.jpg │ │ ├── 5018.txt │ │ ├── 5019.jpg │ │ ├── 5019.txt │ │ ├── 501.jpg │ │ ├── 501.txt │ │ ├── 5020.jpg │ │ ├── 5020.txt │ │ ├── 5021.jpg │ │ ├── 5021.txt │ │ ├── 5022.jpg │ │ ├── 5022.txt │ │ ├── 5023.jpg │ │ ├── 5023.txt │ │ ├── 5024.jpg │ │ ├── 5024.txt │ │ ├── 5025.jpg │ │ ├── 5025.txt │ │ ├── 5026.jpg │ │ ├── 5026.txt │ │ ├── 5027.jpg │ │ ├── 5027.txt │ │ ├── 5028.jpg │ │ ├── 5028.txt │ │ ├── 5029.jpg │ │ ├── 5029.txt │ │ ├── 502.jpg │ │ ├── 502.txt │ │ ├── 5030.jpg │ │ ├── 5030.txt │ │ ├── 5031.jpg │ │ ├── 5031.txt │ │ ├── 5032.jpg │ │ ├── 5032.txt │ │ ├── 5033.jpg │ │ ├── 5033.txt │ │ ├── 5034.jpg │ │ ├── 5034.txt │ │ ├── 5035.jpg │ │ ├── 5035.txt │ │ ├── 5036.jpg │ │ ├── 5036.txt │ │ ├── 5037.jpg │ │ ├── 5037.txt │ │ ├── 5038.jpg │ │ ├── 5038.txt │ │ ├── 5039.jpg │ │ ├── 5039.txt │ │ ├── 503.jpg │ │ ├── 503.txt │ │ ├── 5040.jpg │ │ ├── 5040.txt │ │ ├── 5041.jpg │ │ ├── 5041.txt │ │ ├── 5042.jpg │ │ ├── 5042.txt │ │ ├── 5043.jpg │ │ ├── 5043.txt │ │ ├── 5044.jpg │ │ ├── 5044.txt │ │ ├── 5045.jpg │ │ ├── 5045.txt │ │ ├── 5046.jpg │ │ ├── 5046.txt │ │ ├── 5047.jpg │ │ ├── 5047.txt │ │ ├── 5048.jpg │ │ ├── 5048.txt │ │ ├── 5049.jpg │ │ ├── 5049.txt │ │ ├── 504.jpg │ │ ├── 504.txt │ │ ├── 5050.jpg │ │ ├── 5050.txt │ │ ├── 5051.jpg │ │ ├── 5051.txt │ │ ├── 5052.jpg │ │ ├── 5052.txt │ │ ├── 5053.jpg │ │ ├── 5053.txt │ │ ├── 5054.jpg │ │ ├── 5054.txt │ │ ├── 5055.jpg │ │ ├── 5055.txt │ │ ├── 5056.jpg │ │ ├── 5056.txt │ │ ├── 5057.jpg │ │ ├── 5057.txt │ │ ├── 5058.jpg │ │ ├── 5058.txt │ │ ├── 5059.jpg │ │ ├── 5059.txt │ │ ├── 505.jpg │ │ ├── 505.txt │ │ ├── 5060.jpg │ │ ├── 5060.txt │ │ ├── 5061.jpg │ │ ├── 5061.txt │ │ ├── 5062.jpg │ │ ├── 5062.txt │ │ ├── 5063.jpg │ │ ├── 5063.txt │ │ ├── 5064.jpg │ │ ├── 5064.txt │ │ ├── 5065.jpg │ │ ├── 5065.txt │ │ ├── 5066.jpg │ │ ├── 5066.txt │ │ ├── 5067.jpg │ │ ├── 5067.txt │ │ ├── 5068.jpg │ │ ├── 5068.txt │ │ ├── 5069.jpg │ │ ├── 5069.txt │ │ ├── 506.jpg │ │ ├── 506.txt │ │ ├── 5070.jpg │ │ ├── 5070.txt │ │ ├── 5071.jpg │ │ ├── 5071.txt │ │ ├── 5072.jpg │ │ ├── 5072.txt │ │ ├── 5073.jpg │ │ ├── 5073.txt │ │ ├── 5074.jpg │ │ ├── 5074.txt │ │ ├── 5075.jpg │ │ ├── 5075.txt │ │ ├── 5076.jpg │ │ ├── 5076.txt │ │ ├── 5077.jpg │ │ ├── 5077.txt │ │ ├── 5078.jpg │ │ ├── 5078.txt │ │ ├── 5079.jpg │ │ ├── 5079.txt │ │ ├── 507.jpg │ │ ├── 507.txt │ │ ├── 5080.jpg │ │ ├── 5080.txt │ │ ├── 5081.jpg │ │ ├── 5081.txt │ │ ├── 5082.jpg │ │ ├── 5082.txt │ │ ├── 5083.jpg │ │ ├── 5083.txt │ │ ├── 5084.jpg │ │ ├── 5084.txt │ │ ├── 5085.jpg │ │ ├── 5085.txt │ │ ├── 5086.jpg │ │ ├── 5086.txt │ │ ├── 5087.jpg │ │ ├── 5087.txt │ │ ├── 5088.jpg │ │ ├── 5088.txt │ │ ├── 5089.jpg │ │ ├── 5089.txt │ │ ├── 508.jpg │ │ ├── 508.txt │ │ ├── 5090.jpg │ │ ├── 5090.txt │ │ ├── 5091.jpg │ │ ├── 5091.txt │ │ ├── 5092.jpg │ │ ├── 5092.txt │ │ ├── 5093.jpg │ │ ├── 5093.txt │ │ ├── 5094.jpg │ │ ├── 5094.txt │ │ ├── 5095.jpg │ │ ├── 5095.txt │ │ ├── 5096.jpg │ │ ├── 5096.txt │ │ ├── 5097.jpg │ │ ├── 5097.txt │ │ ├── 5098.jpg │ │ ├── 5098.txt │ │ ├── 5099.jpg │ │ ├── 5099.txt │ │ ├── 509.jpg │ │ ├── 509.txt │ │ ├── 50.jpg │ │ ├── 50.txt │ │ ├── 5100.jpg │ │ ├── 5100.txt │ │ ├── 5101.jpg │ │ ├── 5101.txt │ │ ├── 5102.jpg │ │ ├── 5102.txt │ │ ├── 5103.jpg │ │ ├── 5103.txt │ │ ├── 5104.jpg │ │ ├── 5104.txt │ │ ├── 5105.jpg │ │ ├── 5105.txt │ │ ├── 5106.jpg │ │ ├── 5106.txt │ │ ├── 5107.jpg │ │ ├── 5107.txt │ │ ├── 5108.jpg │ │ ├── 5108.txt │ │ ├── 5109.jpg │ │ ├── 5109.txt │ │ ├── 510.jpg │ │ ├── 510.txt │ │ ├── 5110.jpg │ │ ├── 5110.txt │ │ ├── 5111.jpg │ │ ├── 5111.txt │ │ ├── 5112.jpg │ │ ├── 5112.txt │ │ ├── 5113.jpg │ │ ├── 5113.txt │ │ ├── 5114.jpg │ │ ├── 5114.txt │ │ ├── 5115.jpg │ │ ├── 5115.txt │ │ ├── 5116.jpg │ │ ├── 5116.txt │ │ ├── 5117.jpg │ │ ├── 5117.txt │ │ ├── 5118.jpg │ │ ├── 5118.txt │ │ ├── 5119.jpg │ │ ├── 5119.txt │ │ ├── 511.jpg │ │ ├── 511.txt │ │ ├── 5120.jpg │ │ ├── 5120.txt │ │ ├── 5121.jpg │ │ ├── 5121.txt │ │ ├── 5122.jpg │ │ ├── 5122.txt │ │ ├── 5123.jpg │ │ ├── 5123.txt │ │ ├── 5124.jpg │ │ ├── 5124.txt │ │ ├── 5125.jpg │ │ ├── 5125.txt │ │ ├── 5126.jpg │ │ ├── 5126.txt │ │ ├── 5127.jpg │ │ ├── 5127.txt │ │ ├── 5128.jpg │ │ ├── 5128.txt │ │ ├── 5129.jpg │ │ ├── 5129.txt │ │ ├── 512.jpg │ │ ├── 512.txt │ │ ├── 513.jpg │ │ ├── 513.txt │ │ ├── 514.jpg │ │ ├── 514.txt │ │ ├── 515.jpg │ │ ├── 515.txt │ │ ├── 516.jpg │ │ ├── 516.txt │ │ ├── 517.jpg │ │ ├── 517.txt │ │ ├── 518.jpg │ │ ├── 518.txt │ │ ├── 519.jpg │ │ ├── 519.txt │ │ ├── 51.jpg │ │ ├── 51.txt │ │ ├── 520.jpg │ │ ├── 520.txt │ │ ├── 521.jpg │ │ ├── 521.txt │ │ ├── 522.jpg │ │ ├── 522.txt │ │ ├── 523.jpg │ │ ├── 523.txt │ │ ├── 524.jpg │ │ ├── 524.txt │ │ ├── 525.jpg │ │ ├── 525.txt │ │ ├── 526.jpg │ │ ├── 526.txt │ │ ├── 527.jpg │ │ ├── 527.txt │ │ ├── 528.jpg │ │ ├── 528.txt │ │ ├── 529.jpg │ │ ├── 529.txt │ │ ├── 52.jpg │ │ ├── 52.txt │ │ ├── 530.jpg │ │ ├── 530.txt │ │ ├── 531.jpg │ │ ├── 531.txt │ │ ├── 532.jpg │ │ ├── 532.txt │ │ ├── 533.jpg │ │ ├── 533.txt │ │ ├── 534.jpg │ │ ├── 534.txt │ │ ├── 535.jpg │ │ ├── 535.txt │ │ ├── 536.jpg │ │ ├── 536.txt │ │ ├── 537.jpg │ │ ├── 537.txt │ │ ├── 538.jpg │ │ ├── 538.txt │ │ ├── 539.jpg │ │ ├── 539.txt │ │ ├── 53.jpg │ │ ├── 53.txt │ │ ├── 540.jpg │ │ ├── 540.txt │ │ ├── 541.jpg │ │ ├── 541.txt │ │ ├── 542.jpg │ │ ├── 542.txt │ │ ├── 543.jpg │ │ ├── 543.txt │ │ ├── 544.jpg │ │ ├── 544.txt │ │ ├── 545.jpg │ │ ├── 545.txt │ │ ├── 546.jpg │ │ ├── 546.txt │ │ ├── 547.jpg │ │ ├── 547.txt │ │ ├── 548.jpg │ │ ├── 548.txt │ │ ├── 549.jpg │ │ ├── 549.txt │ │ ├── 54.jpg │ │ ├── 54.txt │ │ ├── 550.jpg │ │ ├── 550.txt │ │ ├── 551.jpg │ │ ├── 551.txt │ │ ├── 552.jpg │ │ ├── 552.txt │ │ ├── 553.jpg │ │ ├── 553.txt │ │ ├── 554.jpg │ │ ├── 554.txt │ │ ├── 555.jpg │ │ ├── 555.txt │ │ ├── 556.jpg │ │ ├── 556.txt │ │ ├── 557.jpg │ │ ├── 557.txt │ │ ├── 558.jpg │ │ ├── 558.txt │ │ ├── 559.jpg │ │ ├── 559.txt │ │ ├── 55.jpg │ │ ├── 55.txt │ │ ├── 560.jpg │ │ ├── 560.txt │ │ ├── 561.jpg │ │ ├── 561.txt │ │ ├── 562.jpg │ │ ├── 562.txt │ │ ├── 563.jpg │ │ ├── 563.txt │ │ ├── 564.jpg │ │ ├── 564.txt │ │ ├── 565.jpg │ │ ├── 565.txt │ │ ├── 566.jpg │ │ ├── 566.txt │ │ ├── 567.jpg │ │ ├── 567.txt │ │ ├── 568.jpg │ │ ├── 568.txt │ │ ├── 569.jpg │ │ ├── 569.txt │ │ ├── 56.jpg │ │ ├── 56.txt │ │ ├── 570.jpg │ │ ├── 570.txt │ │ ├── 571.jpg │ │ ├── 571.txt │ │ ├── 572.jpg │ │ ├── 572.txt │ │ ├── 573.jpg │ │ ├── 573.txt │ │ ├── 574.jpg │ │ ├── 574.txt │ │ ├── 575.jpg │ │ ├── 575.txt │ │ ├── 576.jpg │ │ ├── 576.txt │ │ ├── 577.jpg │ │ ├── 577.txt │ │ ├── 578.jpg │ │ ├── 578.txt │ │ ├── 579.jpg │ │ ├── 579.txt │ │ ├── 57.jpg │ │ ├── 57.txt │ │ ├── 580.jpg │ │ ├── 580.txt │ │ ├── 581.jpg │ │ ├── 581.txt │ │ ├── 582.jpg │ │ ├── 582.txt │ │ ├── 583.jpg │ │ ├── 583.txt │ │ ├── 584.jpg │ │ ├── 584.txt │ │ ├── 585.jpg │ │ ├── 585.txt │ │ ├── 586.jpg │ │ ├── 586.txt │ │ ├── 587.jpg │ │ ├── 587.txt │ │ ├── 588.jpg │ │ ├── 588.txt │ │ ├── 589.jpg │ │ ├── 589.txt │ │ ├── 58.jpg │ │ ├── 58.txt │ │ ├── 590.jpg │ │ ├── 590.txt │ │ ├── 591.jpg │ │ ├── 591.txt │ │ ├── 592.jpg │ │ ├── 592.txt │ │ ├── 593.jpg │ │ ├── 593.txt │ │ ├── 594.jpg │ │ ├── 594.txt │ │ ├── 595.jpg │ │ ├── 595.txt │ │ ├── 596.jpg │ │ ├── 596.txt │ │ ├── 597.jpg │ │ ├── 597.txt │ │ ├── 598.jpg │ │ ├── 598.txt │ │ ├── 599.jpg │ │ ├── 599.txt │ │ ├── 59.jpg │ │ ├── 59.txt │ │ ├── 5.jpg │ │ ├── 5.txt │ │ ├── 600.jpg │ │ ├── 600.txt │ │ ├── 601.jpg │ │ ├── 601.txt │ │ ├── 602.jpg │ │ ├── 602.txt │ │ ├── 603.jpg │ │ ├── 603.txt │ │ ├── 604.jpg │ │ ├── 604.txt │ │ ├── 605.jpg │ │ ├── 605.txt │ │ ├── 606.jpg │ │ ├── 606.txt │ │ ├── 607.jpg │ │ ├── 607.txt │ │ ├── 608.jpg │ │ ├── 608.txt │ │ ├── 609.jpg │ │ ├── 609.txt │ │ ├── 60.jpg │ │ ├── 60.txt │ │ ├── 610.jpg │ │ ├── 610.txt │ │ ├── 611.jpg │ │ ├── 611.txt │ │ ├── 612.jpg │ │ ├── 612.txt │ │ ├── 613.jpg │ │ ├── 613.txt │ │ ├── 614.jpg │ │ ├── 614.txt │ │ ├── 615.jpg │ │ ├── 615.txt │ │ ├── 616.jpg │ │ ├── 616.txt │ │ ├── 617.jpg │ │ ├── 617.txt │ │ ├── 618.jpg │ │ ├── 618.txt │ │ ├── 619.jpg │ │ ├── 619.txt │ │ ├── 61.jpg │ │ ├── 61.txt │ │ ├── 620.jpg │ │ ├── 620.txt │ │ ├── 621.jpg │ │ ├── 621.txt │ │ ├── 622.jpg │ │ ├── 622.txt │ │ ├── 623.jpg │ │ ├── 623.txt │ │ ├── 624.jpg │ │ ├── 624.txt │ │ ├── 625.jpg │ │ ├── 625.txt │ │ ├── 626.jpg │ │ ├── 626.txt │ │ ├── 627.jpg │ │ ├── 627.txt │ │ ├── 628.jpg │ │ ├── 628.txt │ │ ├── 629.jpg │ │ ├── 629.txt │ │ ├── 62.jpg │ │ ├── 62.txt │ │ ├── 630.jpg │ │ ├── 630.txt │ │ ├── 631.jpg │ │ ├── 631.txt │ │ ├── 632.jpg │ │ ├── 632.txt │ │ ├── 633.jpg │ │ ├── 633.txt │ │ ├── 634.jpg │ │ ├── 634.txt │ │ ├── 635.jpg │ │ ├── 635.txt │ │ ├── 636.jpg │ │ ├── 636.txt │ │ ├── 637.jpg │ │ ├── 637.txt │ │ ├── 638.jpg │ │ ├── 638.txt │ │ ├── 639.jpg │ │ ├── 639.txt │ │ ├── 63.jpg │ │ ├── 63.txt │ │ ├── 640.jpg │ │ ├── 640.txt │ │ ├── 641.jpg │ │ ├── 641.txt │ │ ├── 642.jpg │ │ ├── 642.txt │ │ ├── 643.jpg │ │ ├── 643.txt │ │ ├── 644.jpg │ │ ├── 644.txt │ │ ├── 645.jpg │ │ ├── 645.txt │ │ ├── 646.jpg │ │ ├── 646.txt │ │ ├── 647.jpg │ │ ├── 647.txt │ │ ├── 648.jpg │ │ ├── 648.txt │ │ ├── 649.jpg │ │ ├── 649.txt │ │ ├── 64.jpg │ │ ├── 64.txt │ │ ├── 650.jpg │ │ ├── 650.txt │ │ ├── 651.jpg │ │ ├── 651.txt │ │ ├── 652.jpg │ │ ├── 652.txt │ │ ├── 653.jpg │ │ ├── 653.txt │ │ ├── 654.jpg │ │ ├── 654.txt │ │ ├── 655.jpg │ │ ├── 655.txt │ │ ├── 656.jpg │ │ ├── 656.txt │ │ ├── 657.jpg │ │ ├── 657.txt │ │ ├── 658.jpg │ │ ├── 658.txt │ │ ├── 659.jpg │ │ ├── 659.txt │ │ ├── 65.jpg │ │ ├── 65.txt │ │ ├── 660.jpg │ │ ├── 660.txt │ │ ├── 661.jpg │ │ ├── 661.txt │ │ ├── 662.jpg │ │ ├── 662.txt │ │ ├── 663.jpg │ │ ├── 663.txt │ │ ├── 664.jpg │ │ ├── 664.txt │ │ ├── 665.jpg │ │ ├── 665.txt │ │ ├── 666.jpg │ │ ├── 666.txt │ │ ├── 667.jpg │ │ ├── 667.txt │ │ ├── 668.jpg │ │ ├── 668.txt │ │ ├── 669.jpg │ │ ├── 669.txt │ │ ├── 66.jpg │ │ ├── 66.txt │ │ ├── 670.jpg │ │ ├── 670.txt │ │ ├── 671.jpg │ │ ├── 671.txt │ │ ├── 672.jpg │ │ ├── 672.txt │ │ ├── 673.jpg │ │ ├── 673.txt │ │ ├── 674.jpg │ │ ├── 674.txt │ │ ├── 675.jpg │ │ ├── 675.txt │ │ ├── 676.jpg │ │ ├── 676.txt │ │ ├── 677.jpg │ │ ├── 677.txt │ │ ├── 678.jpg │ │ ├── 678.txt │ │ ├── 679.jpg │ │ ├── 679.txt │ │ ├── 67.jpg │ │ ├── 67.txt │ │ ├── 680.jpg │ │ ├── 680.txt │ │ ├── 681.jpg │ │ ├── 681.txt │ │ ├── 682.jpg │ │ ├── 682.txt │ │ ├── 683.jpg │ │ ├── 683.txt │ │ ├── 684.jpg │ │ ├── 684.txt │ │ ├── 685.jpg │ │ ├── 685.txt │ │ ├── 686.jpg │ │ ├── 686.txt │ │ ├── 687.jpg │ │ ├── 687.txt │ │ ├── 688.jpg │ │ ├── 688.txt │ │ ├── 689.jpg │ │ ├── 689.txt │ │ ├── 68.jpg │ │ ├── 68.txt │ │ ├── 690.jpg │ │ ├── 690.txt │ │ ├── 691.jpg │ │ ├── 691.txt │ │ ├── 692.jpg │ │ ├── 692.txt │ │ ├── 693.jpg │ │ ├── 693.txt │ │ ├── 694.jpg │ │ ├── 694.txt │ │ ├── 695.jpg │ │ ├── 695.txt │ │ ├── 696.jpg │ │ ├── 696.txt │ │ ├── 697.jpg │ │ ├── 697.txt │ │ ├── 698.jpg │ │ ├── 698.txt │ │ ├── 699.jpg │ │ ├── 699.txt │ │ ├── 69.jpg │ │ ├── 69.txt │ │ ├── 6.jpg │ │ ├── 6.txt │ │ ├── 700.jpg │ │ ├── 700.txt │ │ ├── 701.jpg │ │ ├── 701.txt │ │ ├── 702.jpg │ │ ├── 702.txt │ │ ├── 703.jpg │ │ ├── 703.txt │ │ ├── 704.jpg │ │ ├── 704.txt │ │ ├── 705.jpg │ │ ├── 705.txt │ │ ├── 706.jpg │ │ ├── 706.txt │ │ ├── 707.jpg │ │ ├── 707.txt │ │ ├── 708.jpg │ │ ├── 708.txt │ │ ├── 709.jpg │ │ ├── 709.txt │ │ ├── 70.jpg │ │ ├── 70.txt │ │ ├── 710.jpg │ │ ├── 710.txt │ │ ├── 711.jpg │ │ ├── 711.txt │ │ ├── 712.jpg │ │ ├── 712.txt │ │ ├── 713.jpg │ │ ├── 713.txt │ │ ├── 714.jpg │ │ ├── 714.txt │ │ ├── 715.jpg │ │ ├── 715.txt │ │ ├── 716.jpg │ │ ├── 716.txt │ │ ├── 717.jpg │ │ ├── 717.txt │ │ ├── 718.jpg │ │ ├── 718.txt │ │ ├── 719.jpg │ │ ├── 719.txt │ │ ├── 71.jpg │ │ ├── 71.txt │ │ ├── 720.jpg │ │ ├── 720.txt │ │ ├── 721.jpg │ │ ├── 721.txt │ │ ├── 722.jpg │ │ ├── 722.txt │ │ ├── 723.jpg │ │ ├── 723.txt │ │ ├── 724.jpg │ │ ├── 724.txt │ │ ├── 725.jpg │ │ ├── 725.txt │ │ ├── 726.jpg │ │ ├── 726.txt │ │ ├── 727.jpg │ │ ├── 727.txt │ │ ├── 728.jpg │ │ ├── 728.txt │ │ ├── 729.jpg │ │ ├── 729.txt │ │ ├── 72.jpg │ │ ├── 72.txt │ │ ├── 730.jpg │ │ ├── 730.txt │ │ ├── 731.jpg │ │ ├── 731.txt │ │ ├── 732.jpg │ │ ├── 732.txt │ │ ├── 733.jpg │ │ ├── 733.txt │ │ ├── 734.jpg │ │ ├── 734.txt │ │ ├── 735.jpg │ │ ├── 735.txt │ │ ├── 736.jpg │ │ ├── 736.txt │ │ ├── 737.jpg │ │ ├── 737.txt │ │ ├── 738.jpg │ │ ├── 738.txt │ │ ├── 739.jpg │ │ ├── 739.txt │ │ ├── 73.jpg │ │ ├── 73.txt │ │ ├── 740.jpg │ │ ├── 740.txt │ │ ├── 741.jpg │ │ ├── 741.txt │ │ ├── 742.jpg │ │ ├── 742.txt │ │ ├── 743.jpg │ │ ├── 743.txt │ │ ├── 744.jpg │ │ ├── 744.txt │ │ ├── 745.jpg │ │ ├── 745.txt │ │ ├── 746.jpg │ │ ├── 746.txt │ │ ├── 747.jpg │ │ ├── 747.txt │ │ ├── 748.jpg │ │ ├── 748.txt │ │ ├── 749.jpg │ │ ├── 749.txt │ │ ├── 74.jpg │ │ ├── 74.txt │ │ ├── 750.jpg │ │ ├── 750.txt │ │ ├── 751.jpg │ │ ├── 751.txt │ │ ├── 752.jpg │ │ ├── 752.txt │ │ ├── 753.jpg │ │ ├── 753.txt │ │ ├── 754.jpg │ │ ├── 754.txt │ │ ├── 755.jpg │ │ ├── 755.txt │ │ ├── 756.jpg │ │ ├── 756.txt │ │ ├── 757.jpg │ │ ├── 757.txt │ │ ├── 758.jpg │ │ ├── 758.txt │ │ ├── 759.jpg │ │ ├── 759.txt │ │ ├── 75.jpg │ │ ├── 75.txt │ │ ├── 760.jpg │ │ ├── 760.txt │ │ ├── 761.jpg │ │ ├── 761.txt │ │ ├── 762.jpg │ │ ├── 762.txt │ │ ├── 763.jpg │ │ ├── 763.txt │ │ ├── 764.jpg │ │ ├── 764.txt │ │ ├── 765.jpg │ │ ├── 765.txt │ │ ├── 766.jpg │ │ ├── 766.txt │ │ ├── 767.jpg │ │ ├── 767.txt │ │ ├── 768.jpg │ │ ├── 768.txt │ │ ├── 769.jpg │ │ ├── 769.txt │ │ ├── 76.jpg │ │ ├── 76.txt │ │ ├── 770.jpg │ │ ├── 770.txt │ │ ├── 771.jpg │ │ ├── 771.txt │ │ ├── 772.jpg │ │ ├── 772.txt │ │ ├── 773.jpg │ │ ├── 773.txt │ │ ├── 774.jpg │ │ ├── 774.txt │ │ ├── 775.jpg │ │ ├── 775.txt │ │ ├── 776.jpg │ │ ├── 776.txt │ │ ├── 777.jpg │ │ ├── 777.txt │ │ ├── 778.jpg │ │ ├── 778.txt │ │ ├── 779.jpg │ │ ├── 779.txt │ │ ├── 77.jpg │ │ ├── 77.txt │ │ ├── 780.jpg │ │ ├── 780.txt │ │ ├── 781.jpg │ │ ├── 781.txt │ │ ├── 782.jpg │ │ ├── 782.txt │ │ ├── 783.jpg │ │ ├── 783.txt │ │ ├── 784.jpg │ │ ├── 784.txt │ │ ├── 785.jpg │ │ ├── 785.txt │ │ ├── 786.jpg │ │ ├── 786.txt │ │ ├── 787.jpg │ │ ├── 787.txt │ │ ├── 788.jpg │ │ ├── 788.txt │ │ ├── 789.jpg │ │ ├── 789.txt │ │ ├── 78.jpg │ │ ├── 78.txt │ │ ├── 790.jpg │ │ ├── 790.txt │ │ ├── 791.jpg │ │ ├── 791.txt │ │ ├── 792.jpg │ │ ├── 792.txt │ │ ├── 793.jpg │ │ ├── 793.txt │ │ ├── 794.jpg │ │ ├── 794.txt │ │ ├── 795.jpg │ │ ├── 795.txt │ │ ├── 796.jpg │ │ ├── 796.txt │ │ ├── 797.jpg │ │ ├── 797.txt │ │ ├── 798.jpg │ │ ├── 798.txt │ │ ├── 799.jpg │ │ ├── 799.txt │ │ ├── 79.jpg │ │ ├── 79.txt │ │ ├── 7.jpg │ │ ├── 7.txt │ │ ├── 800.jpg │ │ ├── 800.txt │ │ ├── 801.jpg │ │ ├── 801.txt │ │ ├── 802.jpg │ │ ├── 802.txt │ │ ├── 803.jpg │ │ ├── 803.txt │ │ ├── 804.jpg │ │ ├── 804.txt │ │ ├── 805.jpg │ │ ├── 805.txt │ │ ├── 806.jpg │ │ ├── 806.txt │ │ ├── 807.jpg │ │ ├── 807.txt │ │ ├── 808.jpg │ │ ├── 808.txt │ │ ├── 809.jpg │ │ ├── 809.txt │ │ ├── 80.jpg │ │ ├── 80.txt │ │ ├── 810.jpg │ │ ├── 810.txt │ │ ├── 811.jpg │ │ ├── 811.txt │ │ ├── 812.jpg │ │ ├── 812.txt │ │ ├── 813.jpg │ │ ├── 813.txt │ │ ├── 814.jpg │ │ ├── 814.txt │ │ ├── 815.jpg │ │ ├── 815.txt │ │ ├── 816.jpg │ │ ├── 816.txt │ │ ├── 817.jpg │ │ ├── 817.txt │ │ ├── 818.jpg │ │ ├── 818.txt │ │ ├── 819.jpg │ │ ├── 819.txt │ │ ├── 81.jpg │ │ ├── 81.txt │ │ ├── 820.jpg │ │ ├── 820.txt │ │ ├── 821.jpg │ │ ├── 821.txt │ │ ├── 822.jpg │ │ ├── 822.txt │ │ ├── 823.jpg │ │ ├── 823.txt │ │ ├── 824.jpg │ │ ├── 824.txt │ │ ├── 825.jpg │ │ ├── 825.txt │ │ ├── 826.jpg │ │ ├── 826.txt │ │ ├── 827.jpg │ │ ├── 827.txt │ │ ├── 828.jpg │ │ ├── 828.txt │ │ ├── 829.jpg │ │ ├── 829.txt │ │ ├── 82.jpg │ │ ├── 82.txt │ │ ├── 830.jpg │ │ ├── 830.txt │ │ ├── 831.jpg │ │ ├── 831.txt │ │ ├── 832.jpg │ │ ├── 832.txt │ │ ├── 833.jpg │ │ ├── 833.txt │ │ ├── 834.jpg │ │ ├── 834.txt │ │ ├── 835.jpg │ │ ├── 835.txt │ │ ├── 836.jpg │ │ ├── 836.txt │ │ ├── 837.jpg │ │ ├── 837.txt │ │ ├── 838.jpg │ │ ├── 838.txt │ │ ├── 839.jpg │ │ ├── 839.txt │ │ ├── 83.jpg │ │ ├── 83.txt │ │ ├── 840.jpg │ │ ├── 840.txt │ │ ├── 841.jpg │ │ ├── 841.txt │ │ ├── 842.jpg │ │ ├── 842.txt │ │ ├── 843.jpg │ │ ├── 843.txt │ │ ├── 844.jpg │ │ ├── 844.txt │ │ ├── 845.jpg │ │ ├── 845.txt │ │ ├── 846.jpg │ │ ├── 846.txt │ │ ├── 847.jpg │ │ ├── 847.txt │ │ ├── 848.jpg │ │ ├── 848.txt │ │ ├── 849.jpg │ │ ├── 849.txt │ │ ├── 84.jpg │ │ ├── 84.txt │ │ ├── 850.jpg │ │ ├── 850.txt │ │ ├── 851.jpg │ │ ├── 851.txt │ │ ├── 852.jpg │ │ ├── 852.txt │ │ ├── 853.jpg │ │ ├── 853.txt │ │ ├── 854.jpg │ │ ├── 854.txt │ │ ├── 855.jpg │ │ ├── 855.txt │ │ ├── 856.jpg │ │ ├── 856.txt │ │ ├── 857.jpg │ │ ├── 857.txt │ │ ├── 858.jpg │ │ ├── 858.txt │ │ ├── 859.jpg │ │ ├── 859.txt │ │ ├── 85.jpg │ │ ├── 85.txt │ │ ├── 860.jpg │ │ ├── 860.txt │ │ ├── 861.jpg │ │ ├── 861.txt │ │ ├── 862.jpg │ │ ├── 862.txt │ │ ├── 863.jpg │ │ ├── 863.txt │ │ ├── 864.jpg │ │ ├── 864.txt │ │ ├── 865.jpg │ │ ├── 865.txt │ │ ├── 866.jpg │ │ ├── 866.txt │ │ ├── 867.jpg │ │ ├── 867.txt │ │ ├── 868.jpg │ │ ├── 868.txt │ │ ├── 869.jpg │ │ ├── 869.txt │ │ ├── 86.jpg │ │ ├── 86.txt │ │ ├── 870.jpg │ │ ├── 870.txt │ │ ├── 871.jpg │ │ ├── 871.txt │ │ ├── 872.jpg │ │ ├── 872.txt │ │ ├── 873.jpg │ │ ├── 873.txt │ │ ├── 874.jpg │ │ ├── 874.txt │ │ ├── 875.jpg │ │ ├── 875.txt │ │ ├── 876.jpg │ │ ├── 876.txt │ │ ├── 877.jpg │ │ ├── 877.txt │ │ ├── 878.jpg │ │ ├── 878.txt │ │ ├── 879.jpg │ │ ├── 879.txt │ │ ├── 87.jpg │ │ ├── 87.txt │ │ ├── 880.jpg │ │ ├── 880.txt │ │ ├── 881.jpg │ │ ├── 881.txt │ │ ├── 882.jpg │ │ ├── 882.txt │ │ ├── 883.jpg │ │ ├── 883.txt │ │ ├── 884.jpg │ │ ├── 884.txt │ │ ├── 885.jpg │ │ ├── 885.txt │ │ ├── 886.jpg │ │ ├── 886.txt │ │ ├── 887.jpg │ │ ├── 887.txt │ │ ├── 888.jpg │ │ ├── 888.txt │ │ ├── 889.jpg │ │ ├── 889.txt │ │ ├── 88.jpg │ │ ├── 88.txt │ │ ├── 890.jpg │ │ ├── 890.txt │ │ ├── 891.jpg │ │ ├── 891.txt │ │ ├── 892.jpg │ │ ├── 892.txt │ │ ├── 893.jpg │ │ ├── 893.txt │ │ ├── 894.jpg │ │ ├── 894.txt │ │ ├── 895.jpg │ │ ├── 895.txt │ │ ├── 896.jpg │ │ ├── 896.txt │ │ ├── 897.jpg │ │ ├── 897.txt │ │ ├── 898.jpg │ │ ├── 898.txt │ │ ├── 899.jpg │ │ ├── 899.txt │ │ ├── 89.jpg │ │ ├── 89.txt │ │ ├── 8.jpg │ │ ├── 8.txt │ │ ├── 900.jpg │ │ ├── 900.txt │ │ ├── 901.jpg │ │ ├── 901.txt │ │ ├── 902.jpg │ │ ├── 902.txt │ │ ├── 903.jpg │ │ ├── 903.txt │ │ ├── 904.jpg │ │ ├── 904.txt │ │ ├── 905.jpg │ │ ├── 905.txt │ │ ├── 906.jpg │ │ ├── 906.txt │ │ ├── 907.jpg │ │ ├── 907.txt │ │ ├── 908.jpg │ │ ├── 908.txt │ │ ├── 909.jpg │ │ ├── 909.txt │ │ ├── 90.jpg │ │ ├── 90.txt │ │ ├── 910.jpg │ │ ├── 910.txt │ │ ├── 911.jpg │ │ ├── 911.txt │ │ ├── 912.jpg │ │ ├── 912.txt │ │ ├── 913.jpg │ │ ├── 913.txt │ │ ├── 914.jpg │ │ ├── 914.txt │ │ ├── 915.jpg │ │ ├── 915.txt │ │ ├── 916.jpg │ │ ├── 916.txt │ │ ├── 917.jpg │ │ ├── 917.txt │ │ ├── 918.jpg │ │ ├── 918.txt │ │ ├── 919.jpg │ │ ├── 919.txt │ │ ├── 91.jpg │ │ ├── 91.txt │ │ ├── 920.jpg │ │ ├── 920.txt │ │ ├── 921.jpg │ │ ├── 921.txt │ │ ├── 922.jpg │ │ ├── 922.txt │ │ ├── 923.jpg │ │ ├── 923.txt │ │ ├── 924.jpg │ │ ├── 924.txt │ │ ├── 925.jpg │ │ ├── 925.txt │ │ ├── 926.jpg │ │ ├── 926.txt │ │ ├── 927.jpg │ │ ├── 927.txt │ │ ├── 928.jpg │ │ ├── 928.txt │ │ ├── 929.jpg │ │ ├── 929.txt │ │ ├── 92.jpg │ │ ├── 92.txt │ │ ├── 930.jpg │ │ ├── 930.txt │ │ ├── 931.jpg │ │ ├── 931.txt │ │ ├── 932.jpg │ │ ├── 932.txt │ │ ├── 933.jpg │ │ ├── 933.txt │ │ ├── 934.jpg │ │ ├── 934.txt │ │ ├── 935.jpg │ │ ├── 935.txt │ │ ├── 936.jpg │ │ ├── 936.txt │ │ ├── 937.jpg │ │ ├── 937.txt │ │ ├── 938.jpg │ │ ├── 938.txt │ │ ├── 939.jpg │ │ ├── 939.txt │ │ ├── 93.jpg │ │ ├── 93.txt │ │ ├── 940.jpg │ │ ├── 940.txt │ │ ├── 941.jpg │ │ ├── 941.txt │ │ ├── 942.jpg │ │ ├── 942.txt │ │ ├── 943.jpg │ │ ├── 943.txt │ │ ├── 944.jpg │ │ ├── 944.txt │ │ ├── 945.jpg │ │ ├── 945.txt │ │ ├── 946.jpg │ │ ├── 946.txt │ │ ├── 947.jpg │ │ ├── 947.txt │ │ ├── 948.jpg │ │ ├── 948.txt │ │ ├── 949.jpg │ │ ├── 949.txt │ │ ├── 94.jpg │ │ ├── 94.txt │ │ ├── 950.jpg │ │ ├── 950.txt │ │ ├── 951.jpg │ │ ├── 951.txt │ │ ├── 952.jpg │ │ ├── 952.txt │ │ ├── 953.jpg │ │ ├── 953.txt │ │ ├── 954.jpg │ │ ├── 954.txt │ │ ├── 955.jpg │ │ ├── 955.txt │ │ ├── 956.jpg │ │ ├── 956.txt │ │ ├── 957.jpg │ │ ├── 957.txt │ │ ├── 958.jpg │ │ ├── 958.txt │ │ ├── 959.jpg │ │ ├── 959.txt │ │ ├── 95.jpg │ │ ├── 95.txt │ │ ├── 960.jpg │ │ ├── 960.txt │ │ ├── 961.jpg │ │ ├── 961.txt │ │ ├── 962.jpg │ │ ├── 962.txt │ │ ├── 963.jpg │ │ ├── 963.txt │ │ ├── 964.jpg │ │ ├── 964.txt │ │ ├── 965.jpg │ │ ├── 965.txt │ │ ├── 966.jpg │ │ ├── 966.txt │ │ ├── 967.jpg │ │ ├── 967.txt │ │ ├── 968.jpg │ │ ├── 968.txt │ │ ├── 969.jpg │ │ ├── 969.txt │ │ ├── 96.jpg │ │ ├── 96.txt │ │ ├── 970.jpg │ │ ├── 970.txt │ │ ├── 971.jpg │ │ ├── 971.txt │ │ ├── 972.jpg │ │ ├── 972.txt │ │ ├── 973.jpg │ │ ├── 973.txt │ │ ├── 974.jpg │ │ ├── 974.txt │ │ ├── 975.jpg │ │ ├── 975.txt │ │ ├── 976.jpg │ │ ├── 976.txt │ │ ├── 977.jpg │ │ ├── 977.txt │ │ ├── 978.jpg │ │ ├── 978.txt │ │ ├── 979.jpg │ │ ├── 979.txt │ │ ├── 97.jpg │ │ ├── 97.txt │ │ ├── 980.jpg │ │ ├── 980.txt │ │ ├── 981.jpg │ │ ├── 981.txt │ │ ├── 982.jpg │ │ ├── 982.txt │ │ ├── 983.jpg │ │ ├── 983.txt │ │ ├── 984.jpg │ │ ├── 984.txt │ │ ├── 985.jpg │ │ ├── 985.txt │ │ ├── 986.jpg │ │ ├── 986.txt │ │ ├── 987.jpg │ │ ├── 987.txt │ │ ├── 988.jpg │ │ ├── 988.txt │ │ ├── 989.jpg │ │ ├── 989.txt │ │ ├── 98.jpg │ │ ├── 98.txt │ │ ├── 990.jpg │ │ ├── 990.txt │ │ ├── 991.jpg │ │ ├── 991.txt │ │ ├── 992.jpg │ │ ├── 992.txt │ │ ├── 993.jpg │ │ ├── 993.txt │ │ ├── 994.jpg │ │ ├── 994.txt │ │ ├── 995.jpg │ │ ├── 995.txt │ │ ├── 996.jpg │ │ ├── 996.txt │ │ ├── 997.jpg │ │ ├── 997.txt │ │ ├── 998.jpg │ │ ├── 998.txt │ │ ├── 999.jpg │ │ ├── 999.txt │ │ ├── 99.jpg │ │ ├── 99.txt │ │ ├── 9.jpg │ │ └── 9.txt │ ├── test_without_label.txt │ ├── train1.txt │ └── train.txt ├── model_roberta │ ├── config.json │ └── model.safetensors ├── output │ ├── answer1.txt │ ├── answer.txt │ └── tmp_no_open_check.txt ├── play.ipynb ├── README.md ├── report.md ├── requirements.txt ├── runs │ ├── board.ipynb │ ├── Jan31_02-12-02_10-23-133-24model_training │ │ └── events.out.tfevents.1706638322.10-23-133-24.14004.0 │ ├── Jan31_02-12-34_10-23-133-24model_training │ │ └── events.out.tfevents.1706638354.10-23-133-24.14037.0 │ ├── Jan31_02-13-56_10-23-133-24model_training │ │ └── events.out.tfevents.1706638436.10-23-133-24.14093.0 │ ├── Jan31_02-15-24_10-23-133-24model_training │ │ └── events.out.tfevents.1706638524.10-23-133-24.14148.0 │ ├── Jan31_02-21-39_10-23-133-24model_training │ │ └── events.out.tfevents.1706638899.10-23-133-24.14287.0 │ ├── Jan31_02-39-16_10-23-133-24model_training │ │ └── events.out.tfevents.1706639956.10-23-133-24.16368.0 │ ├── Jan31_02-52-13_10-23-133-24model_training │ │ └── events.out.tfevents.1706640733.10-23-133-24.18220.0 │ ├── Jan31_03-02-16_10-23-133-24model_training │ │ └── events.out.tfevents.1706641336.10-23-133-24.20052.0 │ ├── Jan31_03-12-15_10-23-133-24model_training │ │ └── events.out.tfevents.1706641935.10-23-133-24.21785.0 │ ├── Jan31_03-12-32_10-23-133-24model_training │ │ └── events.out.tfevents.1706641952.10-23-133-24.21809.0 │ ├── Jan31_03-12-47_10-23-133-24model_training │ │ └── events.out.tfevents.1706641967.10-23-133-24.21834.0 │ ├── Jan31_03-13-01_10-23-133-24model_training │ │ └── events.out.tfevents.1706641981.10-23-133-24.21857.0 │ ├── Jan31_03-19-46_10-23-133-24model_training │ │ └── events.out.tfevents.1706642386.10-23-133-24.22552.0 │ ├── Jan31_03-22-42_10-23-133-24model_training │ │ └── events.out.tfevents.1706642562.10-23-133-24.22617.0 │ ├── Jan31_03-22-57_10-23-133-24model_training │ │ └── events.out.tfevents.1706642577.10-23-133-24.22638.0 │ ├── Jan31_03-23-11_10-23-133-24model_training │ │ └── events.out.tfevents.1706642591.10-23-133-24.22665.0 │ ├── Jan31_03-33-03_10-23-133-24model_training │ │ └── events.out.tfevents.1706643183.10-23-133-24.23751.0 │ ├── Jan31_03-33-22_10-23-133-24model_training │ │ └── events.out.tfevents.1706643202.10-23-133-24.23784.0 │ ├── Jan31_03-33-41_10-23-133-24model_training │ │ └── events.out.tfevents.1706643221.10-23-133-24.23815.0 │ ├── Jan31_03-34-01_10-23-133-24model_training │ │ └── events.out.tfevents.1706643241.10-23-133-24.23850.0 │ ├── Jan31_03-34-22_10-23-133-24model_training │ │ └── events.out.tfevents.1706643262.10-23-133-24.23881.0 │ ├── Jan31_03-34-38_10-23-133-24model_training │ │ └── events.out.tfevents.1706643278.10-23-133-24.23912.0 │ ├── Jan31_03-34-54_10-23-133-24model_training │ │ └── events.out.tfevents.1706643294.10-23-133-24.23943.0 │ ├── Jan31_03-35-19_10-23-133-24model_training │ │ └── events.out.tfevents.1706643319.10-23-133-24.23978.0 │ ├── Jan31_03-42-44_10-23-133-24model_training │ │ └── events.out.tfevents.1706643764.10-23-133-24.24291.0 │ ├── Jan31_03-46-10_10-23-133-24model_training │ │ └── events.out.tfevents.1706643970.10-23-133-24.24342.0 │ ├── Jan31_03-46-38_10-23-133-24model_training │ │ └── events.out.tfevents.1706643998.10-23-133-24.24363.0 │ ├── Jan31_03-46-59_10-23-133-24model_training │ │ └── events.out.tfevents.1706644019.10-23-133-24.24387.0 │ ├── Jan31_03-47-20_10-23-133-24model_training │ │ └── events.out.tfevents.1706644040.10-23-133-24.24409.0 │ ├── Jan31_03-47-55_10-23-133-24model_training │ │ └── events.out.tfevents.1706644075.10-23-133-24.24430.0 │ ├── Jan31_03-59-55_10-23-133-24model_training │ │ └── events.out.tfevents.1706644795.10-23-133-24.26047.0 │ ├── Jan31_04-12-56_10-23-133-24model_training │ │ └── events.out.tfevents.1706645576.10-23-133-24.27996.0 │ ├── Jan31_04-23-09_10-23-133-24model_training │ │ └── events.out.tfevents.1706646189.10-23-133-24.28374.0 │ ├── Jan31_13-02-19_10-23-167-72model_training │ │ └── events.out.tfevents.1706677339.10-23-167-72.1841.0 │ ├── Jan31_13-04-35_10-23-167-72model_training │ │ └── events.out.tfevents.1706677475.10-23-167-72.1876.0 │ ├── Jan31_13-06-53_10-23-167-72model_training │ │ └── events.out.tfevents.1706677613.10-23-167-72.1894.0 │ ├── Jan31_13-07-22_10-23-167-72model_training │ │ └── events.out.tfevents.1706677642.10-23-167-72.1918.0 │ ├── Jan31_13-07-34_10-23-167-72model_training │ │ └── events.out.tfevents.1706677654.10-23-167-72.1936.0 │ ├── Jan31_13-27-18_10-23-167-72model_training │ │ └── events.out.tfevents.1706678838.10-23-167-72.2596.0 │ └── Jan31_13-45-12_10-23-167-72model_training │ └── events.out.tfevents.1706679912.10-23-167-72.2694.0 ├── saved │ ├── clip_test.json │ ├── clip_train.json │ ├── resnet_test.json │ ├── resnet_train.json │ ├── roberta_test.json │ ├── roberta_train.json │ └── saved_models │ ├── clip.pth │ └── resnet.pth ├── tmp.txt ├── tokenizer_roberta │ ├── merges.txt │ ├── special_tokens_map.json │ ├── tokenizer_config.json │ └── vocab.json └── utils ├── check.py ├── ClipDataset.py ├── func.py ├── __init__.py ├── model1 │ ├── fusion.py │ ├── fusionWithCrossAttention.py │ ├── __pycache__ │ │ ├── fusion.cpython-311.pyc │ │ ├── fusionWithCrossAttention.cpython-311.pyc │ │ └── single.cpython-311.pyc │ └── single.py ├── model2 │ ├── fusion.py │ ├── __pycache__ │ │ ├── fusion.cpython-311.pyc │ │ └── single.cpython-311.pyc │ └── single.py ├── predict_fine_tuning.py ├── predict_linear_probe.py ├── preprocess1.py ├── preprocess.py ├── __pycache__ │ ├── ClipDataset.cpython-311.pyc │ ├── func.cpython-311.pyc │ ├── preprocess.cpython-311.pyc │ ├── ResNetDataset.cpython-311.pyc │ ├── RobertaDataset.cpython-311.pyc │ └── train_linear_probe.cpython-311.pyc ├── ResNetDataset.py ├── RobertaDataset.py ├── train_fine_tuning.py ├── train_linear_probe1.py └── train_linear_probe.py 54 directories, 9833 files
In [2]:
Copied!
!pip freeze > requirements.txt
!pip freeze > requirements.txt
In [15]:
Copied!
!pip list | grep "optim"
!pip list | grep "optim"