Документація бібліотек, підручники й статті, у яких уперше описано методи курсу. Список росте разом із темами — зараз він покриває блок 1 «Зображення як дані».
01 / ПершоджерелоДокументація
| ресурс | для чого |
|---|---|
| OpenCV 5.x | Головна довідка курсу. Курс орієнтується саме на 5.x — у ній уже немає HOGDescriptor і CascadeClassifier |
| Image file reading and writing | imread, imwrite, прапорці ImreadModes — тема 03 |
| Geometric Image Transformations | resize, warpAffine, InterpolationFlags, BorderTypes — теми 03 і 04 |
| Miscellaneous Image Transformations | threshold, adaptiveThreshold, cvtColor, inRange — тема 03 |
| Image Filtering | filter2D, sepFilter2D, Sobel, Canny, getGaussianKernel — тема 04 |
| NumPy · Copies and views | Чому зріз масиву ділить памʼять з оригіналом — тема 03 |
| SciPy · ndimage | correlate і convolve нарізно — ними звірено, що filter2D рахує кореляцію |
02 / ПідручникиДе прочитати ширше
R. Szeliski. Computer Vision: Algorithms and Applications
2-ге видання, доступне безкоштовно на сайті автора
Розділ 3 — фільтрація й згортка, розділ 4 — ознаки. Найближчий до нашого блоку 1 текст.
R. Gonzalez, R. Woods. Digital Image Processing
Класика обробки зображень. Розділ 3 — просторова фільтрація, пороги, гістограми.
I. Goodfellow, Y. Bengio, A. Courville. Deep Learning
Розділ 9 прямо каже те, на чому стоїть тема 04: бібліотеки реалізують кореляцію й називають її згорткою.
03 / СтаттіПершоджерела методів
| стаття | що з неї в курсі |
|---|---|
| I. Sobel, G. Feldman. A 3×3 Isotropic Gradient Operator for Image Processing, 1968 | Ядро Собеля — тема 04 |
| J. Canny. A Computational Approach to Edge Detection. IEEE TPAMI 8(6), 1986 | Чотири кроки детектора меж — тема 04 |
| N. Otsu. A Threshold Selection Method from Gray-Level Histograms. IEEE Trans. SMC, 1979 | Метод Оцу — тема 03 |
| C. Harris, M. Stephens. A Combined Corner and Edge Detector. Alvey Vision Conf., 1988 | Кутові точки — тема 05 |
| D. Lowe. Distinctive Image Features from Scale-Invariant Keypoints. IJCV 60(2), 2004 | SIFT і тест співвідношення — тема 05 |
| N. Dalal, B. Triggs. Histograms of Oriented Gradients for Human Detection. CVPR 2005 | HOG — тема 05 |
| S. Lazebnik, C. Schmid, J. Ponce. Beyond Bags of Features: Spatial Pyramid Matching. CVPR 2006 | Просторова піраміда — тема 05 |
| E. Rublee et al. ORB: An Efficient Alternative to SIFT or SURF. ICCV 2011 | ORB і бінарні дескриптори — тема 05 |
| M. Fischler, R. Bolles. Random Sample Consensus. CACM 24(6), 1981 | RANSAC — тема 05 |
| P. Viola, M. Jones. Rapid Object Detection using a Boosted Cascade of Simple Features. CVPR 2001 | Каскади Хаара — згадані в темі 05 як приклад підходу, який бібліотека вже прибрала |
| X. Zhao et al. ALIKED. IEEE TIM, 2023 | Навчений детектор ознак — тема 05, оглядово |
| M. Tyszkiewicz et al. DISK: Learning local features with policy gradient. NeurIPS 2020 | Те саме — тема 05, оглядово |
| Y. LeCun et al. Gradient-Based Learning Applied to Document Recognition. Proc. IEEE 86(11), 1998 | LeNet — перша робоча згорткова мережа, тема 09 |
| K. Fukushima. Neocognitron. Biological Cybernetics 36, 1980 | Звідки взялися ідея локального поля й поділу ваг — теми 06-07 |
| D. Hubel, T. Wiesel. Receptive Fields of Single Neurones in the Cat's Striate Cortex. J. Physiology 148, 1959 | Рецептивне поле — термін, узятий із нейрофізіології, тема 07 |
| M. Zeiler, R. Fergus. Visualizing and Understanding Convolutional Networks. ECCV 2014 | Що бачать шари — тема 17 |
| N. Srivastava et al. Dropout: A Simple Way to Prevent Neural Networks from Overfitting. JMLR 15, 2014 | Дропаут — тема 11 |
| S. Ioffe, C. Szegedy. Batch Normalization. ICML 2015 | Батчнорм — тема 11 |
| C. Shorten, T. Khoshgoftaar. A Survey on Image Data Augmentation for Deep Learning. Journal of Big Data 6, 2019 | Оглядово про аугментацію — тема 10 |
| T. DeVries, G. Taylor. Improved Regularization of CNNs with Cutout. arXiv:1708.04552, 2017 | Cutout — тема 10 |
| H. Zhang et al. mixup: Beyond Empirical Risk Minimization. ICLR 2018 | mixup — тема 10 |
| J. Yosinski et al. How Transferable Are Features in Deep Neural Networks? NeurIPS 2014 | Що саме переноситься при переносі навчання — тема 12 |
| A. Krizhevsky, I. Sutskever, G. Hinton. ImageNet Classification with Deep CNNs (AlexNet). NeurIPS 2012 | Перелом 2012 року — тема 13 |
| K. Simonyan, A. Zisserman. Very Deep Convolutional Networks (VGG). ICLR 2015 | Глибина з ядер 3×3 — тема 13 |
| K. He et al. Deep Residual Learning for Image Recognition (ResNet). CVPR 2016 | Скіп-зʼєднання й деградація з глибиною — тема 14 |
| P. Goyal et al. Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour. arXiv:1706.02677, 2017 | Нульова ініціалізація останнього BN у блоці й розклад на девʼяносто епох — тема 14 |
| O. Russakovsky et al. ImageNet Large Scale Visual Recognition Challenge. IJCV 2015 | Таблиця результатів ILSVRC по роках і похибка людини 5.1 % — тема 13 |
Документація ваг torchvision.models. PyTorch, актуальна версія | Точності top-1 і кількості параметрів готових моделей — теми 13, 15, 18 |
| C. Szegedy et al. Going Deeper with Convolutions (Inception). CVPR 2015 | Кілька розмірів ядра в одному блоці — тема 15 |
| A. Howard et al. MobileNets. arXiv:1704.04861, 2017 | Роздільна згортка по глибині — тема 15 |
| M. Tan, Q. Le. EfficientNet. ICML 2019 | Узгоджене масштабування глибини, ширини й роздільності — тема 15 |
| Z. Liu et al. A ConvNet for the 2020s (ConvNeXt). CVPR 2022 | Згортка після трансформерів — тема 18 |
| T. Chen et al. A Simple Framework for Contrastive Learning (SimCLR). ICML 2020 | Контрастне навчання — тема 16 |
| K. He et al. Momentum Contrast (MoCo). CVPR 2020 | Те саме з чергою прикладів — тема 16 |
| K. He et al. Masked Autoencoders Are Scalable Vision Learners (MAE). CVPR 2022 | Відновлення прихованих патчів — тема 16 |
| R. Selvaraju et al. Grad-CAM. ICCV 2017 | Карти важливості й межі такої інтерпретації — тема 17 |
| A. Vaswani et al. Attention Is All You Need. NeurIPS 2017 | Самоувага — тема 19 |
| A. Dosovitskiy et al. An Image Is Worth 16×16 Words (ViT). ICLR 2021 | Патчі як токени — тема 20 |
| Z. Liu et al. Swin Transformer. ICCV 2021 | Ієрархічна увага у вікнах — тема 21 |
| A. Radford et al. Learning Transferable Visual Models from Natural Language (CLIP). ICML 2021 | Спільний простір тексту й зображення — тема 22 |
| R. Girshick et al. Rich Feature Hierarchies (R-CNN). CVPR 2014 | Перший крок двоетапної детекції — тема 24 |
| R. Girshick. Fast R-CNN. ICCV 2015 | Один прохід на все фото — тема 24 |
| S. Ren et al. Faster R-CNN. NeurIPS 2015 | Мережа сама пропонує кандидат-області — тема 24 |
| J. Redmon et al. You Only Look Once (YOLO). CVPR 2016 | Одноетапна детекція сіткою — тема 25 |
| W. Liu et al. SSD: Single Shot MultiBox Detector. ECCV 2016 | Кілька масштабів у одному проході — тема 26 |
| TY. Lin et al. Focal Loss for Dense Object Detection (RetinaNet). ICCV 2017 | Дисбаланс фону й focal loss — тема 26 |
| TY. Lin et al. Feature Pyramid Networks. CVPR 2017 | Піраміда ознак — теми 24 і 26 |
| Z. Tian et al. FCOS: Fully Convolutional One-Stage Detection. ICCV 2019 | Детекція без заготовлених рамок — тема 26 |
| X. Zhou, D. Wang, P. Krähenbühl. Objects as Points (CenterNet). arXiv:1904.07850, 2019 | Предмет як точка — тема 26 |
| N. Carion et al. End-to-End Object Detection with Transformers (DETR). ECCV 2020 | Детекція без NMS, угорське зіставлення — тема 27 |
| TY. Lin et al. Microsoft COCO: Common Objects in Context. ECCV 2014 | Набір і протокол оцінки, звідки mAP@0.5:0.95 — теми 23 і 28 |
| J. Long, E. Shelhamer, T. Darrell. Fully Convolutional Networks for Semantic Segmentation. CVPR 2015 | Мережа без повнозвʼязних шарів і грубість карти 32× — тема 29 |
| LC. Chen et al. DeepLab: Semantic Image Segmentation with Atrous Convolution and Fully Connected CRFs. IEEE TPAMI 40(4), 2018 | Атрозна згортка: поле 33×33 при 36 928 параметрах — тема 29 |
| O. Ronneberger, P. Fischer, T. Brox. U-Net: Convolutional Networks for Biomedical Image Segmentation. MICCAI 2015 | Скіпи з енкодера в декодер — тема 30 |
| K. He, G. Gkioxari, P. Dollár, R. Girshick. Mask R-CNN. ICCV 2017 | Підхід «зверху вниз»: маска домальовується всередині рамки — тема 31 |
| A. Kirillov, K. He, R. Girshick, C. Rother, P. Dollár. Panoptic Segmentation. CVPR 2019 | Сама постановка й метрика PQ = SQ × RQ — тема 32 |
| A. Kirillov, R. Girshick, K. He, P. Dollár. Panoptic Feature Pyramid Networks. CVPR 2019 | Правила злиття двох відповідей в одну — тема 32 |
| B. Cheng et al. Panoptic-DeepLab. CVPR 2020 | Семантична гілка плюс голосування за центр — схема власної голови в темі 32 |
| A. Kirillov et al. Segment Anything. ICCV 2023 | Сегментація за підказкою, три маски на неоднозначність, SA-1B — тема 32 |
| H. Caesar, J. Uijlings, V. Ferrari. COCO-Stuff: Thing and Stuff Classes in Context. CVPR 2018 | Поділ на речі й матерію — теми 02 і 32 |
| D. Kingma, M. Welling. Auto-Encoding Variational Bayes. arXiv:1312.6114, 2013 | VAE й репараметризація — тема 37 |
| D. Rezende, S. Mohamed, D. Wierstra. Stochastic Backpropagation and Approximate Inference. ICML 2014 | Незалежне виведення тієї самої оцінки — тема 37 |
| I. Higgins et al. β-VAE. ICLR 2017 | Звідки множник β — тема 37 |
| S. Bowman et al. Generating Sentences from a Continuous Space. arXiv:1511.06349, 2015 | Колапс апостеріорного розподілу — тема 37 |
| L. Theis, A. van den Oord, M. Bethge. A Note on the Evaluation of Generative Models. ICLR 2016 | Найпряміше джерело до правила «метрику генерації спершу калібрують» — блок 8 |
| M. Sajjadi et al. Assessing Generative Models via Precision and Recall. NeurIPS 2018 | Чому потрібні дві дзеркальні відстані, а не одне число — теми 37-39 |
| T. Kynkäänniemi et al. Improved Precision and Recall Metric. arXiv:1904.06991, 2019 | Сліпота односторонньої метрики до колапсу мод — теми 37-39 |
| I. Goodfellow et al. Generative Adversarial Networks. NeurIPS 2014 | Оригінал і ненасичена втрата — тема 38 |
| A. Radford, L. Metz, S. Chintala. DCGAN. ICLR 2016 | Архітектурний рецепт і beta1 = 0.5 — тема 38 |
| M. Arjovsky, L. Bottou. Towards Principled Methods for Training GANs. ICLR 2017 | Чому насичена втрата має зникомий градієнт — тема 38 |
| T. Salimans et al. Improved Techniques for Training GANs. NeurIPS 2016 | Minibatch discrimination — тема 38 |
| T. Karras et al. Progressive Growing of GANs. ICLR 2018 | Шар minibatch standard deviation — тема 38 |
| M. Lucic et al. Are GANs Created Equal? NeurIPS 2018 | Різниця між варіантами GAN зникає під чесним бюджетом — тема 38 |
| L. Metz et al. Unrolled GANs. ICLR 2017 | Колапс мод — тема 38 |
| M. Heusel et al. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium. NeurIPS 2017 | FID і порада давати мережам різні швидкості — теми 38-39 |
| J. Sohl-Dickstein et al. Deep Unsupervised Learning using Nonequilibrium Thermodynamics. ICML 2015 | Перша постановка дифузії — тема 39 |
| J. Ho, A. Jain, P. Abbeel. Denoising Diffusion Probabilistic Models. NeurIPS 2020 | DDPM — тема 39 |
| J. Song, C. Meng, S. Ermon. Denoising Diffusion Implicit Models. ICLR 2021 | DDIM і детермінований відбір — тема 39 |
| A. Nichol, P. Dhariwal. Improved Denoising Diffusion Probabilistic Models. ICML 2021 | Косинусний розклад шуму — тема 39 |
| P. Dhariwal, A. Nichol. Diffusion Models Beat GANs on Image Synthesis. NeurIPS 2021 | Порівняння двох підходів — теми 38-39 |
| J. Ho, T. Salimans. Classifier-Free Diffusion Guidance. arXiv:2207.12598, 2022 | Умовна генерація без окремого класифікатора — тема 39 |
| R. Rombach et al. High-Resolution Image Synthesis with Latent Diffusion Models. CVPR 2022 | Дифузія в латенті, основа Stable Diffusion — тема 39 |
| R. Geirhos et al. Shortcut Learning in Deep Neural Networks. Nature Machine Intelligence 2, 2020 | Ярлик замість ознаки — тема 40 |
| J. Buolamwini, T. Gebru. Gender Shades. FAccT 2018 | Розбивка метрики по групах — тема 40 |
| Регламент (ЄС) 2024/1689 про штучний інтелект (AI Act). Official Journal of the EU, 2024 | Рівні ризику, заборони, строки набуття чинності та стелі штрафів — тема 40 |
| Регламент (ЄС) 2016/679 (GDPR). Official Journal of the EU, 2016 | Біометрія як особлива категорія даних; стеля штрафу — тема 40 |
| Illinois Biometric Information Privacy Act, 740 ILCS 14. Illinois General Assembly, 2008 | Приватний позов за біометрію без згоди — тема 40 |
| A. Birhane, V. Prabhu. Large Image Datasets: A Pyrrhic Win for Computer Vision? WACV 2021 | Відкликання MS-Celeb-1M і 80 Million Tiny Images, ревізія ImageNet — тема 40 |
| C. Schuhmann et al. LAION-5B: An Open Large-Scale Dataset. NeurIPS 2022 | Набір, зібраний із відкритого вебу без згоди авторів — теми 22, 39, 40 |
| R. Shokri et al. Membership Inference Attacks Against Machine Learning Models. IEEE S&P 2017 | Атака на належність — тема 40 |
| N. Carlini et al. Extracting Training Data from Diffusion Models. USENIX Security 2023 | Генеративні моделі відтворюють навчальні приклади — теми 39-40 |
| I. Goodfellow, J. Shlens, C. Szegedy. Explaining and Harnessing Adversarial Examples. ICLR 2015 | FGSM — тема 40 |
| K. Eykholt et al. Robust Physical-World Attacks on Deep Learning Visual Classification. CVPR 2018 | Атаки поза лабораторією — тема 40 |
| B. Dolhansky et al. The DeepFake Detection Challenge Dataset. arXiv:2006.07397, 2020 | Зсув домену в детекції дипфейків — тема 40 |
| K. Yang et al. Towards Fairer Datasets. FAccT 2020 | Що не так із великими наборами зображень — тема 40 |
| V. Prabhu, A. Birhane. Large Image Datasets: A Pyrrhic Win for Computer Vision? arXiv:2006.16923, 2020 | Те саме з боку приватності — тема 40 |
| A. Graves et al. Connectionist Temporal Classification. ICML 2006 | CTC, порожній символ і склеювання повторів — тема 33 |
| B. Shi, X. Bai, C. Yao. An End-to-End Trainable Neural Network for Image-Based Sequence Recognition. IEEE TPAMI 39(11), 2017 | CRNN — тема 33 |
| A. Hannun. Sequence Modeling with CTC. Distill, 2017 | Найзрозуміліше пояснення prefix beam search — тема 33 |
| R. Smith. An Overview of the Tesseract OCR Engine. ICDAR 2007 | Звідки береться поділ сторінки на смуги й режими --psm — тема 33 |
| В. Левенштейн. Двоичные коды с исправлением выпадений, вставок и замещений символов. 1966 | Відстань, з якої рахується CER — тема 33 |
| A. Bewley et al. Simple Online and Realtime Tracking (SORT). ICIP 2016 | Трекінг за детекцією: угорський алгоритм плюс фільтр Калмана — тема 34 |
| N. Wojke, A. Bewley, D. Paulus. Simple Online and Realtime Tracking with a Deep Association Metric (DeepSORT). ICIP 2017 | Додавання вигляду предмета до зіставлення — тема 34 |
| Y. Zhang et al. ByteTrack. ECCV 2022 | Про те, щоб не викидати слабкі детекції — та сама дірка, що в темі 34 |
| K. Bernardin, R. Stiefelhagen. Evaluating Multiple Object Tracking Performance: the CLEAR MOT Metrics. EURASIP JIVP, 2008 | Означення MOTA — тема 34 |
| E. Ristani et al. Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking. ECCVW 2016 | IDF1 — тема 34 |
| G. Farnebäck. Two-Frame Motion Estimation Based on Polynomial Expansion. SCIA 2003 | Алгоритм за calcOpticalFlowFarneback — теми 34 і 35 |
| B. Lucas, T. Kanade. An Iterative Image Registration Technique. IJCAI 1981 | Розріджений оптичний потік і апертурна проблема — тема 34 |
| B. Horn, B. Schunck. Determining Optical Flow. Artificial Intelligence 17, 1981 | Рівняння постійної яскравості — тема 34 |
| H. Kuhn. The Hungarian Method for the Assignment Problem. 1955 | Зіставлення за сумою, а не за окремою парою — теми 27 і 34 |
| R. Kalman. A New Approach to Linear Filtering and Prediction Problems. 1960 | Фільтр Калмана — тема 34 |
| K. Simonyan, A. Zisserman. Two-Stream Convolutional Networks for Action Recognition. NeurIPS 2014 | Вигляд і рух окремими гілками — тема 35 |
| D. Tran et al. Learning Spatiotemporal Features with 3D Convolutional Networks (C3D). ICCV 2015 | Тривимірна згортка для відео — тема 35 |
| D. Tran et al. A Closer Look at Spatiotemporal Convolutions for Action Recognition. CVPR 2018 | R(2+1)D і формула проміжного розміру — тема 35 |
| J. Carreira, A. Zisserman. Quo Vadis, Action Recognition? (I3D). CVPR 2017 | Роздування двовимірних ваг у тривимірні — тема 35 |
| D. Huang et al. What Makes a Video a Video: Analyzing Temporal Information in Video Understanding Models. CVPR 2018 | Про те, що на популярних наборах час майже не потрібен — тема 35 |
| L. Sevilla-Lara et al. Only Time Can Tell: Discovering Temporal Data for Temporal Modeling. WACV 2021 | Те саме питання, поставлене до самих даних — тема 35 |
| B. Zhou et al. Temporal Relational Reasoning in Videos (TRN). ECCV 2018 | Контроль перемішуванням кадрів — тема 35 |
| H. Hirschmüller. Stereo Processing by Semiglobal Matching and Mutual Information. IEEE TPAMI 30(2), 2008 | Алгоритм за StereoSGBM, штрафи P1 і P2 — тема 36 |
| K. Konolige. Small Vision Systems: Hardware and Implementation. ISRR 1997 | Блокове зіставлення за StereoBM — тема 36 |
| R. Hartley, A. Zisserman. Multiple View Geometry in Computer Vision. 2-ге вид., CUP 2004 | Епіполярна геометрія, вирівнювання пари, триангуляція — тема 36 |
| D. Scharstein, R. Szeliski. A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. IJCV 47, 2002 | Middlebury і те, як узагалі порівнюють стереоалгоритми — тема 36 |
| A. Geiger et al. Are We Ready for Autonomous Driving? The KITTI Vision Benchmark Suite. CVPR 2012 | Стерео й глибина на справжніх даних — тема 36 |
| D. Eigen, C. Puhrsch, R. Fergus. Depth Map Prediction from a Single Image using a Multi-Scale Deep Network. NeurIPS 2014 | Звідки метрика δ < 1.25 — тема 36 |
| R. Ranftl et al. Towards Robust Monocular Depth Estimation (MiDaS). IEEE TPAMI, 2020 | Обернена глибина й припасування масштабу — тема 36 |
04 / ДаніЗвідки беруться зображення
У курсі немає завантажених фотографій. Усі зображення в лекціях і зошитах згенеровані формулами прямо в коді — той самий домен, що в курсі машинного навчання: оголошення про продаж телефона.
Причини практичні, не юридичні. Числа в читача збігаються з числами в лекції до останнього знака; зошит працює без мережі й через рік; а сцену можна спроєктувати рівно під те, що демонструє тема, — наприклад, дати іконкам різний розмір, бо на однакових зіставлення ознак не працює в принципі.
Два справжні фото, які лежать усередині scikit-learn
(load_sample_image), у курсі не використовуються. Якщо колись
знадобляться — вони під ліцензією CC BY 2.0, тобто вимагають вказати автора:
china.jpg — danielbuechele, flower.jpg — vultilion.