Курс у роботі: тут 108 джерел за шістьма готовими блоками — від корпусу й законів мови до трансформера. Список наповнюється разом із темами.
Дані, на яких стоїть блок 1
Усі числа блоку 1 поміряні на українських каталогах перекладів GNU gettext —
файлах /usr/share/locale/uk/LC_MESSAGES/*.mo, які лежать у самій системі.
Це 93 392 документи з 266 програм, і це чужа праця: переклади зроблено
спільнотами локалізації GNOME, KDE, Fedora, GNU та інших проєктів.
У репозиторій курсу корпус не копіюється — зошити читають файли з машини читача. Виняток один: у зошиті теми 02 вбудовано близько 260 рядків як запасний мінікорпус на випадок, коли української локалі немає.
| джерело | що з нього |
|---|---|
| Каталоги перекладів GNU gettext, українська локаль ліцензії — за кожною програмою окремо, переважно GPL / LGPL | Корпус усіх пʼятьох тем блоку 1 |
| GNU gettext manual, розділ Plural forms gnu.org/software/gettext/manual | Форми множини як золота розмітка, поставлена людьми, — на ній тримається головний замір теми 03 |
pymorphy3 MIT, форк pymorphy2 | Морфологічний аналізатор — тема 03 |
dict_uk / LanguageTool Андрій Рисін та ін., LGPL-2.1, github.com/brown-uk/dict_uk | Словники української для pymorphy3. Саме їхні властивості дають розбори на кшталт бути → бута — тема 03 |
tokenizers, transformers HuggingFace, Apache-2.0 | BPE й WordPiece, навчені з нуля — тема 02 |
scikit-learn, розділ Text feature extraction scikit-learn.org/stable/modules/feature_extraction.html | CountVectorizer, TfidfVectorizer і точна формула зі згладжуванням — теми 04 і 05 |
scipy.sparse.csr_matrix | Розріджений формат і його три масиви — тема 04 |
Закони й розподіли
| джерело | що з нього |
|---|---|
| G. K. Zipf. Human Behavior and the Principle of Least Effort. Addison-Wesley, 1949 | Закон Ципфа — тема 01 |
| H. S. Heaps. Information Retrieval: Computational and Theoretical Aspects. Academic Press, 1978 | Закон Гіпса й показник β — тема 01 |
| R. H. Baayen. Word Frequency Distributions. Kluwer, 2001 | Спектр частот і слова, що трапились одного разу — тема 01 |
| Z. Harris. Distributional Structure. Word 10(2-3), 1954 | Походження ідеї, з якої виросте блок 3 — згадано в темі 04 |
Токенізація
| джерело | що з нього |
|---|---|
| P. Gage. A New Algorithm for Data Compression. C Users Journal, 1994 | BPE як алгоритм стиснення — тема 02 |
| R. Sennrich, B. Haddow, A. Birch. Neural Machine Translation of Rare Words with Subword Units. ACL 2016, arXiv:1508.07909 | BPE як токенізація — тема 02 |
| M. Schuster, K. Nakajima. Japanese and Korean Voice Search. ICASSP 2012 | WordPiece — тема 02 |
| T. Kudo, J. Richardson. SentencePiece. EMNLP 2018, arXiv:1808.06226 | Токенізація без попереднього поділу на слова — тема 02, оглядово |
| A. Radford, J. Wu, R. Child та ін. Language Models are Unsupervised Multitask Learners (GPT-2). OpenAI, 2019 | Байтовий BPE — тема 02. Таблиця 2 (чотири розміри від 117M до 1542M) і розділ 2.1 (40 ГБ тексту, понад 8 млн документів), розділ 2.3 (перенесена нормалізація, вікно 512 → 1024) — тема 28 |
| P. Rust et al. How Good is Your Tokenizer? ACL 2021, arXiv:2012.15613 | Якість токенізатора по мовах — тема 02 |
| A. Petrov et al. Language Model Tokenizers Introduce Unfairness Between Languages. NeurIPS 2023, arXiv:2305.15425 | Ціна чужого словника — найближче джерело до головного числа теми 02 |
| M. F. Porter. An algorithm for suffix stripping. Program 14(3), 1980 · snowballstem.org | Стемінг як класика, придумана під англійську — тема 03 |
Ваги, пошук і векторна модель
| джерело | що з нього |
|---|---|
| K. Spärck Jones. A Statistical Interpretation of Term Specificity and Its Application in Retrieval. Journal of Documentation, 1972 | Першоджерело IDF — тема 05 |
| S. Robertson. Understanding Inverse Document Frequency. Journal of Documentation, 2004 | Звідки береться логарифм — тема 05 |
| G. Salton, C. Buckley. Term-Weighting Approaches in Automatic Text Retrieval. 1988 | Схеми зважування — тема 05 |
| S. Robertson, H. Zaragoza. The Probabilistic Relevance Framework: BM25 and Beyond. 2009 | BM25 — згадано в темі 05, розбирається в темі 09 і покроково перераховується в темі 36 |
| C. Manning, P. Raghavan, H. Schütze. Introduction to Information Retrieval. CUP 2008 · nlp.stanford.edu/IR-book | Векторна модель, нормалізація довжини, косинус — теми 04 і 05 |
Класифікація й оцінка
| джерело | що з нього |
|---|---|
| J. Rennie, L. Shih, J. Teevan, D. Karger. Tackling the Poor Assumptions of Naive Bayes Text Classifiers. ICML 2003 | Походження ComplementNB — тема 06. ⚠️ У sklearn norm=False за замовчуванням, тобто реалізовано половину статті |
| P. Domingos, M. Pazzani. On the Optimality of the Simple Bayesian Classifier under Zero-One Loss. Machine Learning 29, 1997 | Чому наївний Баєс працює попри хибне припущення — тема 06 |
| D. Liu, J. Nocedal. On the limited memory BFGS method. Mathematical Programming 45, 1989 | Розвʼязувач, чиї ітерації рахує тема 06 |
| S. Kaufman, S. Rosset, C. Perlich. Leakage in Data Mining. KDD 2011 | Витік через дублікати — тема 06 |
| C. van Rijsbergen. Information Retrieval. 2-ге вид., 1979 | Походження F-міри й аргумент за гармонійне середнє — тема 07 |
| Y. Yang. An Evaluation of Statistical Approaches to Text Categorization. Information Retrieval 1(1-2), 1999 | Звідки мікро- й макроусереднення стали стандартом для текстів — тема 07 |
| M. Sokolova, G. Lapalme. A systematic analysis of performance measures for classification tasks. IPM 45(4), 2009 | Повний перелік метрик і того, що кожна ігнорує — тема 07 |
| T. Saito, M. Rehmsmeier. The Precision-Recall Plot Is More Informative than the ROC Plot on Imbalanced Datasets. PLoS ONE, 2015 | Чому на дисбалансі беруть саме цю криву — тема 07 |
Тематичне моделювання
| джерело | що з нього |
|---|---|
| D. Blei, A. Ng, M. Jordan. Latent Dirichlet Allocation. JMLR 3, 2003 | LDA — тема 08 |
| D. Lee, H. Seung. Learning the parts of objects by non-negative matrix factorization. Nature 401, 1999 | NMF — тема 08 |
| M. Hoffman, D. Blei, F. Bach. Online Learning for Latent Dirichlet Allocation. NIPS 2010 | Саме цей варіаційний алгоритм стоїть у sklearn — тема 08 |
| J. Chang et al. Reading Tea Leaves: How Humans Interpret Topic Models. NIPS 2009 | Правдоподібність не корелює з читабельністю — тема 08 |
| D. Mimno et al. Optimizing Semantic Coherence in Topic Models. EMNLP 2011 | Спроби виміряти читабельність числом — тема 08 |
| M. Belford, B. Mac Namee, D. Greene. Stability of topic modeling via matrix factorization. Expert Systems with Applications 91, 2018 | Стабільність тем як окрема властивість — тема 08 |
| L. Hong, B. Davison. Empirical Study of Topic Modeling in Twitter. SOMA 2010 | Тематичне моделювання на коротких документах — тема 08 |
Пошук
| джерело | що з нього |
|---|---|
| S. Robertson, H. Zaragoza. The Probabilistic Relevance Framework: BM25 and Beyond. FnTIR 3(4), 2009 | Канонічне джерело формули й параметрів — тема 09 |
| S. Robertson et al. Okapi at TREC-3. 1994 | Звідки взялися «типові» k1 1.2-2.0 і b 0.75 — тема 09 |
| A. Broder et al. Efficient Query Evaluation using a Two-Level Retrieval Process. CIKM 2003 | WAND — домашнє завдання теми 09 |
| В. Левенштейн. Двоичные коды с исправлением выпадений… 1966 · F. Damerau, 1964 | Відстані редагування для нечіткого пошуку — тема 09 |
| H. Kuhn. The Hungarian Method for the Assignment Problem. 1955 | Зіставлення тем між прогонами — тема 08; те саме вживалось у темі 27 курсу CV |
Правила
| джерело | що з нього |
|---|---|
| J. Friedl. Mastering Regular Expressions. 3-тє вид., O'Reilly, 2006 | Регулярні вирази як інструмент — тема 10 |
| R. Cox. Regular Expression Matching Can Be Simple And Fast. swtch.com, 2007 | Чому реалізація на автоматах не має катастрофічного відкату — тема 10 |
| J. Davis et al. The Impact of ReDoS in Practice. ESEC/FSE 2018 | Катастрофічний відкат як реальна вразливість — тема 10 |
| ISO/IEC 9899 §7.21.6.1 стандарт C | Граматика специфікаторів printf: саме за нею тема 10 знайшла помилку у власній регулярці |
| A. Ratner et al. Snorkel: Rapid Training Data Creation with Weak Supervision. VLDB 2017 | Правила як ознаки для моделі — тема 10 |
Передтреновані моделі
| джерело | що з нього |
|---|---|
| A. Radford, K. Narasimhan, T. Salimans, I. Sutskever. Improving Language Understanding by Generative Pre-Training (GPT-1). OpenAI, 2018 | Розділ 4.1: декодер на 12 шарів, 768 вимірів, 12 голів, внутрішній розмір 3072, послідовності 512; BooksCorpus — понад 7 000 неопублікованих книжок. ⚠️ Кількості ваг у самій роботі немає, тож тема 28 лишає в таблиці прочерк замість вигаданого числа — тема 28 |
| T. Brown та ін. Language Models are Few-Shot Learners (GPT-3). NeurIPS 2020 · arXiv:2005.14165 | Таблиця 2.1 — 175 млрд ваг, 96 шарів, d_model 12 288, 96 голів; підпис до неї — 300 млрд токенів; розділ 2.1 — та сама архітектура, що в GPT-2, і там-таки, в абзаці під таблицею (не в самій таблиці), n_ctx = 2048 токенів; розділ 1 — «стільки прикладів, скільки влізе у вікно, зазвичай 10-100». Звідси й поняття навчання в контексті — тема 28 |
| C. Raffel та ін. Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer (T5). JMLR 21, 2020 · arXiv:1910.10683 | Розділ 3.1.1 — близько 220 млн ваг, удвічі більше за BERT-base, бо стосів два; розділ 2.2 — корпус C4 ≈ 750 ГБ; порівняння пʼятьох архітектур на GLUE і SQuAD; таблиця довжин проміжків (2/3/5/10) — тема 29 |
| M. Lewis та ін. BART: Denoising Sequence-to-Sequence Pre-training. ACL 2020 · arXiv:1910.13461 | Розділ 2.1 — 6+6 блоків у base, 12+12 у large, приблизно на 10 % більше ваг за BERT того ж розміру; розділ 2.2 — пʼять способів псування тексту, і таблиця, де заповнення проміжків виграє в прокручування документа — тема 29 |
Google Research. BERT · multilingual.md. github.com/google-research/bert | mBERT: 104 мови, спільний словник WordPiece на 110 тисяч, згладжене семплювання мов зі степенем 0.7 — тема 30 |
| A. Conneau та ін. Unsupervised Cross-lingual Representation Learning at Scale (XLM-R). ACL 2020 · arXiv:1911.02116 | Розділ 5.1 — прокляття багатомовності: додавання мов при сталій місткості псує кожну (71.8 → 67.7); рисунок 6 — що дає збільшення словника; таблиця 6 — обсяг української частини 84.6 GiB. ⚠️ У таблиці 6 стовпчик «Tokens (M)» для uk друкує 6.5, що суперечить обсягу на три порядки — очевидна друкарська помилка, тема 30 її не цитує — тема 30 |
| K. K та ін. Cross-Lingual Ability of Multilingual BERT: An Empirical Study. ICLR 2020 · arXiv:1912.07840 | Розділ 3.2.1 і таблиця 1: внесок спільних субслів у перенос малий (1.4 / 0.5 / 0.7 на XNLI) — прямо підпирає замір теми 30, де спільний словник сам собою не дав нічого |
| T. Pires, E. Schlinger, D. Garrette. How Multilingual is Multilingual BERT? ACL 2019 · arXiv:1906.01502 | Розділ 3.2 — перенос між мовами з різним письмом (урду→гінді ≈ 91 % на частинах мови); розділ 3.1 — англійський BERT дає майже нуль на іншому письмі — тема 30 |
| G. Lample, A. Conneau. Cross-lingual Language Model Pretraining. NeurIPS 2019 · arXiv:1901.07291 | Розділ 3.4 і рисунок 1 — перекладне мовне моделювання (TLM): паралельні речення склеюють і маскують в обох, позиції другого скидають. Механізм, яким тема 30 пояснює свій замір переносу |
| J. Devlin, MW. Chang, K. Lee, K. Toutanova. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019 · arXiv:1810.04805 | Першоджерело. Розділ 3.1 — 15 % і схема 80/10/10 з поясненням авторів; розділ 2 — розміри L/H/A, 110M і 340M ваг, F = 4H; додаток C.2, таблиця 8 — шість схем маскування, і саме там видно, що програш «завжди [MASK]» проявляється на замороженому поданні, а не при донавчанні; додаток A.2 — 3.3 млрд слів, мільйон кроків, чотири дні на TPU — теми 26 і 27 |
| Y. Liu та ін. RoBERTa: A Robustly Optimized BERT Pretraining Approach. 2019 · arXiv:1907.11692 | Розділ 4.2 і таблиця 2: прибирання NSP не шкодить, а подекуди допомагає — тема 26 |
| Z. Lan та ін. ALBERT: A Lite BERT for Self-supervised Learning of Language Representations. ICLR 2020 · arXiv:1909.11942 | Розділ 3.1 — чому NSP змішує тему й звʼязність і тому надто легка; розділ 4.6, таблиця 5 — SOP замість NSP — тема 26 |
Послідовні моделі
| джерело | що з нього |
|---|---|
| S. Hochreiter, J. Schmidhuber. Long Short-Term Memory. Neural Computation 9(8), 1997 · doi:10.1162/neco.1997.9.8.1735 | Першоджерело LSTM — тема 18 |
| F. Gers, J. Schmidhuber, F. Cummins. Learning to Forget: Continual Prediction with LSTM. Neural Computation 12(10), 2000, с. 2451-2471 · doi:10.1162/089976600300015015 | Гейт забування, якого в LSTM 1997 року ще не було — тема 18 |
| K. Cho, B. van Merriënboer, C. Gulcehre та ін. Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation. EMNLP 2014 · aclanthology.org/D14-1179 | Одразу два першоджерела: GRU (розділ «Hidden Unit that Adaptively Remembers and Forgets», гейти скидання й оновлення) і сама схема енкодер-декодер — теми 18 і 19 |
| R. Jozefowicz, W. Zaremba, I. Sutskever. An Empirical Exploration of Recurrent Network Architectures. ICML 2015 · proceedings.mlr.press/v37/jozefowicz15.html | Порівняння RNN, LSTM і GRU, і головне для теми 18: «adding a bias of 1 to the LSTM's forget gate closes the gap between the LSTM and the GRU» — те саме, що тема 18 заміряла незалежно |
| I. Sutskever, O. Vinyals, Q. Le. Sequence to Sequence Learning with Neural Networks. NIPS 2014 · arXiv:1409.3215 | Сама схема «енкодер → один вектор → декодер» — тема 19 |
| D. Bahdanau, K. Cho, Y. Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015 · arXiv:1409.0473 | Постановка «вектор сталої довжини — вузьке горло»; сам механізм уваги розбирається в темі 22 — теми 19 і 20 |
| K. Papineni, S. Roukos, T. Ward, W.-J. Zhu. BLEU: a Method for Automatic Evaluation of Machine Translation. ACL 2002 · aclanthology.org/P02-1040 | Модифікована точність, середнє геометричне, штраф за стислість — тема 19 |
| R. Williams, D. Zipser. A Learning Algorithm for Continually Running Fully Recurrent Neural Networks. Neural Computation 1(2), 1989 · doi:10.1162/neco.1989.1.2.270 | Звідки походить teacher forcing — тема 19 |
| S. Bengio, O. Vinyals, N. Jaitly, N. Shazeer. Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks. NIPS 2015 · arXiv:1506.03099 | Розрив між навчанням із поданим еталоном і генерацією без нього — тема 19 заміряла його як 1.82 раза |
| Y. Wu та ін. Google's Neural Machine Translation System. 2016 · arXiv:1609.08144 | Поділ оцінки на довжину в beam search — без нього ширший промінь робить гірше, і тема 19 це заміряла |
| M. Post. A Call for Clarity in Reporting BLEU Scores. WMT 2018 · arXiv:1804.08771 | Чому числа BLEU не порівнюють між роботами й мовами — тема 19 |
| J. Ba, J. Kiros, G. Hinton. Layer Normalization. 2016 · arXiv:1607.06450 | Першоджерело нормалізації шару — тема 23 |
| R. Xiong та ін. On Layer Normalization in the Transformer Architecture. ICML 2020 · arXiv:2002.04745 | Чому переднормалізація навчається без розігріву, а постнормалізація без нього часто розвалюється — теми 23 і 24. ⚠️ Тема 24 заміряла, що перевага правдива в діапазоні: при кроці 0.064 переднормалізація ламається |
| P. Michel, O. Levy, G. Neubig. Are Sixteen Heads Really Better than One? NeurIPS 2019 · arXiv:1905.10650 | Гасіння окремих голів як спосіб виміряти їхню нерівноцінність — тема 23 зробила той самий дослід самостійно |
| E. Voita та ін. Analyzing Multi-Head Self-Attention. ACL 2019 · arXiv:1905.09418 | Аналіз того, чим займаються різні голови — тема 23 |
| P. Shaw, J. Uszkoreit, A. Vaswani. Self-Attention with Relative Position Representations. NAACL 2018 · arXiv:1803.02155 | Відносне позиційне кодування — згадане в темі 23 як підхід, якого ми не міряли |
| J. Su та ін. RoFormer: Enhanced Transformer with Rotary Position Embedding. 2021 · arXiv:2104.09864 | Ротаційне кодування позицій — там само |
| A. Vaswani, N. Shazeer, N. Parmar та ін. Attention Is All You Need. NeurIPS 2017 · arXiv:1706.03762 | Таблиця 1: скільки послідовних операцій потребує шар — O(n) у рекурентного проти O(1) в уваги; розділ 5.2 — про навчання на восьми відеокартах. Єдине цитоване число теми 20 |
Векторні представлення
| джерело | що з нього |
|---|---|
| Z. Harris. Distributional Structure. Word 10(2-3), 1954 · doi:10.1080/00437956.1954.11659520 | Першоджерело гіпотези «слово пізнається за оточенням» — тема 11 |
| J. R. Firth. A Synopsis of Linguistic Theory 1930-1955. Studies in Linguistic Analysis, 1957 | Найвідоміше формулювання тієї самої думки — тема 11 |
| K. Church, P. Hanks. Word Association Norms, Mutual Information, and Lexicography. Computational Linguistics 16(1), 1990 · aclanthology.org/J90-1003 | PMI приходить у мовознавство — тема 11 |
| S. Deerwester та ін. Indexing by Latent Semantic Analysis. JASIS 41(6), 1990 | Сингулярний розклад матриці «слово × документ» — тема 11 |
| J. Bullinaria, J. Levy. Extracting semantic representations from word co-occurrence statistics. Behavior Research Methods 39, 2007 | Систематичне порівняння мір і вікон; чому саме PPMI — тема 11 |
| N. Halko, P.-G. Martinsson, J. Tropp. Finding Structure with Randomness. SIAM Review 53(2), 2011 | Наближений SVD, який робить розклад здійсненним — тема 11 |
| T. Mikolov, I. Sutskever, K. Chen, G. Corrado, J. Dean. Distributed Representations of Words and Phrases and their Compositionality. NIPS 2013 · arXiv:1310.4546 | Негативне семплювання, степінь 0.75 (розділ 2.2) і частотне проріджування (2.3) — теми 12, 13, 15 |
| O. Levy, Y. Goldberg. Neural Word Embedding as Implicit Matrix Factorization. NIPS 2014 · papers.nips.cc/paper/5477 | Skip-gram неявно розкладає зсунуту PPMI — місток між темами 11 і 12 |
| J. Pennington, R. Socher, C. Manning. GloVe: Global Vectors for Word Representation. EMNLP 2014 · aclanthology.org/D14-1162 | Сам метод, вагова функція зі стелею, і звідки походить ідея додавати контекстні вектори — теми 12 і 13 |
| O. Levy, Y. Goldberg, I. Dagan. Improving Distributional Similarity with Lessons Learned from Word Embeddings. TACL 3, 2015 · aclanthology.org/Q15-1016 | Прийом w + c як налаштування, спільне для SVD і skip-gram, і головна теза: виграш ембедингів значною мірою походить із налаштувань, а не з алгоритму — теми 11, 12, 13, 15 |
| P. Bojanowski, E. Grave, A. Joulin, T. Mikolov. Enriching Word Vectors with Subword Information. TACL 5, 2017 · aclanthology.org/Q17-1010 | FastText: вектор слова як сума векторів символьних n-грам — тема 13 |
| A. Joulin, E. Grave, P. Bojanowski, T. Mikolov. Bag of Tricks for Efficient Text Classification. EACL 2017 · aclanthology.org/E17-2068 | Гешування субслів у фіксовану кількість комірок — тема 13 |
| J. Duchi, E. Hazan, Y. Singer. Adaptive Subgradient Methods for Online Learning and Stochastic Optimization. JMLR 12, 2011 · jmlr.org/papers/v12/duchi11a.html | AdaGrad, яким навчають GloVe — тема 13 |
| J. Mu, S. Bhat, P. Viswanath. All-but-the-Top: Simple and Effective Postprocessing for Word Representations. ICLR 2018 · arXiv:1702.01417 | Прибирання спільного напрямку й головних компонент — теми 11, 12, 14, 15 |
Аналогії та оцінка ембедингів
| джерело | що з нього |
|---|---|
| T. Mikolov, W. Yih, G. Zweig. Linguistic Regularities in Continuous Space Word Representations. NAACL-HLT 2013 · aclanthology.org/N13-1090 | Звідки взялася сама ідея аналогій на векторах — тема 14 |
| O. Levy, Y. Goldberg. Linguistic Regularities in Sparse and Explicit Word Representations. CoNLL 2014 · aclanthology.org/W14-1618 | 3CosMul як латка до 3CosAdd — тема 14 |
| T. Schnabel, I. Labutov, D. Mimno, T. Joachims. Evaluation methods for unsupervised word embeddings. EMNLP 2015 · aclanthology.org/D15-1036 | Канонічний поділ на внутрішню й зовнішню оцінку — тема 15 |
| T. Linzen. Issues in evaluating semantic spaces using word analogies. RepEval @ ACL 2016 · aclanthology.org/W16-2503 | Пастка виключення слів запиту — тема 14 |
| A. Drozd, A. Gladkova, S. Matsuoka. Word Embeddings, Analogies, and Machine Learning: Beyond king − man + woman = queen. COLING 2016 · aclanthology.org/C16-1332 | Чому аналогії переоцінені — тема 14 |
| B. Chiu, A. Korhonen, S. Pyysalo. Intrinsic Evaluation of Word Vectors Fails to Predict Extrinsic Performance. RepEval 2016 · aclanthology.org/W16-2507 | Найближче джерело до головного висновку теми 15 |
| A. Rogers, A. Drozd, B. Li. The (Too Many) Problems of Analogical Reasoning with Word Vectors. *SEM 2017 · aclanthology.org/S17-1017 | Розбір того, що саме міряє тест на аналогії — тема 14 |
| N. Schluter. The Word Analogy Testing Caveat. NAACL-HLT 2018 · aclanthology.org/N18-2039 | Чому фільтр вхідних слів приписує собі результат — тема 14 |
| K. Ethayarajh. How Contextual are Contextualized Word Representations? EMNLP 2019 · aclanthology.org/D19-1006 | Анізотропія як вимірна властивість простору — теми 14 і 15 |
| M. Nissim, R. van Noord, R. van der Goot. Fair Is Better than Sensational: Man Is to Doctor as Woman Is to Doctor. Computational Linguistics 46(2), 2020 · aclanthology.org/2020.cl-2.7 | Як добір прикладів робить із аналогій сенсацію — теми 14 і 15 |
| T. Bolukbasi, K.-W. Chang, J. Zou, V. Saligrama, A. Kalai. Man is to Computer Programmer as Woman is to Homemaker? NIPS 2016 · arXiv:1607.06520 | Класичний сюжет гендерної упередженості, який тема 15 не відтворила — і пояснює чому |
| A. Caliskan, J. Bryson, A. Narayanan. Semantics derived automatically from language corpora contain human-like biases. Science 356(6334), 2017 | WEAT — тест, для якого в нашому корпусі немає слів — тема 15 |
| T. Fawcett. An introduction to ROC analysis. Pattern Recognition Letters 27(8), 2006 | AUC як імовірність правильного впорядкування — теми 07 і 15 |
Прикладні задачі
Кожен рядок цього розділу автор теми відкривав сам і звіряв число з тим місцем, яке названо. Де джерело давало лише анотацію — так і сказано.
| джерело | що з нього |
|---|---|
| A. Holtzman, J. Buys, L. Du, M. Forbes, Y. Choi. The Curious Case of Neural Text Degeneration. ICLR 2020 · arXiv:1904.09751 | Таблиця 1 і розділ 4.2 (постановка — розділ 4.1: GPT-2 Large, 5 000 уривків): перплексія й частка уривків, що закінчуються повтором, — людина 12.38 і 0.28 %, жадібне 1.50 і 73.66 %, промінь 16 — 1.48 і 28.94 %, top-p 0.95 — 13.13 і 0.36 %; означення повтору — підпис рисунка 9; рисунки 1 і 4 — чому максимізація правдоподібності дає повтори й звідки взявся top-p — тема 31 |
| F. Stahlberg, B. Byrne. On NMT Search Errors and Model Errors: Cat Got Your Tongue? EMNLP 2019 · arXiv:1908.10090 | Таблиця 1 і розділ 3 (WMT news-test2015, англійська → німецька, 2 169 речень): помилки пошуку в жадібного 73.6 %, у променя 10 — 57.7 %; точний пошук дає порожній рядок у 51.8 % випадків, BLEU 2.1 проти 30.3 у променя. Число 26.4 % у темі 31 — доповнення до 73.6 %, у роботі воно не надруковане. Найсильніший доказ, що найімовірніше ≠ найкраще — тема 31 |
| P. Koehn, R. Knowles. Six Challenges for Neural Machine Translation. WMT 2017 · arXiv:1706.03872 | Рисунок 10 і розділ 3.6: якість падає з ростом ширини променя. Числа взято з LaTeX-джерела статті, а не з малюнка на око — тема 31 |
| A. Fan, M. Lewis, Y. Dauphin. Hierarchical Neural Story Generation. ACL 2018 · arXiv:1805.04833 | Розділ 5.4: звідки top-k і чому там k = 10 — тема 31 |
| C. Meister, T. Vieira, R. Cotterell. If Beam Search Is the Answer, What Was the Question? EMNLP 2020 · arXiv:2010.02650 | Таблиця 1: промінь працює не всупереч теорії, а як прихована регуляризація на рівномірність інформації — тема 31 |
| Y. Chen, S. Gilroy, A. Maletti, J. May, K. Knight. Recurrent Neural Networks as Weighted Language Recognizers. NAACL 2018 · arXiv:1711.05408 | Теореми 8 і 11: пошук найімовірнішої послідовності нерозвʼязний для RNN, а за обмеженої довжини — NP-повний — тема 31 |
| N. Keskar, B. McCann, L. Varshney, C. Xiong, R. Socher. CTRL: A Conditional Transformer Language Model for Controllable Generation. 2019 · arXiv:1909.05858 | Розділ 4.1: штраф за повтор. ⚠️ Правило «додатну оцінку ділити, відʼємну множити» не з цієї статті — там ділять беззастережно; знаковий поділ є латкою бібліотечних реалізацій, і тема 31 каже це прямо — тема 31 |
| R. Paulus, C. Xiong, R. Socher. A Deep Reinforced Model for Abstractive Summarization. ICLR 2018 · arXiv:1705.04304 | Розділ 2.5: заборона повторних триграм під час декодування — тема 31 |
| C.-Y. Lin. ROUGE: A Package for Automatic Evaluation of Summaries. Text Summarization Branches Out, ACL 2004 | Означення ROUGE-N і ROUGE-L (найдовша спільна підпослідовність), точність і повнота по n-грамах, F як їхнє поєднання — усе, що тема 34 рахує на папері. Роботу тема вживає, але не називає — тема 34 |
| R. Mihalcea, P. Tarau. TextRank: Bringing Order into Texts. EMNLP 2004 | Графове ранжування речень — система, з якою тема 34 порівнює рубіж lead і виявляє, що в 67.14 % описів TextRank обирає те саме перше речення — тема 34 |
| J. Cohen. A Coefficient of Agreement for Nominal Scales. Educational and Psychological Measurement 20(1), 1960 | Каппа: згода понад випадкову, κ = (pспост − pвип) / (1 − pвип). Звідси розділ теми 35 про те, чому голу згоду розмітників дивитись не можна — тема 35 |
| J. Lafferty, A. McCallum, F. Pereira. Conditional Random Fields: Probabilistic Models for Segmenting and Labeling Sequence Data. ICML 2001 | CRF: правдоподібність усього рядка міток разом, а не кожної окремо — те, чим тема 32 лікує заборонені переходи BIO — тема 32 |
| A. Viterbi. Error Bounds for Convolutional Codes and an Asymptotically Optimum Decoding Algorithm. IEEE Transactions on Information Theory, 1967 | Алгоритм Вітербі: найкращий шлях через ґратку за довжина × кількість_міток² дій. Тема 32 рахує ним 1 470 операцій замість 7³⁰ — тема 32 |
| L. Ramshaw, M. Marcus. Text Chunking using Transformation-Based Learning. Third Workshop on Very Large Corpora, 1995 | Звідки взялася схема BIO — розмежування «початку» й «продовження», з якого починається тема 32 — тема 32 |
| D. Chen, J. Bolton, C. Manning. A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task. ACL 2016 · arXiv:1606.02858v2 | Головне джерело теми. Таблиця 1 — 380 298 і 879 450 прикладів; таблиця 2 — 67.9 %, 73.6 %, 76.6 %, а для порівняння ансамбль MemNN 69.4 — звідси «більше, ніж будь-яка окрема нейромережа», а не «ніж усі»; розділ 3.1 — список ознак класифікатора; таблиця 3 — абляція на відкладеній частині, де класифікатор дає 67.1 (не тестові 67.9): 67.1 → 60.5 / 63.7 / 67.0; таблиця 6 і розділ 5.2 — класифікатор і мережа розходяться на перефразі (32 проти 39) і на часткових підказках (14 проти 17); таблиця 5 — розбір ста прикладів руками (13/41/19/2/8/17), тобто стеля набору помітно нижча за одиницю — тема 33 |
| P. Rajpurkar, J. Zhang, K. Lopyrev, P. Liang. SQuAD: 100,000+ Questions for Machine Comprehension of Text. EMNLP 2016 · arXiv:1606.05250 | Анотація: 51.0 % у логістичної регресії, 20 % у рубежу, 86.8 % у людини — тема 33 |
| P. Rajpurkar, R. Jia, P. Liang. Know What You Don't Know: Unanswerable Questions for SQuAD. ACL 2018 · arXiv:1806.03822 | Анотація: 50 000+ питань без відповіді; та сама модель падає з 86 % до 66 % — тема 33 |
| R. Jia, P. Liang. Adversarial Examples for Evaluating Reading Comprehension Systems. EMNLP 2017 · arXiv:1707.07328 | Анотація: 75 % → 36 % після додавання одного відвертаючого речення, і до 7 % за додаткових умов — тема 33 |
| K. M. Hermann та ін. Teaching Machines to Read and Comprehend. NeurIPS 2015 · arXiv:1506.03340 | Анотація: звідки взялася cloze-конструкція. Чисел із роботи не бралось — тема 33 |
| N. Thakur, N. Reimers, A. Rücklé, A. Srivastava, I. Gurevych. BEIR: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models. NeurIPS 2021 · arXiv:2104.08663 | ⚠️ Автор теми тримав у руках лише анотацію: 18 наборів, 10 систем, «BM25 is a robust baseline». Цитується тільки цей якісний висновок і ці два числа; відносні середні з таблиці 2 у текст не пішли, бо таблицю ніхто не відкривав — тема 36 |
Дорога до LLM
Як і в попередньому блоці: кожен рядок автор теми відкривав сам і звіряв число з названим місцем. Де в руках була лише анотація або число зчитувалось із графіка — так і сказано.
| джерело | що з нього |
|---|---|
| J. Kaplan та ін. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020 | ⚠️ Лекція роботу не називає; упізнано з памʼяті, з PDF не звірено. Звідти — рахувати ваги без ембедингів і показники близько 0.07–0.10 — тема 37 |
| J. Hoffmann та ін. Training Compute-Optimal Large Language Models (Chinchilla). NeurIPS 2022 · arXiv:2203.15556 | Параметрична формула втрати (E = 1.69, A = 406.4, B = 410.7, α = 0.34, β = 0.28) і таблиця шести моделей з токенами на вагу; колонку втрат теми 37 формула відтворює до четвертого знака. Лекція роботу не називає — тема 37 |
| J. Wei та ін. Emergent Abilities of Large Language Models. TMLR 2022 · arXiv:2206.07682 | Означення здібності, що зʼявляється стрибком; пороги 2·10²² (13 млрд), 3–5·10²³ (70–280 млрд), 2.5·10²⁴ (540 млрд). Звірено з PDF — тема 37 |
| R. Schaeffer, B. Miranda, S. Koyejo. Are Emergent Abilities of Large Language Models a Mirage? NeurIPS 2023 · arXiv:2304.15004 | Теза «стрибок малює лінійка»: з 39 метрик щонайбільше 5 дають стрибок, понад 92 % стрибків — на двох розривних метриках; дослід з автоенкодерами на CIFAR100. Звірено з PDF — тема 37 |
| R. A. Bradley, M. E. Terry. Rank Analysis of Incomplete Block Designs: I. The Method of Paired Comparisons. Biometrika 39, 1952 | Модель парних порівнянь: імовірність того, що А переможе Б, задається різницею оцінок. На ній учать модель винагороди — тема 38, розділ 11 |
| S. Lin, J. Hilton, O. Evans. TruthfulQA: Measuring How Models Mimic Human Falsehoods. ACL 2022 · arXiv:2109.07958 | Набір питань, на яких поширена людська помилка звучить правдоподібніше за правду. Тема 38 (розділ 17) описує його, не називаючи, через рисунок 6 InstructGPT; чисел із самої роботи тема не бере |
| L. Ouyang та ін. Training language models to follow instructions with human feedback (InstructGPT). NeurIPS 2022 · arXiv:2203.02155 | Згода між розмітниками 72.6 % і 77.3 %; коефіцієнт штрафу KL β = 0.02; галюцинації 21 % проти 41 % у базової моделі. ⚠️ Людська оцінка на TruthfulQA зчитана з рисунка 6, а не з тексту — у лекції подана з «приблизно» — тема 38 |
| J. Wei та ін. Finetuned Language Models Are Zero-Shot Learners (FLAN). ICLR 2022 · arXiv:2109.01652 | 62 набори, зведені у 12 груп; перевага на 20 із 25 завдань. І головне застереження: на моделях до 8 млрд ваг донавчання на вказівках шкодить — тема 38 |
| P. Christiano та ін. Deep Reinforcement Learning from Human Preferences. NeurIPS 2017 · arXiv:1706.03741 | Звідки модель винагороди вчиться на парах, а не на оцінках: Бредлі-Террі — тема 38 |
| N. Stiennon та ін. Learning to summarize with human feedback. NeurIPS 2020 · arXiv:2009.01325 | Додаток G.3 — точний вираз для відходу best-of-n: KL = ln n − (n−1)/n; довжина пояснює третину розриву в людських оцінках. ⚠️ Крива перенавчання на винагороду зчитана з рисунка 5 — тема 38 |
| R. Rafailov та ін. Direct Preference Optimization. NeurIPS 2023 · arXiv:2305.18290 | 61 % проти 57 %; 58 % на 272 судженнях; β = 0.1, а на TL;DR — 0.5 (звірено за PDF). Те саме без окремої моделі винагороди — тема 38 |
| L. Gao, J. Schulman, J. Hilton. Scaling Laws for Reward Model Overoptimization. ICML 2023 · arXiv:2210.10760 | Перенавчання на винагороду як вимірне явище, а не як побоювання — тема 38 |
| E. Hu та ін. LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022 · arXiv:2106.09685v2 | Розділ 4.1 — α/r і злиття поправки у ваги; 4.2 — 1.2 ТБ → 350 ГБ, контрольна точка 350 ГБ → 35 МБ, виноска 4 (354 ГБ проти 35 ТБ), виноска 5 (32.5 → 43.1 токена за секунду) і обмеження на батчування; таблиці 5 і 6. ⚠️ Дві поширені неточності, які спростовуються самою статтею: `Wq` і `Wv` — це найкраща пара, але за однакового бюджету всі чотири матриці рангом 2 не гірші; і α до r не прив'язують — там α/r дорівнює 1, 2 і 8 — тема 39 |
| T. Dettmers та ін. QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023 · arXiv:2305.14314 | Розділ 1 — понад 780 ГБ → менш ніж 48 ГБ; розділ 3 — подвійне квантування, 0.5 → 0.127 біта на параметр; таблиця 6 — 99.3 %, ±4.4 %, 96.7 / 101.9; додаток B.2 — r = 64, α = 16, LoRA на всіх лінійних шарах. ⚠️ Розділ 8 прямо каже, що рівності з повним донавчанням на 33B і 65B не встановлено — тема 39 |
| N. Houlsby та ін. Parameter-Efficient Transfer Learning for NLP (адаптери). ICML 2019 · arXiv:1902.00751 | Таблиця 1 — 80.0 проти 80.4 при 3.6 % ваг; розділ 2.1 — розмір адаптера 2md + d + m — тема 39 |
| E. Ben Zaken, S. Ravfogel, Y. Goldberg. BitFit. ACL 2022 · arXiv:2106.10199v5 | Розділ 3 — 0.08 % / 0.09 % ваг; таблиця 1 — 84.2 / 84.1 на перевірці, 80.9 / 81.8 на тесті; розділ 4 і рисунок 2 — перевага перевертається зі зростанням обсягу даних — тема 39 |
| X. L. Li, P. Liang. Prefix-Tuning. ACL 2021 · arXiv:2101.00190 | Розділ 6.1, виноска 9 — 250 тис. / 500 тис. проти 345 млн; таблиця 1 — 69.7 проти 68.2; таблиця 2 — 35.05 проти 37.25; розділ 6.3 — +2.9 BLEU при малих даних — тема 39 |
| N. Carlini та ін. The Secret Sharer. USENIX Security 2019 · arXiv:1802.08232 | Розділ 4.2 — означення exposure («викритість»); розділ 6.1 — Smart Compose: від 1 до 10 000 вставлянь, до 10 біт; 6.4 — переклад: одне вставляння — ×1000, чотири — завчено; 7.1 — 3 біти після першої епохи, 8 після третьої; 8.2 — перебір усіх 10⁹ кандидатів; 8.3 — поріг, за яким секрет стає видобувним. Головне джерело заміру канарки — тема 40 |
| N. Carlini та ін. Extracting Training Data from Large Language Models. USENIX Security 2021 · arXiv:2012.07805 | Розділ 6.2 — 604 з 1800 кандидатів виявились справжніми уривками навчального корпусу; розділ 7 — від 33 повторів найбільша модель видає все, а найменша — лише один URL, що трапився 359 разів — тема 40 |
| N. Carlini та ін. Quantifying Memorization Across Neural Language Models. ICLR 2023 · arXiv:2202.07646 | Розділ 4.1 — десятикратне зростання моделі додає близько 19 відсоткових пунктів завченого — тема 40 |
| C. Guo, G. Pleiss, Y. Sun, K. Weinberger. On Calibration of Modern Neural Networks. ICML 2017 · arXiv:1706.04599 | Розділ 2 — означення очікуваної похибки калібрування; таблиця 1 — 16.53 → 1.26 після температурного шкалювання; розділ 3, рисунок 3 — помилка падає з 29 % до 27 %, поки втрата на перевірці росте; рисунок 2 — глибина й ширина погіршують калібрування — тема 40 |
| T. Falke, L. F. R. Ribeiro, P. A. Utama, I. Dagan, I. Gurevych. Ranking Generated Summaries by Correctness: An Interesting but Challenging Application for Natural Language Inference. ACL 2019 · P19-1213 | Первинне джерело числа, яке огляд Ji та ін. переказує як «25 %»: таблиця 1 — хибні резюме в трьох системах 8 %, 26 % і 25 %. Звідси в темі 40 «навіть у найсучасніших — 25 %», а не «25 % на трьох системах» — тема 40 |
| Z. Ji та ін. Survey of Hallucination in Natural Language Generation. ACM Computing Surveys 2023 · arXiv:2202.03629 | ⚠️ Дає 25 % резюме з галюцинованим змістом, із посиланням на Falke та ін. 2019. Числа 70 % від Maynez, яке іноді приписують цьому оглядові, там немає. Розділ 2 — означення внутрішньої й зовнішньої галюцинації — тема 40 |
Підручники
| джерело | що з нього |
|---|---|
| D. Jurafsky, J. H. Martin. Speech and Language Processing. 3-тє вид., чернетка · web.stanford.edu/~jurafsky/slp3 | Загальний план блоку 1 |
| C. Manning, H. Schütze. Foundations of Statistical Natural Language Processing. MIT Press, 1999 | Розділи 1-6 — статистика тексту, тема 01 |