Полезные NLP библиотеки

• NLTK
• SpaCy (NB у него есть особенности токенизации)
• RedditScore - отличное решение для работы с данными из Твиттера и Реддита, в т.ч. CrazyTokenizer на основе SpaCy
• Gensim
• pymorphy2 (rus)
• pyMystem (rus)
• большой список прочего разного

Дополнительные материалы

15.04

• статья-заметка с размышлением по поводу размерности векторов

• видео про уменьшение размерности (SVD)

• RusVectōrēs: обученные модели для русского языка

• отличный курс Introduction to NLP with Python

• небольшой туториал по марковским цепям и генерации текста

• библиотека markovify, которая умеет обучаться и порождать предложения с пунктуацией. Внутри есть класс Chain, которым можно создавать цепи из чего угодно, если оно в формате список списков значений.

22.04

дистрибутивная семантика

• стенфордский хендаут

• тг канал RusVectōrēs, там бывают с полезные материалами

• код для работы с ELMo-моделями: проект Simple ELMo

• статья про параметры векторных моделей (размерность, окно, симметричность контекста) GloVE

другое

• Частотный словарь русского языка О. Н. Ляшевская, С. А. Шаров

• серия видео про классы в питоне (на английском)