Данные и модели для библиотек обработки естественного языка MAWO

Этот репозиторий содержит справочные данные, модели и корпуса для библиотек MAWO:

• mawo-pymorphy3 - Морфологический анализатор
• mawo-slovnet - NER, морфология, синтаксис
• mawo-natasha - Семантический анализ
• mawo-razdel - Токенизация и сегментация

Данные распространяются через GitHub Releases для минимизации размера пакетов.

Общий размер: ~110M

Большинство библиотек MAWO автоматически скачивают необходимые данные при первом использовании:

pip install mawo-natasha
# При первом запуске автоматически скачает natasha-data-v1.0.0.tar.gz

Если у вас нет доступа к интернету или вы хотите предварительно загрузить данные:

# Для mawo-natasha
wget https://github.com/mawo-ru/mawo-nlp-data/releases/download/v1.0.0/natasha-data-v1.0.0.tar.gz
tar -xzf natasha-data-v1.0.0.tar.gz -C ~/.mawo-natasha/

# Для mawo-slovnet (опционально, модели уже включены в пакет)
wget https://github.com/mawo-ru/mawo-nlp-data/releases/download/v1.0.0/slovnet_ner_news_v1.tar.neural.gz
mkdir -p ~/.mawo-slovnet/models/
mv slovnet_ner_news_v1.tar.neural.gz ~/.mawo-slovnet/models/

# Для opencorpora (опционально, для продвинутого морфологического анализа)
wget https://github.com/mawo-ru/mawo-nlp-data/releases/download/v1.0.0/opencorpora-2025.tar.gz
tar -xzf opencorpora-2025.tar.gz -C ~/.mawo-pymorphy3/

wget https://github.com/mawo-ru/mawo-nlp-data/releases/download/v1.0.0/checksums.txt
sha256sum -c checksums.txt

Содержимое:

embeddings/
  navec_news_v1_1B_250K_300d_100q.emb  # 26M - Navec эмбеддинги (250K слов, 300 измерений)
dictionaries/
  first.dict                            # Словарь имён
  first_male_2025.dict                  # Мужские имена
  first_female_2025.dict                # Женские имена
  first_all_2025.dict                   # Все имена
  maybe_first.dict                      # Возможные имена
  last.dict                             # Фамилии
  last_updated_2025.dict                # Обновлённые фамилии
  middle.dict                           # Отчества
models/
  slovnet_ner_news_v1.model             # NER модель
  slovnet_morph_news_v1.model           # Морфология
  slovnet_syntax_news_v1.model          # Синтаксис

Назначение: Основные данные для библиотеки mawo-natasha (семантический анализ, распознавание имён).

SHA256: bd5e1b074046175c629eead72a07640ac8606b0c4471a93e05888f1c6c9bfb2d

Содержимое: Нейросетевые модели SlovNet, обученные на новостном корпусе:

• slovnet_ner_news_v1 (2.2M) - Распознавание именованных сущностей (PER, LOC, ORG)
• slovnet_morph_news_v1 (2.4M) - Морфологический анализ (POS-теги, падежи, число, род)
• slovnet_syntax_news_v1 (2.5M) - Синтаксический анализ (зависимости)

Назначение: Модели уже включены в пакеты mawo-slovnet и mawo-natasha, но доступны отдельно для обновлений.

SHA256:

• NER: b4880fd6d5536097485c985d7b8a11bd593ea83e286554abb3d5a1df1b2b1f0a
• Morph: 276c8a3e6534a142e28b3b804cf269f4a8cb85c0c1342c059d17e1e84bb9ed18
• Syntax: fd214b5424dca70d4a6634abb7a5ab27c1689bb0d49638c19647db18c0375d99

Содержимое:

opencorpora_2025/
  opencorpora_annot_2025.xml   # 532M (сжато до 50M) - XML с аннотациями
  opencorpora_annot_2025.pkl   # 309M (сжато до 18M) - Pickle с аннотациями
  freqrnc2011.csv              # 1.8M - Частоты слов РНК
  freqrnc_readme.txt           # 1.4K - Описание

Назначение: Полный корпус OpenCorpora для продвинутого морфологического анализа (опционально).

Использование:

from mawo_pymorphy3 import MAWOMorphAnalyzer

# Базовый анализ (работает без opencorpora)
m = MAWOMorphAnalyzer()
print(m.parse('привет'))

# Расширенный анализ с корпусом
m = MAWOMorphAnalyzer(opencorpora_path='~/.mawo-pymorphy3/opencorpora_2025')
print(m.get_corpus_frequency('привет'))  # Частота слова в корпусе

SHA256: 171a8413b9d02e8eeed99a89958b6ebdb9ca0b91ba1f120085a3663cf8f2c484

Проект MAWO построен на основе следующих отличных open-source проектов:

• natasha - NER и семантический анализ
• slovnet - модели NER, морфологии и синтаксиса
• razdel - токенизация и сегментация
• navec - векторные представления слов

• pymorphy2 - морфологический анализатор
• pymorphy3 - обновлённая версия

• OpenCorpora - корпус русского языка
• Российский национальный корпус - данные о частотности

Полная информация об авторстве: см. ATTRIBUTION.md

• OpenCorpora: CC BY-SA 3.0
• SlovNet модели: MIT - Copyright (c) Alexander Kukushkin
• Navec эмбеддинги: MIT - Copyright (c) Alexander Kukushkin
• Словари имён: MIT - Copyright (c) Alexander Kukushkin
• Pymorphy словари: MIT - Copyright (c) Mikhail Korobov

Все библиотеки MAWO распространяются под лицензией MIT с сохранением оригинальных copyright notices из upstream-проектов.

• Словарь: 250 000 слов
• Размерность: 300
• Квантизация: 100 уровней
• Формат: .emb (оптимизированный бинарный)
• Источник: Новостной корпус (1B токенов)

• Мужские имена: ~7 500 уникальных
• Женские имена: ~8 200 уникальных
• Фамилии: ~95 000 уникальных
• Отчества: ~2 100 уникальных
• Обновление: 2025-09-15

• Обучающий корпус: Новости (LENTA, RIA, TASS)
• Точность NER: F1 = 0.96 (PER), 0.92 (LOC), 0.89 (ORG)
• Точность морфологии: 98.2% (POS), 96.7% (падеж)
• Точность синтаксиса: UAS = 94.1%, LAS = 92.3%

• Лексем: 391 845
• Аннотированных предложений: ~55 000
• Токенов: ~1 000 000
• Версия: 0.92 (revision 417260)
• Дата компиляции: 2025-09-15

from mawo_pymorphy3 import MAWOMorphAnalyzer

# Автоматически использует встроенные DAWG словари (13M)
m = MAWOMorphAnalyzer()
print(m.parse('привет'))
# [MAWOParse(word='привет', normal_form='привет', tag=OpencorporaTag('INTJ'), score=1.0, methods_stack=(...))]

# Опционально: использовать полный OpenCorpora корпус (69M)
m_full = MAWOMorphAnalyzer(opencorpora_path='~/.mawo-pymorphy3/opencorpora_2025')

from mawo_slovnet import NER, Morph, Syntax

# Модели уже включены в пакет (6.9M)
ner = NER()
morph = Morph()
syntax = Syntax()

text = "Владимир Путин выступил в Москве"
print(ner(text))
# [Span(start=0, stop=14, type='PER', text='Владимир Путин'),
#  Span(start=26, stop=32, type='LOC', text='Москве')]

from mawo_natasha import Doc

# Автоматически скачает natasha-data-v1.0.0.tar.gz (34M) при первом запуске
# Или использует предустановленные данные из ~/.mawo-natasha/
doc = Doc("Александр Сергеевич Пушкин родился в Москве в 1799 году")

print(doc.tokens)  # Токены
print(doc.sents)   # Предложения
print(doc.spans)   # Именованные сущности
# [Span(start=0, stop=29, type='PER', text='Александр Сергеевич Пушкин'),
#  Span(start=41, stop=47, type='LOC', text='Москве')]

from mawo_razdel import sentenize, tokenize

# Корпуса уже включены в пакет (21M)
text = "Привет! Как дела? Всё хорошо."
sents = list(sentenize(text))
print(sents)
# [Substring(start=0, stop=7, text='Привет!'),
#  Substring(start=8, stop=17, text='Как дела?'),
#  Substring(start=18, stop=29, text='Всё хорошо.')]

tokens = list(tokenize(text))
print(tokens)
# [Substring(..., text='Привет'), Substring(..., text='!'), ...]

Полная документация доступна в репозиториях библиотек:

• mawo-pymorphy3 README
• mawo-slovnet README
• mawo-natasha README
• mawo-razdel README

# 1. Подготовить данные
mkdir -p releases/v1.1.0/

# 2. Упаковать
tar -czf releases/v1.1.0/natasha-data-v1.1.0.tar.gz \
  embeddings/ dictionaries/ models/

# 3. Создать контрольные суммы
cd releases/v1.1.0/
sha256sum *.tar.gz > checksums.txt

# 4. Создать релиз на GitHub
gh release create v1.1.0 \
  --title "MAWO NLP Data v1.1.0" \
  --notes "Обновлённые данные для библиотек MAWO" \
  *.tar.gz checksums.txt

# Скачать checksums.txt
wget https://github.com/mawo-ru/mawo-nlp-data/releases/download/v1.0.0/checksums.txt

# Проверить все файлы
sha256sum -c checksums.txt

Мы приветствуем вклад в развитие данных MAWO!

1. Дополнить словари имён - добавить новые имена, фамилии, отчества
2. Обновить корпуса - добавить новые аннотированные тексты
3. Улучшить модели - дообучить на специализированных доменах
4. Оптимизировать размер - улучшить компрессию данных

1. Fork репозитория
2. Создать feature branch (git checkout -b feature/new-names-dict)
3. Commit изменений (git commit -am 'Добавить 1000 новых имён')
4. Push в branch (git push origin feature/new-names-dict)
5. Создать Pull Request

• GitHub: github.com/mawo-ru
• Issues: github.com/mawo-ru/mawo-nlp-data/issues

Первый релиз данных MAWO

• ✅ Navec эмбеддинги (250K слов, 300D)
• ✅ Словари имён (113K записей, обновление 2025)
• ✅ SlovNet модели (NER, морфология, синтаксис)
• ✅ OpenCorpora корпус (391K лексем)
• ✅ Контрольные суммы SHA256

Общий размер: 110M (оптимизация 83.7% от исходных 881M)