---

---

Машинное обучение и нейронные сети

---

Документы

Машинное обучение

• Введение в ML - основные понятия машинного обучения
• Линейная модель - поиск оптимальных параметров
• Градиентный метод - метод поиска оптимальных параметров
• Вычислительный граф - основа современных фреймворков ML
• Вероятностные методы - энтропия, условная вероятность, марковские модели языка
• Байесовский метод
• Энтропия
• N-граммы - предсказание последовательностей
• Пространство признаков - немного математики
• Вероятностная логика
• Нечёткая логика

Нейронные сети

• Embedding - введение в понятие вложения векторов
• Embedding Word2Vec - базовые методы skip-gram и SBOW
• NN_Embedding_Elmo.html - контекстно зависимый и символьный эмбединги
• Рекуррентные сети на PyTorch
• RNN - Предсказание букв
• RNN Encoder-Decoder
• Готовые векторы Embedding - Glove, fastText.
• Attention - Механизм внимания
• Архитектура Transformer
• Модель BERT
• Модель GPT

Фреймворки

• Тензоры в Numpy - введение в numpy (тензоры и их формы).
• PyTorch: Тезоры основы библиотеки PyTorch.
• PyTorch: Вычислительные графы
• PyTorch: Сети
• PyTorch: Сети - Справка
• Keras: Тензоры - введение в работу слоёв keras.
• Keras: RNN - введение в работу слоёв keras.
• Keras: Embedding

  ---

  ---

  Основные термины

  Данные и основные задачи

  • Признаки (one-hot)
  • Регрессия, классификация, кластеризация
  • Datasets
  • Нормировка данных

  Метрики качества

  • Loss, Accuracy
  • Энтропия и кроссэнтропия
  • Перекос в классах
  • Per, BLUE

  Классические методы ML с учителем

  • Линейные модели
  • Метод ближайших соседей
  • Байесовские классификаторы
  • Деревья решений
  • Метод опорных векторов

  Классические методы ML без учителя

  • Кластеризация k-средних
  • Кластеризация DBSCAN
  • Уменьшение размерности: главные компоненты, t-Sine

  Простые нейронные сети

  • Преобразование пространства признаков.
  • Функции активации: sigmoid, tanh, ReLu.
  • Нейрон как разделяющая поверхность.
  • Типы архитектур и слоёв
  • Градиентные методы
  • Граф вычислений
  • Приёмы обучения

  ---

  Свёрточные сети

  Работа с текстовыми данными

  • Мешок слов
  • Word2Vec

  ---

  Рекуррентные сети

  • SimpleRNN
  • LSTM

  Sequence2Sequence

  • Архитектура Encoder-Decoder
  • Механизм Attention
  • Архитектура Transformer

  Обучение с подкреплением

  ---

  ---

  Разное

  ---

  Расширения для Jupiter

  Полезные советы:

  pip install jupyter_contrib_nbextensions 
  jupyter contrib nbextensions install
  

  После запуска юпитера jupyter notebook, появится новая закладка Nbextensions. В ней помечаем нужные расширения:

  • Table of Contents - оглавление документа

  ---