---

---

Машинне навчання та нейронні мережі

---

Документи

Машинне навчання

• Вступ до ML - основні поняття машинного навчання
• Лінійна модель - пошук оптимальних параметрів
• Градієнтний метод - метод пошуку оптимальних параметрів
• Обчислювальний граф - основа сучасних фреймворків ML
• Ймовірнісні методи - ентропія, умовна ймовірність, марковські моделі мови
• Байєсівський метод
• Ентропія
• N-грами - передбачення послідовностей
• Простір ознак - трохи математики
• Ймовірнісна логіка
• Нечітка логіка

Нейронні мережі

• Embedding - вступ до поняття вкладення векторів
• Embedding Word2Vec - базові методи skip-gram і SBOW
• NN_Embedding_Elmo.html - контекстно залежний і символьний ембединги
• Рекурентні мережі на PyTorch
• RNN - Передбачення букв
• RNN Encoder-Decoder
• Готові вектори Embedding - Glove, fastText.
• Attention - Механізм уваги
• Архітектура Transformer
• Модель BERT
• Модель GPT

Фреймворки

• Тензори в Numpy - вступ до numpy (тензори та їх форми).
• PyTorch: Тензори основи бібліотеки PyTorch.
• PyTorch: Обчислювальні графи
• PyTorch: Мережі
• PyTorch: Мережі - Довідка
• Keras: Тензори - вступ до роботи шарів keras.
• Keras: RNN - вступ до роботи шарів keras.
• Keras: Embedding

  ---

  ---

  Основні терміни

  Дані та основні задачі

  • Ознаки (one-hot)
  • Регресія, класифікація, кластеризація
  • Datasets
  • Нормування даних

  Метрики якості

  • Loss, Accuracy
  • Ентропія та кросентропія
  • Перекіс у класах
  • Per, BLUE

  Класичні методи ML з учителем

  • Лінійні моделі
  • Метод найближчих сусідів
  • Байєсівські класифікатори
  • Дерева рішень
  • Метод опорних векторів

  Класичні методи ML без учителя

  • Кластеризація k-середніх
  • Кластеризація DBSCAN
  • Зменшення розмірності: головні компоненти, t-Sine

  Прості нейронні мережі

  • Перетворення простору ознак.
  • Функції активації: sigmoid, tanh, ReLu.
  • Нейрон як розділяюча поверхня.
  • Типи архітектур і шарів
  • Градієнтні методи
  • Граф обчислень
  • Прийоми навчання

  ---

  Згорткові мережі

  Робота з текстовими даними

  • Мішок слів
  • Word2Vec

  ---

  Рекурентні мережі

  • SimpleRNN
  • LSTM

  Sequence2Sequence

  • Архітектура Encoder-Decoder
  • Механізм Attention
  • Архітектура Transformer

  Навчання з підкріпленням

  ---

  ---

  Різне

  ---

  Розширення для Jupiter

  Корисні поради:

  pip install jupyter_contrib_nbextensions 
  jupyter contrib nbextensions install
  

  Після запуску юпітера jupyter notebook, з’явиться нова закладка Nbextensions. У ній позначаємо потрібні розширення:

  • Table of Contents - зміст документа

  ---