LSTM, представлені в 1997 році, повертаються разом з xLSTM як потенційні конкуренти LLM у глибокому навчанні. Здатність запам'ятовувати і забувати інформацію через певні проміжки часу відрізняє LSTM від RNN, роблячи їх цінним інструментом у моделюванні мови.