NLP: Datasets

Огляд NLP задач

Кінцева мета NLP — це вільне спілкування з інтелектуальною системою природною мовою (діалог, отримання інформації, постановка задачі тощо). Для тестування різних моделей обираються формальні часткові задачі, які можна розбити на три великі групи: задачі класифікації, розмітки і генерації.

Задачі класифікації

Задачі розмітки

Задачі генерації

1 Billion Word Language Model Benchmark

Англомовний корпус текстів описаний у статті Chelba C., et.al (2014). Його словник складається з 793471 слів і має довжину 0.8 мільярдів токенів. Слова поза словником позначені (?) як <UNK> (їх 0.28%). Тексти розбиті на речення, у яких проведена токенізація. Речення перемішані: 

The journalist 's job is to help inform the public on issues that matter .
The golfer , still the highest-paid athlete in the world , was second last year .
Anderson scored 12 points and Amanda Nisleit added 11 points and 12 rebounds .

Для завантаження корпус доступний за цим посиланням або за цим і в архіві займає 1.7 Gb. Розбитий на файли.

ROC Story Cloze

ROCStories — це зв'язні прості історії з чотирьох речень. У тестовому наборі до кожної історії додаються два речення, одне з яких є осмисленим продовженням історії, тоді як друге таким не є. Наприклад:

Karen was assigned a roommate her first year of college.
Her roommate asked her to go to a nearby city for a concert.
Karen agreed happily. The show was absolutely exhilarating.

Існує файл 100KStories.csv з 98'167 історіями, сумарно з 4'859'629 токенами і 36'566 унікальними словоформами.

MultiNLI

MultiNLI — Natural Language Inference corpus з 433k парами речень

Stanford Natural Language Inference (SNLI)

SNLI Corpus складається з 570k пар англійських речень, у яких друге з першого речення або випливає (entailment), або суперечить (contradiction) або нейтральне (neutral). 
Text      : A man inspects the uniform of a figure in some East Asian country.   
Judgments : contradiction  CCCCC
Hypothesis: The man is sleeping

Text      : A soccer game with multiple males playing.   
Judgments : entailment    EEEEE
Hypothesis: Some men are playing a sport.

Text      : An older and younger man smiling.   
Judgments : neutral NNENN 
Hypothesis: Two men are smiling and laughing at the cats playing on the floor.

Stanford Question Answering Dataset (SQuAD)

SQuAD — набір даних для розуміння прочитаного, що складається з питань, заданих людьми в наборі статей Вікіпедії, де відповіддю на кожне питання є фрагмент тексту або проміжок з відповідного уривка для читання. Питання може бути також безвідповідним. 
"data": [
   {"title": "Beyonc\u00e9", 
    "paragraphs": [{"qas": [       
       {"question": "When did Beyonce start becoming popular?",         
        "answers": [{"text": "in the late 1990s", "answer_start": 269}], 
        "is_impossible": false}, 
    
       {"question": "What areas did Beyonce compete in when she was growing up?",     
        "answers": [{"text": "singing and dancing", "answer_start": 207}], 
        "is_impossible": false}, 
        
       {"question": "In what city and state did Beyonce  grow up? ",     
        "answers": [{"text": "Houston, Texas", "answer_start": 166}], 
        "is_impossible": false},

Stanford Sentiment Analysis

Sentiment Treebank для прогнозування настрою оглядів фільмів. Завантажити дані можна тут. 
hide new secretions from the parental units  0
contains no wit , only labored gags    0
that loves its characters and communicates something rather beautiful about human nature  1

General Language Understanding Evaluation (GLUE)

Цей бенчмарк є колекцією з одинадцяти задач на розуміння мови: The Corpus of Linguistic Acceptability, The Stanford Sentiment Treebank, Microsoft Research Paraphrase Corpus, Semantic Textual Similarity Benchmark, Quora Question Pairs, MultiNLI Matched, MultiNLI Mismatched, Question NLI, Recognizing Textual Entailment, Winograd NLI, Diagnostics Main.

Сторінка завантаження містить текстові дані окремо для кожної задачі.

CommonsenseQA

CommonsenseQA is a new multiple-choice question answering dataset that requires different types of commonsense knowledge to predict the correct answers . It contains 12,102 questions with one correct answer and four distractor answers. The dataset is provided in two major training/validation/testing set splits: "Random split" which is the main evaluation split, and "Question token split", see paper for details.

Література