From ea4e7a53fa81e1b99ed1e83d732dacab6036bce1 Mon Sep 17 00:00:00 2001 From: Oleksandr Bushkovskyi Date: Tue, 26 May 2020 23:51:40 +0300 Subject: [PATCH] Improve model card for Tereveni-AI/gpt2-124M-uk-fiction (#4582) Add language metadata, training and evaluation corpora details. Add example output. Fix inconsistent use of quotes. --- .../gpt2-124M-uk-fiction/README.md | 22 ++++++++++++++++--- 1 file changed, 19 insertions(+), 3 deletions(-) diff --git a/model_cards/Tereveni-AI/gpt2-124M-uk-fiction/README.md b/model_cards/Tereveni-AI/gpt2-124M-uk-fiction/README.md index 1e24387c..f8464284 100644 --- a/model_cards/Tereveni-AI/gpt2-124M-uk-fiction/README.md +++ b/model_cards/Tereveni-AI/gpt2-124M-uk-fiction/README.md @@ -1,15 +1,24 @@ +--- +language: ukrainian +--- + Note: **default code snippet above won't work** because we are using `AlbertTokenizer` with `GPT2LMHeadModel`, see [issue](https://github.com/huggingface/transformers/issues/4285). ## GPT2 124M Trained on Ukranian Fiction -Example usage: +### Training details + +Model was trained on corpus of 4040 fiction books, 2.77 GiB in total. +Evaluation on [brown-uk](https://github.com/brown-uk/corpus) gives perplexity of 50.16. + +### Example usage: ```python from transformers import AlbertTokenizer, GPT2LMHeadModel tokenizer = AlbertTokenizer.from_pretrained("Tereveni-AI/gpt2-124M-uk-fiction") model = GPT2LMHeadModel.from_pretrained("Tereveni-AI/gpt2-124M-uk-fiction") -input_ids = tokenizer.encode('Но зла Юнона, суча дочка,', add_special_tokens=False, return_tensors='pt') +input_ids = tokenizer.encode("Но зла Юнона, суча дочка,", add_special_tokens=False, return_tensors='pt') outputs = model.generate( input_ids, @@ -19,5 +28,12 @@ outputs = model.generate( ) for i, out in enumerate(outputs): - print('{}: {}'.format(i, tokenizer.decode(out))) + print("{}: {}".format(i, tokenizer.decode(out))) ``` + +Prints something like this: +```bash +0: Но зла Юнона, суча дочка, яка затьмарила всі її таємниці: І хто з'їсть її душу, той помре». І, не дочекавшись гніву богів, посунула в пітьму, щоб не бачити перед собою. Але, за +1: Но зла Юнона, суча дочка, і довела мене до божевілля. Але він не знав нічого. Після того як я його побачив, мені стало зле. Я втратив рівновагу. Але в мене не було часу на роздуми. Я вже втратив надію +2: Но зла Юнона, суча дочка, не нарікала нам! — раптом вигукнула Юнона. — Це ти, старий йолопе! — мовила вона, не перестаючи сміятись. — Хіба ти не знаєш, що мені подобається ходити з тобою? +``` \ No newline at end of file