Skip to content

ilhamfp/ukara-1.0-challenge

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

18 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Authors: Ali Akbar Septiandri, Yosef Ardhito Winatmoko, Ilham Firdausi Putra

Appeared in SustaiNLP workshop at EMNLP 2020

From the website:

Ukara is a web-based automatic short answer scoring system which is a collaboration project between our group and PUSPENDIK, Ministry of Education and Culture of Indonesia. The name is originally from Javanese language which means a sentence. The system was built based on supervised machine learning approach which is able to assign a score to student’s answer. The student’s answer usually consists of maximum 2-3 sentences. The project is still going on with the aim to improve Ukara’s performance.

We compare three solutions to UKARA 1.0 challenge on automated short-answer scoring: single classical, ensemble classical, and deep learning. The task is to classify given answers to two questions, whether they are right or wrong. While recent development shows increasing model complexity to push the benchmark performances, they tend to be resource-demanding with mundane improvement. For the UKARA task, we found that bag-of-words and classical machine learning approaches can compete with ensemble models and Bi-LSTM model with pre-trained word2vec embedding from 200 million words. In this case, the single classical machine learning achieved less than 2% difference in F1 compared to the deep learning approach with 1/18 time for model training.

Model Performance

F1 score comparison with the alternative ensemble models

Model Train A Train B Dev Test
Single 0.892 0.768 0.793 0.8
Ensemble + Original 0.885 0.764 0.799 0.802
Ensemble + Corrected 0.898 0.831 0.802 0.804
Deep Learning 0.9 0.772 0.806 0.811

Required Resource

Total training time for each method (in minutes)

Model Word2Vec Task A Task B Total
Single - 8.98 10.07 19.05
Ensemble + Original - 36.53 36.07 73.23
Ensemble + Corrected - 44.45 45.78 90.23
Deep Learning 79.15 132.42 132.06 343.63

This Repository

This repository contains the deep learning solution that placed 2nd in the UKARA 1.0 Challenge. The other part of the experiment is available here. The solution is essentially a Bi-LSTM with 100D Indonesian Word2vec embedding pretrained on a total of 200M word (Wikipedia dump, Opensubs, and preprocessed UKARA dataset).

The notebooks was originally run on a Kaggle kernel. To run locally, you need to change some directory variable.

Result:

Type of Data F1 Score Precision Recall
Data A cross validation 0.89277 0.85238 0.93717
Data B cross validation 0.77083 0.68519 0.88095
Final leaderboard result 0.81 0.75 0.89

Links:

Acknowledgement

The authors would like to thank the Natural Language Processing Group of Universitas Gadjah Mada and PUSPENDIK, Ministry of Education and Culture of Indonesia for providing the dataset and organizing challenge. The authors also very much appreciate the reviewers for constructive feedback.

Citing This Work

@inproceedings{septiandri-etal-2020-knowing,
    title = "Knowing Right from Wrong: Should We Use More Complex Models for Automatic Short-Answer Scoring in {B}ahasa {I}ndonesia?",
    author = "Septiandri, Ali Akbar  and
      Winatmoko, Yosef Ardhito  and
      Putra, Ilham Firdausi",
    booktitle = "Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing",
    month = nov,
    year = "2020",
    address = "Online",
    publisher = "Association for Computational Linguistics",
    url = "https://www.aclweb.org/anthology/2020.sustainlp-1.1",
    pages = "1--7",
}

About

Automatic Indonesian essay/short-answer scoring

Resources

Karnik Arslanyan - Vikipedi İçeriğe atla

Karnik Arslanyan

Vikipedi, özgür ansiklopedi

Karnik Arslanyan, (d. 1895, Kadıköy - ö. 1945, ABD) Fenerbahçe’de Kaleci mevkiinde forma giymiş Osmanlı Ermenisi eski futbolcudur. Fenerbahçe'de 1912-1918 yılları arasında 6 sezon forma giymiştir.[1]

Karnik Arslanyan
8 Haziran 1914’te Çarlık Rusyası’nda düzenlenen turnuvaya katılan Fenerbahçe kalecisi Karnik Arslanyan’a ait maç öncesi fotoğraf
Kişisel bilgileri
Doğum tarihi 1895
Doğum yeri İstanbul, Osmanlı İmparatorluğu
Ölüm tarihi 1945 (50 yaşında)
Ölüm yeri Amerika Birleşik Devletleri
Mevkii Kaleci
Altyapı kariyeri
1910-1912 Fenerbahçe
Profesyonel kariyeri*
Yıllar Takım Maç (Gol)
1912-1918 Fenerbahçe
* Yalnızca lig maçları ve gollerini içerir.

Saint-Joseph Fransız Lisesi'nde eğitim gördüğü yıllarda, dönemin yöneticisi Elkatipzade Mustafa Bey tarafından keşfedilmiş ve Fenerbahçe'nin genç takımına alınmış, burada 2 yıl yetiştikten sonra da 17 yaşındayken birinci takıma yükselmiştir. Karnik Arslanyan, Fenerbahçe'nin ilk lig şampiyonluğunu kazandığı 1911-12 sezonu kadrosunda görev almasının yanı sıra; takımın 2 sezon üst üste lig şampiyonluğunu kazandığı sezonlarda da (1913-14, 1914-15) kaleciliğini yapmıştır.[2]

1 Haziran 1913 tarihli görselde Karnik Arslanyan, Fenerbahçe üçüncü takım oyuncularının bulunduğu kadroda (ayakta, üçüncü sıra soldan dördüncü)

Arslanyan'ın futbol camiası içerisinde ününü duyurması; Türk futbolunda ilk kez yaptığı plonjon hareketi sayesinde gerçekleşmiştir. O zamana kadar kaleciler topa atlamayı bilmez, kaleyi savunmak için kale içinde koşarlardı. Karnik Aslanyan ise topa uçarak müdahale eden ilk kaleciydi. Oyun tarzı, dönemin birçok sporcusu ve yöneticisi tarafından da takdir edilen Arslanyan, Türk futbolunda "ilk plonjon yapan” kaleci unvanına da böylelikle sahip olmuştur.

“Fenerbahçe pek mükemmel idman etmiş, evvelki kalecisi yerine mahir bir muhafız ikâme etmişti. Bu kalecinin bütün oyun esnasında büyük yararlılığı görüldü ve çok alkışlandı”

Abidin Daver, Tasvîr-i Efkâr 1912 yayını

8 Haziran 1914'de, Fenerbahçe'nin Rusya'da yaptığı turnuvada Karnik Arslanyan, oynadığı oyunla Rus takımlarının büyük ilgisiyle karşılaşmış, ancak dönemin Fenerbahçe Başkanı Dr. Hamid Hüsnü Kayacan, yapılan tüm transfer tekliflerini reddetmiştir.[3] 29 Kasım 1918 akşamı Kadıköy, Moda'daki evinde bir yangın çıkmış, takım arkadaşları dahil söndürme çabası içinde bulunmuş ancak ev kül olmuştur. Bunun ardından Kadıköy'den taşınan Arslanyan, Osmanlı Ermenileri'nin yoğun olarak ikamet ettiği Kumkapı semtine yerleşti ve dolayısıyla da Fenerbahçe'den ayrılmış oldu. Arslanyan'ın evindeki yangın; Fenerbahçe'nin İngiliz işgal kuvvetleri ile oynayacağı maçın hemen öncesinde gerçekleşmişti. Futbolcuların bir kısmının, takım arkadaşları Arslanyan'ın yardımına koşması 30 Kasım 1918 tarihli İkdam Gazetesi Gazetesi tarafından şu ifadelerle okuyucuya aktarılmıştı:

“İngiliz ikinci alayı üyeleriyle Fenerbahçe Kulübü arasında dün saat ikide Kadıköy İttihat Kulübü’nde bir müsabaka yap r. (...) Oyun esnasında Fener’in bazı azası Kadıköyü’ndeki yangın sebebiyle oyunda hazır bulunmamışlar ve bu sebepten gelecek Pazartesine bir maç daha yapılmasına karar verilmiştir."[4]

Arslanyan, Kumkapı semtinde ise tamamen Osmanlı Ermenileri'nden oluşan "Dork" isminde bir futbol takımı kurmuş ve bu takımın başkanlığını yapmıştır. Futbolu bıraktıktan sonra bir süre hakemlik icra etmiş ve kimi kaynaklara[5] göre ise; 1918 yılında Osmanlı topraklarından, takım arkadaşlarının yardımıyla önce Romanya'ya daha sonra da Amerika Birleşik Devletleri'ne göç etmiş ve 1945 yılında 60 yaşındayken ölmüştür. Karnik Arslanyan, 1912-1918 yılları arasında Fenerbahçe forması giymiştir.[6]

Fenerbahçe
  1. ^ "Arşivlenmiş kopya". 22 Aralık 2013 tarihinde kaynağından arşivlendi. Erişim tarihi: 4 Kasım 2013. 
  2. ^ “Kale Gibi Kaleci: Karnik Arslanyan" - Gençlik ve Spor Bakanlığı Yayınları, sy: 96 - http://yayinlar.gsb.gov.tr/public/Online/0037_RumveMuseviSporcularTR/files/assets/basic-html/page100.html 27 Kasım 2019 tarihinde Wayback Machine sitesinde arşivlendi.
  3. ^ Fenerbahçe’nin Ermeni kalecisi Aslanyan “ilk plonjon yapan”dı-HaberTürk Gazetesi, 26.01.2019 tarihli yayını - https://www.haberturk.com/fenerbahcenin-ermeni-kalecisi-aslanyan-ilk-plonjon-yapandi-2302960 27 Kasım 2019 tarihinde Wayback Machine sitesinde arşivlendi.
  4. ^ ""Fener'in bazı azası Kadıköyü'ndeki yangın sebebiyle oyunda hazır bulunmamışlar"". www.fenerbahcetarihi.org. 16 Aralık 2021 tarihinde kaynağından arşivlendi. Erişim tarihi: 1 Temmuz 2022. 
  5. ^ "Masum Değiliz Hiçbirimiz" Radikal Gazetesi, Banu Yelkovan: 18.04.2012 - http://www.agos.com.tr/tr/yazi/1167/masum-degiliz-hicbirimiz 27 Kasım 2019 tarihinde Wayback Machine sitesinde arşivlendi.
  6. ^ http://www.turksports.net/detay_basket.asp?tablo=166&kat=3849[ölü/kırık bağlantı]

    Stars

    Watchers

    Forks

    Releases

    No releases published

    Packages

    No packages published