Research Article
BibTex RIS Cite

Entropi Tabanlı Gri İlişkisel Analiz ile Sınıflamada Değişken Seçimi İçin Bir Yaklaşım

Year 2024, Volume: 29 Issue: 1, 1 - 12, 30.04.2024

Serkan Akogul

Abstract

Günümüzde bilgi ve ölçüm teknolojilerindeki gelişmelere bağlı olarak veri boyutlarında da hızlı bir artış olmuştur. Yüksek boyutluluk nedeniyle özellikle sınıflandırma ve kümeleme gibi birçok analiz için, analiz öncesi veri indirgeme yöntemlerinin kullanılması gerekmektedir. Veri setinin sınıflandırma ve kümeleme sonuçlarının yorumlanması ve daha az değişken ile başarılı sonuçlar elde edilmesi için değişken seçimi önemli rol oynamaktadır. Bu çalışmada, sınıflandırmada kullanılacak değişken seçimi problemi çok kriterli karar verme (ÇKKV) problemi olarak düşünülmüştür. Alternatif olarak değişkenler, kriterler ise filtreleme tabanlı değişken seçim algoritmaları alınarak karar matrisi oluşturulmuş. Bu karar matrisi, ÇKKV yöntemlerinden birisi olan Gri İlişkisel Analiz (GİA) yöntemi kullanarak analiz edilmiştir. Böylelikle değişkenlerin sıralanması ve seçimi için yeni bir yaklaşım ortaya konulmuştur. Ayrıca kriterlerin ağırlıklandırılmasında objektif bir yöntem olan Entropi den yararlanılmıştır. Önerilen yöntem sınıflandırma literatüründe sıkça kullanılan Wine (Şarap) ve Ionosphere (İyonosfer) veri setlerinde uygulanmış olup, filtreleme tabanlı değişken seçim algoritmalarının sınıflandırma başarılarıyla karşılaştırılmıştır. Sonuç olarak önerilen yaklaşım kullanılarak az değişken ile başarılı sonuçlar elde edilmiştir.

Keywords

Çok kriterli karar verme (ÇKKV) Entropi Filtreleme tabanlı değişken seçimi Gri İlişkisel Analiz (GİA).

References

  • Akbulut, O. Y. (2020). Gri entropi temelli PSI ve ARAS ÇKKV yöntemleriyle Türk mevduat bankalarının performans analizi. Finans Ekonomi ve Sosyal Araştırmalar Dergisi, 5(2), 171-187.
  • Akmaz, D. (2022). Stockwell Dönüşümü, ONE-R özellik seçme yöntemi ve rastgele orman algoritması ile güç kalitesi bozulumu sinyallerinin sınıflandırılması. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 34(1), 267-276.
  • Akoğul, S., Erişoğlu, M., & Erişoğlu, Ü. (2020). Çok değişkenli normal dağılımların karmasına dayalı kümelemede TOPSIS yöntemiyle ile küme sayısının belirlenmesi. Erciyes Üniversitesi Fen Bilimleri Enstitüsü Fen Bilimleri Dergisi, 36(3), 472-480.
  • Allaire, J. (2012). RStudio: Integrated development environment for R. Boston, MA, 770(394), 165-171.
  • Altıntaş, F. F. (2020). İnovasyon performanslarının Entropi tabanlı gri ilişkisel analiz yöntemi ile değerlendirilmesi: G7 Grubu Ülkeleri Örneği. Adnan Menderes Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(2), 151-172.
  • Bircan, H. (2020). Çok kriterli karar verme problemlerinde kriter ağırlıklandırma yöntemleri. Nobel Yayınevi.
  • Breiman, L. (2017). Classification and regression trees. Routledge.
  • Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32.
  • Budak, H. (2018). Özellik seçim yöntemleri ve yeni bir yaklaşım. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 22, 21-31.
  • Bulut, C., Altuğlu, T. B., & Yetkin, E. F. (2023). Filtre modelli öznitelik seçim algoritmalarının EEG tabanlı beyin bilgisayar arayüzü sistemindeki karşılaştırmalı sınıflandırma performansları. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(4), 2397-2408.
  • Dash, M., & Liu, H. (1997). Feature selection for classification. Intelligent data analysis, 1(1-4), 131-156. https://doi.org/10.1016/S1088-467X(97)00008-5
  • Ecemiş, O., Akçan, F., & Abakay, U. (2021). Analysis of the performance of football teams via the entropy-gray relational analysis method: Turkish super league model. SPORMETRE Beden Eğitimi ve Spor Bilimleri Dergisi, 19(3), 51-59. https://doi.org/10.33689/spormetre.854446
  • Emhan, Ö., & Mehmet, A. (2019). Filtreleme tabanlı öznitelik seçme yöntemlerinin anomali tabanlı ağ saldırısı tespit sistemlerine etkisi. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 10(2), 549-559. https://doi.org/10.24012/dumf.565842
  • Ersoy, N. (2018). Entropy tabanlı bütünleşik ÇKKV yaklaşımı ile kurumsal sürdürülebilirlik performans ölçümü. Ege Akademik Bakış Dergisi, 18(3), 367-385. https://doi.org/10.21121/eab.2018339487
  • Eryılmaz, E. E., Şahin, D. Ö., & Kılıç, E. (2020). Türkçe istenmeyen e-postaların farklı öznitelik seçim yöntemleri kullanılarak makine öğrenmesi algoritmaları ile tespit edilmesi. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 13(2), 57-77.
  • Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection. Journal of Machine Learning Research, 3, 1157-1182.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2020). MFS-MCDM: Multi-label feature selection using multi-criteria decision making. Knowledge-Based Systems, 206, 106365.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2021). VMFS: A VIKOR-based multi-target feature selection. Expert Systems With Applications, 182, 115224.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2022). Ensemble of feature selection algorithms: A multi-criteria decision-making approach. International Journal of Machine Learning and Cybernetics, 13(1), 49-69.
  • Haseki, M. İ., & Avşar, İ. İ. (2023). Avrupa Birliği ve seçili ülkelerinin teknoloji üretim odaklı verilerinin entropi ve gri ilişkiler analiz modelleriyle incelenmesi. Uluslararası İktisadi ve İdari İncelemeler Dergisi, 39, 154-169. https://doi.org/10.18092/ulikidince.1214069
  • Holte, R. C. (1993). Very simple classification rules perform well on most commonly used datasets. Machine Learning, 11, 63-91. https://doi.org/10.1023/A:1022631118932
  • Hornik, K., Buchta, C., Hothorn, T., Karatzoglou, A., Meyer, D., Zeıleıs, A., & Hornik, M. K. (2023). Package ‘RWeka’.
  • Karaatlı, M. (2016). Entropi-Gri ilişkisel analiz yöntemleri ile bütünleşik bir yaklaşım: Turizm sektöründe uygulama. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 21(1), 63-77.
  • Karegowda, A. G., Manjunath, A. S., & Jayaram, M. A. (2010). Comparative study of attribute selection using gain ratio and correlation based feature selection. International Journal of Information Technology and Knowledge Management, 2(2), 271-277.
  • Kaynar, O., Arslan, H., Görmez, Y., & Işık, Y. E. (2018). Makine öğrenmesi ve öznitelik seçim yöntemleriyle saldırı tespiti. Bilişim Teknolojileri Dergisi, 11(2), 175-185. https://doi.org/10.17671/gazibtd.368583
  • Ladha, L., & Deepa, T. (2011). Feature selection methods and algorithms. International Journal on Computer Science and Engineering, 3(5), 1787-1797.
  • Lichman, M. (2013). UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science. http://archive.ics.uci.edu/ml adresinden 6 Haziran 2023 tarihinde alınmıştır.
  • Liu, H., & Setiono, R. (1995). Chi2: Feature selection and discretization of numeric attributes. In Proceedings of 7th IEEE International Conference on Tools with Artificial Intelligence (p. 388-391). IEEE.
  • Lu, H. S., Chang, C. K., Hwang, N. C., & Chung, C. T. (2009). Grey relational analysis coupled with principal component analysis for optimization design of the cutting parameters in high-speed end milling. Journal of materials processing technology, 209(8), 3808-3817. https://doi.org/10.1016/j.jmatprotec.2008.08.030
  • Onan, A., & Korukoğlu, S. (2016). Metin sınıflandırmada öznitelik seçim yöntemlerinin değerlendirilmesi. Akademik Bilişim.
  • Özdemir, O., & Kılıçarslan, Ş. (2021). Entropi temelli gri ilişkisel analiz tekniği ile hayat ve emeklilik şirketlerinin finansal performansları üzerine bir araştırma. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 26(4), 413-434.
  • Quinlan, J. R. (1993). Programs for machine learning. Morgan Kaufmann Publishers.
  • Romanski, P., Kotthoff, L., & Kotthoff, M. L. (2013). Package “FSelector”. http://cran/r-project. org/web/packages/FSelector/index.html
  • Sağbaş, E. A. (2023). Filtre tabanlı öznitelik seçim yöntemleri kullanılarak metinlerde duygu sınıflandırması üzerine karşılaştırmalı bir çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(1), 239-250. https://doi.org/10.35234/fumbd.1195908
  • Shannon, C. E. (1948). A mathematical theory of communication. The Bell System Technical Journal, 27(3), 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
  • Song, H., Chen, X., Zhang, S., & Xu, L. (2022). Multi-objective optimization design of 6-ups parallel mechanism based on Taguchi method and entropy-weighted gray relational analysis. Applied Sciences, 12(12), 5836. https://doi.org/10.3390/app12125836
  • Şekkeli, F. E., & Güçlü, F. (2023). Katılım bankalarının finansal performanslarının entropi tabanlı gri ilişkisel analiz (GİA) yöntemiyle değerlendirilmesi. TESAM Akademi Dergisi, 10(2), 489-511. https://doi.org/10.30626/tesamakademi.1253985
  • Wu, X., Zhu, X., Wu, G. Q., & Ding, W. (2013). Data mining with big data. IEEE transactions on knowledge and data engineering, 26(1), 97-107.
  • Yıldırım, B. F., & Önder, E. (2015). Çok kriterli karar verme yöntemleri. Dora Basım.

An Approach for Variable Selection in Classification with Entropy-Based Grey Relational Analysis

Year 2024, Volume: 29 Issue: 1, 1 - 12, 30.04.2024

Serkan Akogul

Abstract

Nowadays, there has been a rapid increase in data size due to developments in information and measurement technologies. Due to the high dimensionality, many analyses, such as classification and clustering, require the use of data reduction methods before analysis. Variable selection plays an important role in interpreting the classification and clustering results of the data set and obtaining successful results with fewer variables. In this study, the variable selection problem to be used in classification is considered a multi-criteria decision-making (MCDM) problem. The decision matrix was created by taking variables as alternatives and filtering-based variable selection algorithms as criteria. This decision matrix was analyzed using the Grey Relational Analysis (GRA) method, which is one of the MCDM methods. Thus, a new approach for ranking and selecting variables has been proposed. In addition, entropy, which is an objective method, is used for weighting the criteria. The proposed method is applied to the Wine and Ionosphere datasets, which are frequently used in the classification literature, and compared with the classification success of filtering-based variable selection algorithms. As a result, successful results were obtained with fewer variables using the proposed approach.

Keywords

Entropy Filter-based variable selection Grey Relational Analysis (GRA) Multi-criteria decision making (MCDM)

References

  • Akbulut, O. Y. (2020). Gri entropi temelli PSI ve ARAS ÇKKV yöntemleriyle Türk mevduat bankalarının performans analizi. Finans Ekonomi ve Sosyal Araştırmalar Dergisi, 5(2), 171-187.
  • Akmaz, D. (2022). Stockwell Dönüşümü, ONE-R özellik seçme yöntemi ve rastgele orman algoritması ile güç kalitesi bozulumu sinyallerinin sınıflandırılması. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 34(1), 267-276.
  • Akoğul, S., Erişoğlu, M., & Erişoğlu, Ü. (2020). Çok değişkenli normal dağılımların karmasına dayalı kümelemede TOPSIS yöntemiyle ile küme sayısının belirlenmesi. Erciyes Üniversitesi Fen Bilimleri Enstitüsü Fen Bilimleri Dergisi, 36(3), 472-480.
  • Allaire, J. (2012). RStudio: Integrated development environment for R. Boston, MA, 770(394), 165-171.
  • Altıntaş, F. F. (2020). İnovasyon performanslarının Entropi tabanlı gri ilişkisel analiz yöntemi ile değerlendirilmesi: G7 Grubu Ülkeleri Örneği. Adnan Menderes Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(2), 151-172.
  • Bircan, H. (2020). Çok kriterli karar verme problemlerinde kriter ağırlıklandırma yöntemleri. Nobel Yayınevi.
  • Breiman, L. (2017). Classification and regression trees. Routledge.
  • Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32.
  • Budak, H. (2018). Özellik seçim yöntemleri ve yeni bir yaklaşım. Süleyman Demirel Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 22, 21-31.
  • Bulut, C., Altuğlu, T. B., & Yetkin, E. F. (2023). Filtre modelli öznitelik seçim algoritmalarının EEG tabanlı beyin bilgisayar arayüzü sistemindeki karşılaştırmalı sınıflandırma performansları. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 38(4), 2397-2408.
  • Dash, M., & Liu, H. (1997). Feature selection for classification. Intelligent data analysis, 1(1-4), 131-156. https://doi.org/10.1016/S1088-467X(97)00008-5
  • Ecemiş, O., Akçan, F., & Abakay, U. (2021). Analysis of the performance of football teams via the entropy-gray relational analysis method: Turkish super league model. SPORMETRE Beden Eğitimi ve Spor Bilimleri Dergisi, 19(3), 51-59. https://doi.org/10.33689/spormetre.854446
  • Emhan, Ö., & Mehmet, A. (2019). Filtreleme tabanlı öznitelik seçme yöntemlerinin anomali tabanlı ağ saldırısı tespit sistemlerine etkisi. Dicle Üniversitesi Mühendislik Fakültesi Mühendislik Dergisi, 10(2), 549-559. https://doi.org/10.24012/dumf.565842
  • Ersoy, N. (2018). Entropy tabanlı bütünleşik ÇKKV yaklaşımı ile kurumsal sürdürülebilirlik performans ölçümü. Ege Akademik Bakış Dergisi, 18(3), 367-385. https://doi.org/10.21121/eab.2018339487
  • Eryılmaz, E. E., Şahin, D. Ö., & Kılıç, E. (2020). Türkçe istenmeyen e-postaların farklı öznitelik seçim yöntemleri kullanılarak makine öğrenmesi algoritmaları ile tespit edilmesi. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 13(2), 57-77.
  • Guyon, I., & Elisseeff, A. (2003). An introduction to variable and feature selection. Journal of Machine Learning Research, 3, 1157-1182.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2020). MFS-MCDM: Multi-label feature selection using multi-criteria decision making. Knowledge-Based Systems, 206, 106365.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2021). VMFS: A VIKOR-based multi-target feature selection. Expert Systems With Applications, 182, 115224.
  • Hashemi, A., Dowlatshahi, M. B., & Nezamabadi-Pour, H. (2022). Ensemble of feature selection algorithms: A multi-criteria decision-making approach. International Journal of Machine Learning and Cybernetics, 13(1), 49-69.
  • Haseki, M. İ., & Avşar, İ. İ. (2023). Avrupa Birliği ve seçili ülkelerinin teknoloji üretim odaklı verilerinin entropi ve gri ilişkiler analiz modelleriyle incelenmesi. Uluslararası İktisadi ve İdari İncelemeler Dergisi, 39, 154-169. https://doi.org/10.18092/ulikidince.1214069
  • Holte, R. C. (1993). Very simple classification rules perform well on most commonly used datasets. Machine Learning, 11, 63-91. https://doi.org/10.1023/A:1022631118932
  • Hornik, K., Buchta, C., Hothorn, T., Karatzoglou, A., Meyer, D., Zeıleıs, A., & Hornik, M. K. (2023). Package ‘RWeka’.
  • Karaatlı, M. (2016). Entropi-Gri ilişkisel analiz yöntemleri ile bütünleşik bir yaklaşım: Turizm sektöründe uygulama. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 21(1), 63-77.
  • Karegowda, A. G., Manjunath, A. S., & Jayaram, M. A. (2010). Comparative study of attribute selection using gain ratio and correlation based feature selection. International Journal of Information Technology and Knowledge Management, 2(2), 271-277.
  • Kaynar, O., Arslan, H., Görmez, Y., & Işık, Y. E. (2018). Makine öğrenmesi ve öznitelik seçim yöntemleriyle saldırı tespiti. Bilişim Teknolojileri Dergisi, 11(2), 175-185. https://doi.org/10.17671/gazibtd.368583
  • Ladha, L., & Deepa, T. (2011). Feature selection methods and algorithms. International Journal on Computer Science and Engineering, 3(5), 1787-1797.
  • Lichman, M. (2013). UCI Machine Learning Repository. Irvine, CA: University of California, School of Information and Computer Science. http://archive.ics.uci.edu/ml adresinden 6 Haziran 2023 tarihinde alınmıştır.
  • Liu, H., & Setiono, R. (1995). Chi2: Feature selection and discretization of numeric attributes. In Proceedings of 7th IEEE International Conference on Tools with Artificial Intelligence (p. 388-391). IEEE.
  • Lu, H. S., Chang, C. K., Hwang, N. C., & Chung, C. T. (2009). Grey relational analysis coupled with principal component analysis for optimization design of the cutting parameters in high-speed end milling. Journal of materials processing technology, 209(8), 3808-3817. https://doi.org/10.1016/j.jmatprotec.2008.08.030
  • Onan, A., & Korukoğlu, S. (2016). Metin sınıflandırmada öznitelik seçim yöntemlerinin değerlendirilmesi. Akademik Bilişim.
  • Özdemir, O., & Kılıçarslan, Ş. (2021). Entropi temelli gri ilişkisel analiz tekniği ile hayat ve emeklilik şirketlerinin finansal performansları üzerine bir araştırma. Süleyman Demirel Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 26(4), 413-434.
  • Quinlan, J. R. (1993). Programs for machine learning. Morgan Kaufmann Publishers.
  • Romanski, P., Kotthoff, L., & Kotthoff, M. L. (2013). Package “FSelector”. http://cran/r-project. org/web/packages/FSelector/index.html
  • Sağbaş, E. A. (2023). Filtre tabanlı öznitelik seçim yöntemleri kullanılarak metinlerde duygu sınıflandırması üzerine karşılaştırmalı bir çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 35(1), 239-250. https://doi.org/10.35234/fumbd.1195908
  • Shannon, C. E. (1948). A mathematical theory of communication. The Bell System Technical Journal, 27(3), 379-423. https://doi.org/10.1002/j.1538-7305.1948.tb01338.x
  • Song, H., Chen, X., Zhang, S., & Xu, L. (2022). Multi-objective optimization design of 6-ups parallel mechanism based on Taguchi method and entropy-weighted gray relational analysis. Applied Sciences, 12(12), 5836. https://doi.org/10.3390/app12125836
  • Şekkeli, F. E., & Güçlü, F. (2023). Katılım bankalarının finansal performanslarının entropi tabanlı gri ilişkisel analiz (GİA) yöntemiyle değerlendirilmesi. TESAM Akademi Dergisi, 10(2), 489-511. https://doi.org/10.30626/tesamakademi.1253985
  • Wu, X., Zhu, X., Wu, G. Q., & Ding, W. (2013). Data mining with big data. IEEE transactions on knowledge and data engineering, 26(1), 97-107.
  • Yıldırım, B. F., & Önder, E. (2015). Çok kriterli karar verme yöntemleri. Dora Basım.
There are 39 citations in total.

Details

Primary Language Turkish
Subjects Strategy, Management and Organisational Behaviour (Other)
Journal Section Research Articles
Authors

Serkan Akogul 0000-0002-0346-4308

Publication Date April 30, 2024
Published in Issue Year 2024 Volume: 29 Issue: 1

Cite

APA Akogul, S. (2024). Entropi Tabanlı Gri İlişkisel Analiz ile Sınıflamada Değişken Seçimi İçin Bir Yaklaşım. Süleyman Demirel Üniversitesi İktisadi Ve İdari Bilimler Fakültesi Dergisi, 29(1), 1-12.
 Download Cover Image