eprintid: 23212 rev_number: 3 eprint_status: archive userid: 65274 dir: disk0/00/02/32/12 lastmod: 2026-03-02 10:03:05 status_changed: 2026-03-02 10:03:05 type: thesis succeeds: 23166 metadata_visibility: show creators_name: Alief Cahyo Utomo, Alief Cahyo Utomo creators_id: 2113030101 contributors_type: http://www.loc.gov/loc.terms/relators/THS contributors_type: http://www.loc.gov/loc.terms/relators/THS contributors_name: Sucipto, Sucipto contributors_name: Muhammad Najibulloh Muzaki, Muhammad Najibulloh Muzaki contributors_id: NIDN0721029101 contributors_id: NIDN0706098902 title: ANALISIS WAKTU OPTIMASI VALIDASI SILANG PENCARIAN ACAK BERTAHAP PADA MODEL PEMBELAJARAN MESIN ispublished: unpub subjects: 459 subjects: 461 divisions: sch_med full_text_status: restricted keywords: Halving Random Search Cross-Validation, Hyperparameter Optimization, Machine Learning abstract: Penelitian ini bertujuan untuk menganalisis efektivitas metode Halving Random Search Cross Validation sebagai alternatif optimasi hyperparameter pada model machine learning dibandingkan dengan Grid Search Cross Validation dan Random Search Cross Validation. Dataset yang digunakan adalah Internet Service Churn dengan empat algoritma: KNN, Decision Tree, SVM, dan Gaussian Naive Bayes. Proses pengujian melibatkan 10-fold cross validation dan pengulangan tiga kali untuk memastikan validitas hasil. Hasil eksperimen menunjukkan bahwa Halving Random Search Cross Validation mampu mencapai performa akurasi, presisi, dan recall yang kompetitif (selisih < 0,5%) dibandingkan Grid Search pada sebagian besar model, dengan penghematan waktu komputasi hingga 62–74% pada KNN, Decision Tree, dan SVM. Namun, pada Gaussian Naive Bayes dengan ruang hyperparameter kecil, metode ini lebih lambat karena overhead successive halving. Random Search menunjukkan kecepatan tinggi tetapi kurang stabil pada SVM dan Gaussian Naive Bayes. Kesimpulan penelitian menyatakan bahwa Halving Random Search Cross Validation adalah metode paling seimbang untuk kasus bisnis seperti prediksi churn, dengan rekomendasi penerapan pada model kompleks dan pengembangan lanjutan menggunakan Hyperband atau Bayesian Optimization. date: 2025-12-29 date_type: completed pages: 60 institution: Universitas Nusantara PGRI Kediri department: KODEPRODI57201#Sistem Informasi thesis_type: other thesis_name: dphil related_url_type: pub referencetext: Nurjanah, I., Karaman, J., Widaningrum, I., Mustikasari, D., & Sucipto. (2023). Penggunaan algoritma Naive Bayes untuk menentukan pemberian kredit pada koperasi desa. Journal of Computer Science and Information Technology, 3(2). https://doi.org/10.47065/explorer.v3i2.766 Sucipto, Prasetya, D. D., & Widiyaningtyas, T. (2025). A supervised hybrid weighting scheme for Bloom’s taxonomy questions using category space density-based weighting. Engineering, Technology and Applied Science Research, 15(2), 22102–22108. https://doi.org/10.48084/etasr.10226 Nila, U., Firliana, R., & Sucipto. (2023). Analisis data transaksi penjualan produk pertanian menggunakan algoritma FP-Growth. Prosiding Seminar Nasional Inovasi Teknologi (SEMNAS INOTEK), 7. https://doi.org/10.29407/inotek.v7i1.3426 Gusti Tammam, A., Indriati, R., & Sucipto. (2018). Hoax detection at social media with text mining clarification system-based. Jurnal Ilmiah Pengembangan Informatika, 3(2). https://doi.org/10.29100/jipi.v3i2.837 Anggraini, I. Y., Sucipto, S., & Indriati, R. (2018). Cyberbullying detection modelling at Twitter social networking. JUITA: Jurnal Informatika, 6(2), 113–118. https://doi.org/10.30595/juita.v6i2.3350 Aprilliandhika, W., & Abdulloh, F. F. (2024). Comparison of K-nearest neighbor and support vector machine algorithm optimization with grid search CV on stroke prediction. Jurnal Teknologi Informasi dan Ilmu Komputer, 5(4), 991–1000. https://doi.org/10.52436/1.jutif.2024.5.4.1951 Dirjen, S. K., Irmanda, H. N., & Astriratma, R. (2017). Klasifikasi jenis pantun dengan metode support vector machines (SVM). Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi), 1(3), 915–922. https://doi.org/10.29207/resti.v4i5.2313 Irawan, I., Qisthiano, R., Syahril, M., & Jakak, P. M. (2023). Optimasi prediksi kelulusan tepat waktu: Studi perbandingan algoritma random forest dan K-NN 54 55 berbasis PSO. Jurnal Pengembangan Sistem Informasi dan Informatika, 4(4). https://doi.org/10.47747/jpsii.v4i4.1374 Jamiluddin, F., Faisal, S., Lestari, S. A. P., & Fauzi, A. (2024). Implementasi hyperparameter tuning grid search CV pada prediksi produksi padi menggunakan algoritma linear regresi. Journal of Information System Research, 6(1), 490–498. https://doi.org/10.47065/josh.v6i1.5930 Misnawati. (2023). ChatGPT: Keuntungan, risiko, dan penggunaan bijak dalam era kecerdasan buatan. Prosiding Mateandrau, 2(1). https://doi.org/10.55606/mateandrau.v2i1.221 Muhamad, I., & Matin, M. (2023). Hyperparameter tuning menggunakan GridSearchCV pada random forest untuk deteksi malware. Multinetics, 9(1). https://doi.org/10.32722/multinetics.v9i1.5578 Munawaroh, S., Rosyidah, U. A., & Yanuarti, R. (2024). Klasifikasi tingkat kecemasan atlet sebelum bertanding menggunakan algoritma K-nearest neighbor (KNN) berbasis website. BIOS: Jurnal Teknologi Informasi dan Rekayasa Komputer, 5(2), 87–94. https://doi.org/10.37148/bios.v5i2.120 Nugraha, W., & Sasongko, A. (2022). Hyperparameter tuning pada algoritma klasifikasi dengan grid search. SISTEMASI: Jurnal Sistem Informasi, 11(2). https://doi.org/10.32520/stmsi.v11i2.1750 Nugroho, A., Soeleman, M. A., Pramunendar, R. A., & Nurhindarto, A. (2023). Peningkatan performa ensemble learning pada segmentasi semantik gambar dengan teknik oversampling untuk class imbalance. Jurnal Teknologi Informasi dan Ilmu Komputer. https://doi.org/10.25126/jtiik.2023106831 Putri, T. A. E., Widiharih, T., & Santoso, R. (2023). Penerapan tuning hyperparameter RandomSearchCV pada adaptive boosting untuk prediksi kelangsungan hidup pasien gagal jantung. Jurnal Gaussian, 11(3), 397–406. https://doi.org/10.14710/j.gauss.11.3.397-406 Rahmat, A., Syafiih, M., & Faid, M. (2023). Implementasi klasifikasi potensi 56 penyakit jantung menggunakan metode C4.5 berbasis website (studi kasus Kaggle). INFOTECH Journal, 9(2), 393–400. https://doi.org/10.31949/infotech.v9i2.6295 Sartika, D., & Sensuse, D. I. (2017). Perbandingan algoritma klasifikasi Naive Bayes, nearest neighbour, dan decision tree pada studi kasus pengambilan keputusan pemilihan pola pakaian. JATISI, 3(2). https://doi.org/10.35957/jatisi.v3i2.78 Soper, D. S. (2023). Hyperparameter optimization using successive halving with greedy cross validation. Algorithms, 16(1). https://doi.org/10.3390/a16010017 Wijiyanto, W., Pradana, A. I., Sopingi, S., & Atina, V. (2024). Teknik K-fold cross validation untuk mengevaluasi kinerja mahasiswa. Jurnal Algoritma, 21(1). https://doi.org/10.33364/algoritma/v21-1.1618 Schmucker, R., Donini, M., Zafar, M. B., Salinas, D., & Archambeau, C. (2021). Multi-objective asynchronous successive halving. arXiv. https://doi.org/10.48550/arXiv.2106.12639 Koyamada, S., Nishimori, S., & Ishii, S. (2024). A batch sequential halving algorithm without performance degradation. arXiv. https://doi.org/10.48550/arXiv.2406.00424 Bergstra, J., Bardenet, R., Bengio, Y., & Kégl, B. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13, 281–305. Li, L., Jamieson, K., DeSalvo, G., Rostamizadeh, A., & Talwalkar, A. (2018). Hyperband: A novel bandit-based approach to hyperparameter optimization. Journal of Machine Learning Research, 18(185), 1–52. Géron, A. (2019). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow (2nd ed.). O’Reilly Media. 57 Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). Morgan Kaufmann. Ariwibowo, T. (2019). Perbandingan metode imputasi mean, median, modus, dan 1-NN pada hasil klasifikasi K-nearest neighbour (Skripsi). Universitas Pembangunan Nasional Veteran JakNurjanah, I., Karaman, J., Widaningrum, I., Mustikasari, D., & Sucipto. (2023). Penggunaan algoritma Naive Bayes untuk menentukan pemberian kredit pada koperasi desa. Journal of Computer Science and Information Technology , 3 (2). https://doi.org/10.47065/explorer.v3i2.766 Sucipto, Prasetya, D. D., & Widiyaningtyas, T. (2025). A supervised hybrid weighting scheme for Bloom’s taxonomy questions using category space density-based weighting. Engineering, Technology and Applied Science Research , 15 (2), 22102–22108. https://doi.org/10.48084/etasr.10226 Nila, U., Firliana, R., & Sucipto. (2023). Analisis data transaksi penjualan produk pertanian menggunakan algoritma FP-Growth. Prosiding Seminar Nasional Inovasi Teknologi (SEMNAS INOTEK) , 7 . https://doi.org/10.29407/inotek.v7i1.3426 Gusti Tammam, A., Indriati, R., & Sucipto. (2018). Hoax detection at social media with text mining clarification system-based. Jurnal Ilmiah Pengembangan Informatika , 3 (2). https://doi.org/10.29100/jipi.v3i2.837 Anggraini, I. Y., Sucipto, S., & Indriati, R. (2018). Cyberbullying detection modelling at Twitter social networking. JUITA: Jurnal Informatika , 6 (2), 113–118. https://doi.org/10.30595/juita.v6i2.3350 Aprilliandhika, W., & Abdulloh, F. F. (2024). Comparison of K-nearest neighbor and support vector machine algorithm optimization with grid search CV on stroke prediction. Jurnal Teknologi Informasi dan Ilmu Komputer , 5 (4), 991–1000. https://doi.org/10.52436/1.jutif.2024.5.4.1951 Dirjen, S. K., Irmanda, H. N., & Astriratma, R. (2017). Klasifikasi jenis pantun dengan metode support vector machines (SVM). Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) , 1 (3), 915–922. https://doi.org/10.29207/resti.v4i5.2313 Irawan, I., Qisthiano, R., Syahril, M., & Jakak, P. M. (2023). Optimasi prediksi kelulusan tepat waktu: Studi perbandingan algoritma random forest dan K-NN 54 55 berbasis PSO. Jurnal Pengembangan Sistem Informasi dan Informatika , 4 (4). https://doi.org/10.47747/jpsii.v4i4.1374 Jamiluddin, F., Faisal, S., Lestari, S. A. P., & Fauzi, A. (2024). Implementasi hyperparameter tuning grid search CV pada prediksi produksi padi menggunakan algoritma linear regresi. Journal of Information System Research , 6 (1), 490–498. https://doi.org/10.47065/josh.v6i1.5930 Misnawati. (2023). ChatGPT: Keuntungan, risiko, dan penggunaan bijak dalam era kecerdasan buatan. Prosiding Mateandrau , 2 (1). https://doi.org/10.55606/mateandrau.v2i1.221 Muhamad, I., & Matin, M. (2023). Hyperparameter tuning menggunakan GridSearchCV pada random forest untuk deteksi malware. Multinetics , 9 (1). https://doi.org/10.32722/multinetics.v9i1.5578 Munawaroh, S., Rosyidah, U. A., & Yanuarti, R. (2024). Klasifikasi tingkat kecemasan atlet sebelum bertanding menggunakan algoritma K-nearest neighbor (KNN) berbasis website. BIOS: Jurnal Teknologi Informasi dan Rekayasa Komputer , 5 (2), 87–94. https://doi.org/10.37148/bios.v5i2.120 Nugraha, W., & Sasongko, A. (2022). Hyperparameter tuning pada algoritma klasifikasi dengan grid search. SISTEMASI: Jurnal Sistem Informasi , 11 (2). https://doi.org/10.32520/stmsi.v11i2.1750 Nugroho, A., Soeleman, M. A., Pramunendar, R. A., & Nurhindarto, A. (2023). Peningkatan performa ensemble learning pada segmentasi semantik gambar dengan teknik oversampling untuk class imbalance. Jurnal Teknologi Informasi dan Ilmu Komputer . https://doi.org/10.25126/jtiik.2023106831 Putri, T. A. E., Widiharih, T., & Santoso, R. (2023). Penerapan tuning hyperparameter RandomSearchCV pada adaptive boosting untuk prediksi kelangsungan hidup pasien gagal jantung. Jurnal Gaussian , 11 (3), 397–406. https://doi.org/10.14710/j.gauss.11.3.397-406 Rahmat, A., Syafiih, M., & Faid, M. (2023). Implementasi klasifikasi potensi 56 penyakit jantung menggunakan metode C4.5 berbasis website (studi kasus Kaggle). INFOTECH Journal , 9 (2), 393–400. https://doi.org/10.31949/infotech.v9i2.6295 Sartika, D., & Sensuse, D. I. (2017). Perbandingan algoritma klasifikasi Naive Bayes, nearest neighbour, dan decision tree pada studi kasus pengambilan keputusan pemilihan pola pakaian. JATISI , 3 (2). https://doi.org/10.35957/jatisi.v3i2.78 Soper, D. S. (2023). Hyperparameter optimization using successive halving with greedy cross validation. Algorithms , 16 (1). https://doi.org/10.3390/a16010017 Wijiyanto, W., Pradana, A. I., Sopingi, S., & Atina, V. (2024). Teknik K-fold cross validation untuk mengevaluasi kinerja mahasiswa. Jurnal Algoritma , 21 (1). https://doi.org/10.33364/algoritma/v21-1.1618 Schmucker, R., Donini, M., Zafar, M. B., Salinas, D., & Archambeau, C. (2021). Multi-objective asynchronous successive halving. arXiv . https://doi.org/10.48550/arXiv.2106.12639 Koyamada, S., Nishimori, S., & Ishii, S. (2024). A batch sequential halving algorithm without performance degradation. arXiv . https://doi.org/10.48550/arXiv.2406.00424 Bergstra, J., Bardenet, R., Bengio, Y., & Kégl, B. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research , 13 , 281–305. Li, L., Jamieson, K., DeSalvo, G., Rostamizadeh, A., & Talwalkar, A. (2018). Hyperband: A novel bandit-based approach to hyperparameter optimization. Journal of Machine Learning Research , 18 (185), 1–52. Géron, A. (2019). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow (2nd ed.). O’Reilly Media. 57 Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). Morgan Kaufmann. Ariwibowo, T. (2019). Perbandingan metode imputasi mean, median, modus, dan 1-NN pada hasil klasifikasi K-nearest neighbour (Skripsi). Universitas Pembangunan Nasional Veteran Jakarta. https://repository.upnvj.ac.id/1346/1/AWAL.pdf AbdelAziz, N. M., Bekheet, M., Salah, A., El-Saber, N., & AbdelMoneim, W. T. (2025). A comprehensive evaluation of machine learning and deep learning models for churn prediction. Information , 16(7), 537. https://doi.org/10.3390/info16070537 Baskan, M. (2023). A machine learning framework to address customer churn problem using uplift modelling and prescriptive analysis [Tesis]. National College of Ireland. https://norma.ncirl.ie/6081/1/mervebaskan.pdfarta. https://repository.upnvj.ac.id/1346/1/AWAL.pdf AbdelAziz, N. M., Bekheet, M., SaNurjanah, I., Karaman, J., Widaningrum, I., Mustikasari, D., & Sucipto. (2023). Penggunaan algoritma Naive Bayes untuk menentukan pemberian kredit pada koperasi desa. Journal of Computer Science and Information Technology , 3 (2). https://doi.org/10.47065/explorer.v3i2.766 Sucipto, Prasetya, D. D., & Widiyaningtyas, T. (2025). A supervised hybrid weighting scheme for Bloom’s taxonomy questions using category space density-based weighting. Engineering, Technology and Applied Science Research , 15 (2), 22102–22108. https://doi.org/10.48084/etasr.10226 Nila, U., Firliana, R., & Sucipto. (2023). Analisis data transaksi penjualan produk pertanian menggunakan algoritma FP-Growth. Prosiding Seminar Nasional Inovasi Teknologi (SEMNAS INOTEK) , 7 . https://doi.org/10.29407/inotek.v7i1.3426 Gusti Tammam, A., Indriati, R., & Sucipto. (2018). Hoax detection at social media with text mining clarification system-based. Jurnal Ilmiah Pengembangan Informatika , 3 (2). https://doi.org/10.29100/jipi.v3i2.837 Anggraini, I. Y., Sucipto, S., & Indriati, R. (2018). Cyberbullying detection modelling at Twitter social networking. JUITA: Jurnal Informatika , 6 (2), 113–118. https://doi.org/10.30595/juita.v6i2.3350 Aprilliandhika, W., & Abdulloh, F. F. (2024). Comparison of K-nearest neighbor and support vector machine algorithm optimization with grid search CV on stroke prediction. Jurnal Teknologi Informasi dan Ilmu Komputer , 5 (4), 991–1000. https://doi.org/10.52436/1.jutif.2024.5.4.1951 Dirjen, S. K., Irmanda, H. N., & Astriratma, R. (2017). Klasifikasi jenis pantun dengan metode support vector machines (SVM). Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi) , 1 (3), 915–922. https://doi.org/10.29207/resti.v4i5.2313 Irawan, I., Qisthiano, R., Syahril, M., & Jakak, P. M. (2023). Optimasi prediksi kelulusan tepat waktu: Studi perbandingan algoritma random forest dan K-NN 54 55 berbasis PSO. Jurnal Pengembangan Sistem Informasi dan Informatika , 4 (4). https://doi.org/10.47747/jpsii.v4i4.1374 Jamiluddin, F., Faisal, S., Lestari, S. A. P., & Fauzi, A. (2024). Implementasi hyperparameter tuning grid search CV pada prediksi produksi padi menggunakan algoritma linear regresi. Journal of Information System Research , 6 (1), 490–498. https://doi.org/10.47065/josh.v6i1.5930 Misnawati. (2023). ChatGPT: Keuntungan, risiko, dan penggunaan bijak dalam era kecerdasan buatan. Prosiding Mateandrau , 2 (1). https://doi.org/10.55606/mateandrau.v2i1.221 Muhamad, I., & Matin, M. (2023). Hyperparameter tuning menggunakan GridSearchCV pada random forest untuk deteksi malware. Multinetics , 9 (1). https://doi.org/10.32722/multinetics.v9i1.5578 Munawaroh, S., Rosyidah, U. A., & Yanuarti, R. (2024). Klasifikasi tingkat kecemasan atlet sebelum bertanding menggunakan algoritma K-nearest neighbor (KNN) berbasis website. BIOS: Jurnal Teknologi Informasi dan Rekayasa Komputer , 5 (2), 87–94. https://doi.org/10.37148/bios.v5i2.120 Nugraha, W., & Sasongko, A. (2022). Hyperparameter tuning pada algoritma klasifikasi dengan grid search. SISTEMASI: Jurnal Sistem Informasi , 11 (2). https://doi.org/10.32520/stmsi.v11i2.1750 Nugroho, A., Soeleman, M. A., Pramunendar, R. A., & Nurhindarto, A. (2023). Peningkatan performa ensemble learning pada segmentasi semantik gambar dengan teknik oversampling untuk class imbalance. Jurnal Teknologi Informasi dan Ilmu Komputer . https://doi.org/10.25126/jtiik.2023106831 Putri, T. A. E., Widiharih, T., & Santoso, R. (2023). Penerapan tuning hyperparameter RandomSearchCV pada adaptive boosting untuk prediksi kelangsungan hidup pasien gagal jantung. Jurnal Gaussian , 11 (3), 397–406. https://doi.org/10.14710/j.gauss.11.3.397-406 Rahmat, A., Syafiih, M., & Faid, M. (2023). Implementasi klasifikasi potensi 56 penyakit jantung menggunakan metode C4.5 berbasis website (studi kasus Kaggle). INFOTECH Journal , 9 (2), 393–400. https://doi.org/10.31949/infotech.v9i2.6295 Sartika, D., & Sensuse, D. I. (2017). Perbandingan algoritma klasifikasi Naive Bayes, nearest neighbour, dan decision tree pada studi kasus pengambilan keputusan pemilihan pola pakaian. JATISI , 3 (2). https://doi.org/10.35957/jatisi.v3i2.78 Soper, D. S. (2023). Hyperparameter optimization using successive halving with greedy cross validation. Algorithms , 16 (1). https://doi.org/10.3390/a16010017 Wijiyanto, W., Pradana, A. I., Sopingi, S., & Atina, V. (2024). Teknik K-fold cross validation untuk mengevaluasi kinerja mahasiswa. Jurnal Algoritma , 21 (1). https://doi.org/10.33364/algoritma/v21-1.1618 Schmucker, R., Donini, M., Zafar, M. B., Salinas, D., & Archambeau, C. (2021). Multi-objective asynchronous successive halving. arXiv . https://doi.org/10.48550/arXiv.2106.12639 Koyamada, S., Nishimori, S., & Ishii, S. (2024). A batch sequential halving algorithm without performance degradation. arXiv . https://doi.org/10.48550/arXiv.2406.00424 Bergstra, J., Bardenet, R., Bengio, Y., & Kégl, B. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research , 13 , 281–305. Li, L., Jamieson, K., DeSalvo, G., Rostamizadeh, A., & Talwalkar, A. (2018). Hyperband: A novel bandit-based approach to hyperparameter optimization. Journal of Machine Learning Research , 18 (185), 1–52. Géron, A. (2019). Hands-on machine learning with Scikit-Learn, Keras, and TensorFlow (2nd ed.). O’Reilly Media. 57 Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). Morgan Kaufmann. Ariwibowo, T. (2019). Perbandingan metode imputasi mean, median, modus, dan 1-NN pada hasil klasifikasi K-nearest neighbour (Skripsi). Universitas Pembangunan Nasional Veteran Jakarta. https://repository.upnvj.ac.id/1346/1/AWAL.pdf AbdelAziz, N. M., Bekheet, M., Salah, A., El-Saber, N., & AbdelMoneim, W. T. (2025). A comprehensive evaluation of machine learning and deep learning models for churn prediction. Information , 16(7), 537. https://doi.org/10.3390/info16070537 Baskan, M. (2023). A machine learning framework to address customer churn problem using uplift modelling and prescriptive analysis [Tesis]. National College of Ireland. https://norma.ncirl.ie/6081/1/mervebaskan.pdflah, A., El-Saber, N., & AbdelMoneim, W. T. (2025). A comprehensive evaluation of machine learning and deep learning models for churn prediction. Information, 16(7), 537. https://doi.org/10.3390/info16070537 Baskan, M. (2023). A machine learning framework to address customer churn problem using uplift modelling and prescriptive analysis [Tesis]. National College of Ireland. https://norma.ncirl.ie/6081/1/mervebaskan.pdf citation: Alief Cahyo Utomo, Alief Cahyo Utomo (2025) ANALISIS WAKTU OPTIMASI VALIDASI SILANG PENCARIAN ACAK BERTAHAP PADA MODEL PEMBELAJARAN MESIN. Undergraduate thesis, Universitas Nusantara PGRI Kediri. document_url: http://repository.unpkediri.ac.id/23212/1/RAMA_57201_2113030101.pdf document_url: http://repository.unpkediri.ac.id/23212/2/RAMA_57201_2113030101_SIMILARITY.pdf document_url: http://repository.unpkediri.ac.id/23212/3/RAMA_57201_2113030101_0721029101_0706098902_01_front_ref.pdf document_url: http://repository.unpkediri.ac.id/23212/4/RAMA_57201_2113030101_0721029101_0706098902_02.pdf document_url: http://repository.unpkediri.ac.id/23212/5/RAMA_57201_2113030101_0721029101_0706098902_03.pdf document_url: http://repository.unpkediri.ac.id/23212/6/RAMA_57201_2113030101_0721029101_0706098902_04.pdf document_url: http://repository.unpkediri.ac.id/23212/7/RAMA_57201_2113030101_0721029101_0706098902_05.pdf document_url: http://repository.unpkediri.ac.id/23212/8/RAMA_57201_2113030101_0721029101_0706098902_ref.pdf document_url: http://repository.unpkediri.ac.id/23212/9/RAMA_57201_2113030101_0721029101_0706098902_lamp.pdf