IMPLEMENTASI COMPUTER VISION UNTUK DIFERENSIASI KATA ISYARAT SIBI DENGAN POLA VISUAL SERUPA

Fahmi, Nowaf Rijal (2026) IMPLEMENTASI COMPUTER VISION UNTUK DIFERENSIASI KATA ISYARAT SIBI DENGAN POLA VISUAL SERUPA. Undergraduate thesis, Universitas Nusantara PGRI Kediri.

	Text (Full text) RAMA_55201_2213020095.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (3MB) | Request a copy
	Text (Similarity) RAMA_55201_2213020095_SIMILARITY.pdf - Accepted Version Available under License Creative Commons Public Domain Dedication. Download (3MB)
	Text (Cover sd BAB 1 + References) RAMA_55201_2213020095_0708049001_0707079001_01_front_ref.pdf - Accepted Version Available under License Creative Commons Public Domain Dedication. Download (1MB)
	Text (BAB 2) RAMA_55201_2213020095_0708049001_0707079001_02.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (1MB) | Request a copy
	Text (BAB 3) RAMA_55201_2213020095_0708049001_0707079001_03.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (1MB) | Request a copy
	Text (BAB 4) RAMA_55201_2213020095_0708049001_0707079001_04.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (1MB) | Request a copy
	Text (BAB 5) RAMA_55201_2213020095_0708049001_0707079001_05.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (504kB) | Request a copy
	Text (References) RAMA_55201_2213020095_0708049001_0707079001_06_ref.pdf - Bibliography Available under License Creative Commons Public Domain Dedication. Download (510kB)
	Text (Lampiran) RAMA_55201_2213020095_0708049001_0707079001_07_lamp.pdf - Accepted Version Restricted to Registered users only Available under License Creative Commons Public Domain Dedication. Download (1MB) | Request a copy

Abstract

Penelitian ini bertujuan untuk mengembangkan sistem klasifikasi gesture Sistem Isyarat Bahasa Indonesia (SIBI) yang memiliki kemiripan visual tinggi, yaitu gesture bibir, bisu, dan diam, menggunakan pendekatan computer vision berbasis MediaPipe Holistic dan MobileNetV2. MediaPipe Holistic digunakan untuk mendeteksi serta mengekstraksi area penting berupa wajah dan tangan melalui proses Region of Interest (ROI), sedangkan MobileNetV2 dengan metode transfer learning dan fine-tuning digunakan untuk melakukan proses klasifikasi gesture. Dataset yang digunakan terdiri atas 1.072 citra yang dibagi menjadi data latih, data validasi, dan data uji, kemudian melalui tahapan praproses berupa cropping ROI, resize, normalisasi, dan augmentasi data untuk meningkatkan kualitas pelatihan model. Hasil penelitian menunjukkan bahwa sistem mampu mengenali dan membedakan gesture SIBI yang memiliki pola visual serupa dengan performa klasifikasi yang sangat baik berdasarkan pengujian menggunakan Confusion Matrix, Accuracy, Precision, Recall, dan F1-Score. Implementasi MediaPipe Holistic mampu meningkatkan fokus model terhadap fitur penting pada wajah dan tangan, sedangkan proses fine-tuning MobileNetV2 memberikan peningkatan kemampuan model dalam membedakan gesture yang memiliki kemiripan visual tinggi sehingga sistem dapat digunakan sebagai dasar pengembangan aplikasi penerjemah bahasa isyarat yang lebih akurat dan andal.

Actions (login required)

View Item