Hyper Parameter Tuning dalam Proses Pemodelan Data

Halo sahabat DQ, tahu ga si ternyata dalam Machine  Learning, kita perlu membedakan antara parameter dan hyperparameter. Algoritma pembelajaran mempelajari atau memperkirakan parameter model untuk kumpulan data yang diberikan, kemudian terus memperbarui nilai-nilai ini saat prosesnya terus belajar. 

Setelah pembelajaran selesai, parameter tersebut menjadi bagian dari model. Misalnya, setiap bobot dan bias dalam jaringan saraf adalah parameter. Hyperparameters, di sisi lain, khusus untuk algoritma itu sendiri, jadi kami tidak dapat menghitung nilainya dari data. Kami menggunakan hyperparameters untuk menghitung parameter model. Nilai hyperparameter yang berbeda menghasilkan nilai parameter model yang berbeda untuk kumpulan data yang diberikan.

Proses setting hyperparameter terdiri dari menemukan satu set nilai hyperparameter optimal untuk algoritma sambil menerapkan algoritma yang dioptimalkan ini ke kumpulan data apa pun. Kombinasi hyperparameter tersebut memaksimalkan kinerja model, meminimalkan fungsi kerugian yang telah ditentukan sebelumnya untuk menghasilkan hasil yang lebih baik dengan lebih sedikit kesalahan. Pada saat proses implementasi  perlu diperhatikan bahwa algoritma akan mengoptimalkan kerugian berdasarkan data input dan mencoba menemukan solusi optimal dalam pengaturan yang diberikan. Namun, hyperparameters menggambarkan proses pengaturannya dengan tepat.

Tapi tau gak sih sahabat DQ, bahwa banyak sekali jenis jenis jenis hyperparameter. Yuk bahas jenis dan contohnya!

1. Hidden Layer

Ini adalah trade-off untuk  menjaga proses implementasi jaringan saraf atau neural network yang telah dibuat menjadi design model yang sederhana (cepat dan umum) dan mengklasifikasikan data input dengan benar. Sebagai implementator Sahabat DQ dapat memulai dengan nilai empat hingga enam dan memeriksa keakuratan prediksi data kita saat kita menambah atau mengurangi hyperparameter ini.

Baca juga : Yuk Kenali Macam-Macam Algoritma Machine Learning!

2. Gamma

Kebalikan dari radius pengaruh sampel data yang dpilih sebagai vektor pendukung. Nilai yang tinggi menunjukkan radius pengaruh yang kecil dan batasan keputusan yang kecil yang tidak mempertimbangkan sampel data yang relatif dekat. Nilai yang tinggi ini menyebabkan overfitting. Nilai yang rendah menunjukkan pengaruh yang signifikan dari sampel data yang jauh, sehingga model tidak dapat menangkap batas keputusan yang benar dari kumpulan data.

3. Grid Search

Grid Search adalah semacam metode penyetelan hyperparameter bertipe "brute force". Proses pembuatan Grid dari kemungkinan nilai hyperparameter diskrit kemudian menyesuaikan model dengan setiap kemungkinan kombinasi. Kami merekam kinerja model untuk setiap set kemudian memilih kombinasi yang menghasilkan kinerja terbaik.Grid search juga merupakan algoritma lengkap yang dapat menemukan kombinasi terbaik dari hyperparameter. 

Namun, kekurangannya adalah lambat. Menyesuaikan model dengan setiap kemungkinan kombinasi biasanya membutuhkan kapasitas perhitungan yang tinggi dan waktu yang signifikan, yang mungkin tidak tersedia.

4. Random Search

Metode Random Search, metode ini memilih nilai secara acak daripada menggunakan kumpulan nilai yang telah ditentukan sebelumnya seperti metode grid search. Random search mencoba kombinasi acak dari hyperparameter di setiap iterasi dan mencatat kinerja model. Setelah beberapa iterasi, proses ini akan mengembalikan campuran yang memberikan hasil terbaik. Random search akan menyesuaikan ketika proses pemilihan memiliki beberapa hyperparameter dengan domain pencarian yang relatif besar. 

Manfaatnya adalah random search biasanya membutuhkan waktu lebih sedikit daripada grid search untuk mengembalikan hasil yang sebanding. Ini juga memastikan kami tidak berakhir dengan model yang bias terhadap kumpulan nilai yang dipilih secara sewenang-wenang oleh pengguna. Kelemahannya adalah hasilnya mungkin bukan kombinasi hyperparameter terbaik.

Baca juga : Kenali Algoritma Klasifikasi Machine Learning Terpopuler di Tahun 2021

Belajar memulai karir sebagai praktisi data science dengan menggunakan Python, R dan SQL sederhana dengan sign up dan login melalui DQLab Academy! Yuk nikmati kemudahan belajar tanpa ribet melalui live code editor DQLab. Belajar sambil buat portfolio dengan modul DQLab! 

Signup sekarang atau isi form dibawah ini ya Sahabat DQ!