Kenali Hyper Parameter Tuning pada Machine Learning

Sahabat data, dalam Machine Learning, kita perlu membedakan antara parameter dan hyperparameter. Algoritma pembelajaran mempelajari atau memperkirakan parameter model untuk kumpulan data yang diberikan, kemudian terus memperbarui nilai-nilai ini saat prosesnya terus belajar. 

Setelah pembelajaran selesai, parameter tersebut menjadi bagian dari model. Misalnya, setiap bobot dan bias dalam jaringan saraf adalah parameter. Hyperparameters, di sisi lain, khusus untuk algoritma itu sendiri, jadi kami tidak dapat menghitung nilainya dari data. Kami menggunakan hyperparameters untuk menghitung parameter model. Nilai hyperparameter yang berbeda menghasilkan nilai parameter model yang berbeda untuk kumpulan data yang diberikan.

Proses setting hyperparameter terdiri dari menemukan satu set nilai hyperparameter optimal untuk algoritma sambil menerapkan algoritma yang dioptimalkan ini ke kumpulan data apa pun. Kombinasi hyperparameter tersebut memaksimalkan kinerja model, meminimalkan fungsi kerugian yang telah ditentukan sebelumnya untuk menghasilkan hasil yang lebih baik dengan lebih sedikit kesalahan. Pada saat proses implementasi  perlu diperhatikan bahwa algoritma akan mengoptimalkan kerugian berdasarkan data input dan mencoba menemukan solusi optimal dalam pengaturan yang diberikan. Namun, hyperparameters menggambarkan proses pengaturannya dengan tepat.

Tapi tau gak sih sahabat data, ada banyak sekali jenis hyperparameter. Yuk, bahas jenis dan contohnya!

1. Gamma

Kebalikan dari radius pengaruh sampel data yang dpilih sebagai vektor pendukung. Nilai yang tinggi menunjukkan radius pengaruh yang kecil dan batasan keputusan yang kecil yang tidak mempertimbangkan sampel data yang relatif dekat. Nilai yang tinggi ini menyebabkan overfitting. Nilai yang rendah menunjukkan pengaruh yang signifikan dari sampel data yang jauh, sehingga model tidak dapat menangkap batas keputusan yang benar dari kumpulan data.

2. Hidden Layer

Ini adalah trade-off untuk  menjaga proses implementasi jaringan saraf atau neural network yang telah dibuat menjadi design model yang sederhana (cepat dan umum) dan mengklasifikasikan data input dengan benar. Sebagai implementator Sahabat DQ dapat memulai dengan nilai empat hingga enam dan memeriksa keakuratan prediksi data kita saat kita menambah atau mengurangi hyperparameter ini.

Baca juga : Yuk Kenali Macam-Macam Algoritma Machine Learning!

3. Random Search

Metode Random Search, metode ini memilih nilai secara acak daripada menggunakan kumpulan nilai yang telah ditentukan sebelumnya seperti metode grid search. Random search mencoba kombinasi acak dari hyperparameter di setiap iterasi dan mencatat kinerja model. Setelah beberapa iterasi, proses ini akan mengembalikan campuran yang memberikan hasil terbaik. Random search akan menyesuaikan ketika proses pemilihan memiliki beberapa hyperparameter dengan domain pencarian yang relatif besar. 

Manfaatnya adalah random search biasanya membutuhkan waktu lebih sedikit daripada grid search untuk mengembalikan hasil yang sebanding. Ini juga memastikan kami tidak berakhir dengan model yang bias terhadap kumpulan nilai yang dipilih secara sewenang-wenang oleh pengguna. Kelemahannya adalah hasilnya mungkin bukan kombinasi hyperparameter terbaik.

4. Grid Search

Grid Search adalah semacam metode penyetelan hyperparameter bertipe "brute force". Proses pembuatan Grid dari kemungkinan nilai hyperparameter diskrit kemudian menyesuaikan model dengan setiap kemungkinan kombinasi. Kami merekam kinerja model untuk setiap set kemudian memilih kombinasi yang menghasilkan kinerja terbaik.Grid search juga merupakan algoritma lengkap yang dapat menemukan kombinasi terbaik dari hyperparameter. 

Namun, kekurangannya adalah lambat. Menyesuaikan model dengan setiap kemungkinan kombinasi biasanya membutuhkan kapasitas perhitungan yang tinggi dan waktu yang signifikan, yang mungkin tidak tersedia.

Bcaa juga : Bootcamp Machine Learning and AI for Beginner

Belajar memulai karir sebagai praktisi data science dengan menggunakan Python, R dan SQL sederhana dengan sign up dan login melalui DQLab! 

DQLab merupakan platform belajar online yang berfokus pada pengenalan Data Science & Artificial Intelligence (AI) dengan menggunakan bahasa pemrograman populer, serta platform edukasi pertama yang mengintegrasi fitur Chat GPT.  Selain itu DQLab juga menggunakan metode HERO, yaitu Hands-On, Experiential Learning & Outcome-based, yang dirancang ramah untuk pemula. 

Untuk mendapatkan pengalaman belajar menarik, buruan sign up di DQLab. Daftar sekarang dan kejar impianmu untuk menjadi praktisi data!