Tutorial Data Analyst Eigen Value pada Principal Component Analysis (PCA)

Principal Component Analysis (PCA) adalah salah satu teknik reduksi dimensi yang banyak digunakan oleh data analyst dalam analisis data, terutama dalam machine learning dan statistik. Salah satu elemen penting dalam PCA adalah Eigen Value (nilai eigen) yang digunakan untuk menentukan seberapa besar variabilitas data yang dapat dijelaskan oleh masing-masing Principal Component (PC).

Artikel ini akan membahas bagaimana cara menginterpretasikan Eigen Value dalam PCA secara praktis bagi data analyst. Simak penjelasannya yuk sahabat DQLab!

1. Apa Itu Eigenvalue dalam PCA?

Dalam analisis Principal Component Analysis (PCA), kamu akan sering mendengar istilah eigenvalue. Eigenvalue adalah nilai yang menunjukkan seberapa besar variabilitas data yang dapat dijelaskan oleh masing-masing Principal Component (PC). Semakin besar eigenvalue suatu komponen utama, semakin besar perannya dalam menjelaskan variasi dalam data.

Dalam PCA, setiap komponen utama memiliki pasangan eigenvector dan eigenvalue, di mana eigenvector menentukan arah komponen utama, sedangkan eigenvalue mengukur pentingnya komponen tersebut. Dengan kata lain, eigenvalue adalah indikator seberapa banyak informasi yang bisa dipertahankan jika kamu memilih komponen utama tersebut dalam analisis.

Ketika kamu menerapkan PCA pada suatu dataset, prosesnya dimulai dengan menghitung matriks kovarians atau matriks korelasi, yang kemudian diuraikan menjadi pasangan eigenvector dan eigenvalue. Setelah itu, eigenvalues diurutkan dari yang terbesar ke yang terkecil, yang berarti komponen utama pertama (PC1) memiliki eigenvalue tertinggi dan menjelaskan bagian terbesar dari variabilitas dalam data.

Komponen utama berikutnya (PC2, PC3, dst.) memiliki eigenvalue yang lebih kecil dan menjelaskan variabilitas yang tersisa. Oleh karena itu, memahami eigenvalue sangat penting karena dapat membantu kamu menentukan berapa banyak dimensi yang harus dipertahankan agar data tetap informatif, tetapi lebih sederhana.

Baca Juga: Bootcamp Data Analyst with SQL and Python

2. Menentukan Jumlah Komponen yang Dipilih

Salah satu tantangan dalam PCA adalah memilih jumlah Principal Components (PCs) yang optimal, dan eigenvalue menjadi faktor utama dalam pengambilan keputusan ini. Jika kamu mempertahankan terlalu banyak komponen, maka dataset tetap kompleks dan tidak memberikan banyak keuntungan dalam hal reduksi dimensi.

Sebaliknya, jika terlalu sedikit komponen yang dipilih, informasi penting dalam data bisa hilang. Ada beberapa pendekatan umum untuk menentukan jumlah komponen yang dipilih, seperti Kaiser Criterion, Scree Plot, dan Cumulative Variance Rule. Metode Kaiser Criterion menyarankan untuk hanya mempertahankan PC dengan eigenvalue lebih dari 1, karena komponen dengan nilai lebih kecil dianggap tidak cukup signifikan dalam menjelaskan variabilitas data.

Metode lain yang sering digunakan adalah Scree Plot, yang menggambarkan eigenvalue dari setiap komponen utama dalam bentuk grafik. Pada grafik ini, kamu bisa mencari titik "elbow", yaitu titik di mana eigenvalue mulai menurun secara lebih landai. Titik ini menandakan jumlah optimal komponen yang harus dipertahankan.

Sementara itu, pendekatan Cumulative Variance Rule mengharuskan kamu memilih jumlah komponen yang secara kumulatif menjelaskan 80% hingga 90% variabilitas data. Dengan cara ini, kamu dapat memastikan bahwa sebagian besar informasi dalam dataset tetap dipertahankan, tetapi dengan jumlah dimensi yang lebih sedikit dan lebih mudah diinterpretasikan.

3. Contoh Interpretasi Eigen Value

Misalkan kamu menerapkan PCA pada suatu dataset dan mendapatkan hasil eigenvalue sebagai berikut: PC1 = 4.2, PC2 = 2.8, PC3 = 1.2, PC4 = 0.8, PC5 = 0.5. Dari sini, kamu bisa melihat bahwa PC1 memiliki eigenvalue tertinggi dan menjelaskan porsi terbesar dari variabilitas dalam data. Jika kamu menghitung persentase varians yang dijelaskan oleh masing-masing PC, maka PC1 mungkin menjelaskan sekitar 42% dari total varians, PC2 sekitar 28%, dan PC3 sekitar 12%, sehingga jika digabungkan, ketiga PC ini sudah mencakup 82% informasi dalam data. Berdasarkan Cumulative Variance Rule, memilih tiga komponen pertama sudah cukup karena telah menjelaskan mayoritas variabilitas data.

Jika kamu menggunakan Kaiser Criterion, hanya PC1, PC2, dan PC3 yang akan dipilih karena mereka memiliki eigenvalue lebih dari 1. Sedangkan jika kamu menggunakan Scree Plot, kamu mungkin melihat bahwa grafik mengalami penurunan tajam antara PC2 dan PC3, dan setelah itu menurun secara lebih landai. Ini berarti titik "elbow" berada di PC3, yang mengindikasikan bahwa tiga komponen pertama adalah pilihan optimal.

Namun, jika tujuanmu adalah mendapatkan akurasi yang lebih tinggi dalam representasi data, kamu bisa mempertimbangkan untuk menyertakan PC4, yang menambah sekitar 8% informasi tambahan, sehingga total varians yang dijelaskan mencapai 90%.

Baca Juga: Data Analyst vs Data Scientist

4. Kesimpulan

Eigenvalue dalam PCA sangat penting karena menentukan berapa banyak informasi yang bisa dijelaskan oleh setiap Principal Component (PC). Dengan memahami konsep ini, kamu dapat menentukan berapa banyak dimensi yang perlu dipertahankan dalam analisis data. Jika eigenvalue suatu komponen utama besar, berarti komponen tersebut memiliki peran penting dalam menjelaskan variasi dalam dataset.

Sebaliknya, komponen dengan eigenvalue kecil hanya memberikan kontribusi sedikit terhadap informasi dalam data dan sering kali bisa diabaikan untuk mengurangi kompleksitas. Oleh karena itu, memahami eigenvalue dapat membantu kamu melakukan reduksi dimensi secara efektif tanpa kehilangan terlalu banyak informasi.

Untuk menentukan jumlah komponen yang dipilih, kamu bisa menggunakan Kaiser Criterion (eigenvalue > 1), Scree Plot (elbow method), atau Cumulative Variance Rule (80%-90% informasi dipertahankan). Pemilihan metode yang tepat bergantung pada kebutuhan analisis dan tingkat informasi yang ingin kamu pertahankan.

Dengan memilih jumlah komponen utama secara optimal, kamu tidak hanya dapat menyederhanakan data tetapi juga meningkatkan efisiensi dalam pemrosesan dan analisis. PCA dengan interpretasi eigenvalue yang benar akan membantumu mengolah data dengan lebih efektif dalam berbagai aplikasi seperti machine learning, analisis statistik, dan eksplorasi data.

FAQ

1. Mengapa eigenvalue penting dalam PCA?

Eigenvalue menunjukkan seberapa besar variabilitas data yang dapat dijelaskan oleh masing-masing Principal Component (PC). Semakin besar eigenvalue suatu komponen, semakin banyak informasi yang dapat dipertahankan, sehingga membantu dalam menentukan jumlah komponen yang optimal untuk analisis.

2. Bagaimana cara menentukan jumlah komponen utama yang optimal?

Ada beberapa metode yang bisa digunakan, seperti:

• Kaiser Criterion: Memilih komponen dengan eigenvalue lebih dari 1.

• Scree Plot: Mencari titik "elbow" di mana penurunan eigenvalue mulai melandai.

• Cumulative Variance Rule: Memilih jumlah PC yang secara kumulatif menjelaskan 80%-90% variabilitas data.

3. Apa yang terjadi jika terlalu banyak atau terlalu sedikit komponen dipilih?

Jika terlalu banyak komponen dipilih, dataset tetap kompleks dan sulit diinterpretasikan. Sebaliknya, jika terlalu sedikit komponen dipilih, informasi penting bisa hilang, yang dapat mempengaruhi kualitas analisis data atau performa model machine learning yang digunakan.

Jika kamu ingin mempercepat karirmu di dunia data, bergabunglah dengan Bootcamp Data Analyst with SQL and Python di DQLab! Di sini, kamu akan mendapatkan pelatihan intensif yang siap membawamu ke level berikutnya. Jangan lewatkan kesempatan ini, daftarkan dirimu sekarang! DQLab menyajikan materi secara teori maupun praktek. Selain itu di DQLab pun menyediakan berbagai modul dan ebook dengan materi yang beragam sesuai kebutuhan. Cara bergabungnya sangat mudah. Langsung saja sign up di DQLab.id dan nikmati belajar data science!

Penulis: Reyvan Maulid