Overfitting dan Underfitting: Mengapa Model AI Bisa Salah Belajar?

Dalam machine learning, sebuah model tidak cukup hanya mampu menghasilkan prediksi yang benar pada data yang pernah dipelajarinya. Model juga harus mampu memahami pola yang relevan dan menerapkannya pada data baru yang belum pernah dilihat sebelumnya. Di sinilah konsep overfitting dan underfitting menjadi sangat penting.

Kedua kondisi ini menjelaskan mengapa model AI bisa menghasilkan performa yang buruk meskipun telah melalui proses pelatihan. Model yang terlalu sederhana mungkin gagal menangkap pola penting dalam data, sedangkan model yang terlalu kompleks dapat menghafal data pelatihan hingga kehilangan kemampuan untuk melakukan generalisasi.

Memahami perbedaan keduanya merupakan salah satu dasar penting dalam membangun sistem machine learning yang akurat, stabil, dan dapat diandalkan.

Apa Itu Overfitting dalam Machine Learning?

Overfitting adalah kondisi ketika model machine learning terlalu menyesuaikan diri dengan data pelatihan sehingga tidak mampu bekerja dengan baik pada data baru.

Dalam proses pelatihan, model berusaha menemukan pola dari sekumpulan data. Namun, tidak semua informasi di dalam data merupakan pola yang benar-benar berguna. Sebagian dapat berupa noise, kesalahan pengukuran, atau variasi acak yang tidak mewakili hubungan sebenarnya.

Ketika model mempelajari terlalu banyak detail, termasuk noise tersebut, model dapat menghasilkan prediksi yang sangat baik pada data pelatihan tetapi buruk pada data yang belum pernah ditemui.

Model yang mengalami overfitting bukan hanya mempelajari pola penting, tetapi juga terlalu banyak mengingat detail khusus dari data pelatihannya.

Contoh sederhana overfitting

Bayangkan kita ingin membuat model untuk memprediksi harga rumah berdasarkan luas bangunan. Kita memiliki data rumah dengan luas bangunan dan harga jual masing-masing.

Hubungan antara luas bangunan dan harga rumah pada umumnya memiliki pola tertentu. Rumah dengan luas lebih besar cenderung memiliki harga lebih tinggi, meskipun harga sebenarnya juga dipengaruhi lokasi, kondisi bangunan, fasilitas, dan faktor lainnya.

Model yang baik berusaha mempelajari hubungan umum tersebut. Sebaliknya, model yang mengalami overfitting dapat mencoba mengikuti hampir setiap variasi harga pada seluruh sampel pelatihan. Akibatnya, prediksi terhadap rumah baru menjadi tidak stabil.

Ciri-ciri model mengalami overfitting

• Akurasi atau performa pada data pelatihan sangat tinggi.
• Performa pada data validasi atau pengujian jauh lebih rendah.
• Model terlalu sensitif terhadap perubahan kecil pada data masukan.
• Model memiliki kompleksitas yang tidak sebanding dengan jumlah atau kualitas data.
• Hasil prediksi pada data baru kurang konsisten.

Apa Itu Underfitting dalam Machine Learning?

Underfitting adalah kondisi ketika model machine learning terlalu sederhana atau belum cukup terlatih untuk menangkap pola penting dalam data.

Model yang mengalami underfitting tidak mampu mempelajari hubungan antara fitur masukan dan target secara memadai. Akibatnya, performanya buruk bukan hanya pada data baru, tetapi juga pada data pelatihan.

Kondisi ini dapat disebabkan oleh pemilihan algoritma yang terlalu sederhana, fitur yang kurang informatif, proses pelatihan yang belum cukup, atau pengaturan model yang terlalu membatasi kemampuannya untuk belajar.

Contoh sederhana underfitting

Misalnya, kita ingin memprediksi harga rumah menggunakan luas bangunan, lokasi, jumlah kamar, dan usia bangunan. Namun, model hanya menggunakan luas bangunan dan menerapkan hubungan yang terlalu sederhana.

Padahal, dua rumah dengan luas yang sama dapat memiliki harga berbeda karena lokasinya berbeda. Model yang mengabaikan faktor penting tersebut akan kesulitan menghasilkan prediksi yang akurat.

Masalahnya bukan karena model terlalu banyak menghafal data, melainkan karena model belum mampu menangkap hubungan yang dibutuhkan untuk menyelesaikan tugas.

Ciri-ciri model mengalami underfitting

• Performa pada data pelatihan masih rendah.
• Performa pada data validasi atau pengujian juga rendah.
• Model tidak mampu menangkap hubungan penting dalam data.
• Prediksi cenderung terlalu sederhana atau tidak sesuai dengan variasi data.
• Menambahkan data saja belum tentu menyelesaikan masalah apabila kapasitas model tetap tidak memadai.

Perbedaan Overfitting dan Underfitting

Overfitting dan underfitting merupakan dua masalah yang berbeda, tetapi sama-sama dapat mengurangi kemampuan generalisasi model. Perbedaan utamanya terletak pada bagaimana model mempelajari pola dari data.

Memahami Generalisasi Model

Generalisasi adalah kemampuan model untuk menghasilkan prediksi yang baik pada data baru yang berasal dari distribusi atau lingkungan yang relevan dengan data pelatihan.

Tujuan machine learning bukan sekadar membuat model yang memiliki nilai kesalahan paling rendah pada data pelatihan. Tujuan yang lebih penting adalah membangun model yang mampu mempelajari hubungan yang dapat digunakan untuk menghadapi contoh baru.

Contohnya, sebuah model klasifikasi email dilatih menggunakan ribuan pesan yang telah diberi label sebagai spam atau bukan spam. Model yang baik tidak hanya mengenali email yang pernah digunakan selama pelatihan, tetapi juga mampu mengidentifikasi pesan baru berdasarkan pola yang relevan.

Jika model hanya mengingat alamat pengirim atau susunan kata tertentu dari data pelatihan, model dapat gagal ketika menerima email baru dengan karakteristik berbeda.

Hubungan Bias dan Variance

Untuk memahami mengapa overfitting dan underfitting terjadi, kita perlu mengenal dua konsep penting dalam machine learning, yaitu bias dan variance.

Bias

Bias menggambarkan kesalahan yang muncul akibat asumsi atau keterbatasan model ketika mempelajari hubungan dalam data. Model dengan bias tinggi cenderung terlalu sederhana sehingga gagal menangkap pola yang sebenarnya.

Bias yang terlalu tinggi sering berkaitan dengan underfitting. Sebagai contoh, menggunakan hubungan garis lurus untuk memodelkan data yang memiliki pola melengkung secara signifikan dapat menghasilkan prediksi yang kurang tepat.

Variance

Variance menggambarkan seberapa sensitif hasil pembelajaran model terhadap perubahan data pelatihan. Model dengan variance tinggi dapat menghasilkan model yang berbeda secara signifikan ketika dilatih menggunakan sampel data yang sedikit berbeda.

Variance yang terlalu tinggi sering berkaitan dengan overfitting. Model dapat mempelajari detail khusus dari satu kumpulan data sehingga hasilnya tidak stabil ketika menghadapi data lain.

Bias-variance tradeoff

Dalam pengembangan model machine learning, kita perlu mencari keseimbangan antara bias dan variance. Model yang terlalu sederhana berisiko mengalami underfitting, sedangkan model yang terlalu kompleks berisiko mengalami overfitting.

Menambah kompleksitas model tidak selalu meningkatkan kualitas prediksi. Kompleksitas harus disesuaikan dengan karakteristik data, jumlah sampel, fitur yang tersedia, dan tujuan pembelajaran.

Perlu dipahami bahwa hubungan bias dan variance merupakan kerangka konseptual untuk menganalisis kesalahan model. Keduanya tidak selalu dapat diukur secara langsung hanya dengan membandingkan dua angka akurasi.

Memahami Training, Validation, dan Test Data

Salah satu cara utama untuk mendeteksi overfitting dan underfitting adalah membagi dataset menjadi beberapa bagian dengan fungsi yang berbeda.

1. Training data

Training data digunakan untuk melatih model. Pada tahap ini, algoritma mempelajari pola dan menyesuaikan parameter internal berdasarkan contoh yang diberikan.

2. Validation data

Validation data digunakan untuk mengevaluasi model selama proses pengembangan. Data ini membantu menentukan pilihan algoritma, mengatur hyperparameter, memilih tingkat kompleksitas, dan memutuskan kapan proses pelatihan sebaiknya dihentikan.

3. Test data

Test data digunakan untuk mengukur performa akhir setelah pemilihan model dan pengaturan hyperparameter selesai. Data pengujian sebaiknya tidak digunakan berulang kali untuk mengambil keputusan selama pengembangan karena hal tersebut dapat membuat evaluasi akhir menjadi terlalu optimistis.

Contoh pembagian dataset

Misalkan kita memiliki 10.000 data untuk membangun model klasifikasi. Salah satu pembagian yang dapat digunakan adalah 70% untuk training, 15% untuk validation, dan 15% untuk testing.

Persentase tersebut bukan aturan mutlak. Pembagian dataset perlu disesuaikan dengan ukuran data, karakteristik masalah, distribusi kelas, dan metode evaluasi yang digunakan.

Untuk klasifikasi dengan distribusi kelas yang tidak seimbang, stratified split dapat membantu mempertahankan proporsi kelas pada setiap bagian dataset. Untuk data berdasarkan waktu, pembagian secara kronologis biasanya lebih tepat daripada pengacakan karena data masa depan tidak boleh digunakan untuk memprediksi masa lalu.

Bagaimana Cara Mendeteksi Overfitting?

Overfitting dapat diamati dengan membandingkan performa model pada training data dan validation data. Salah satu indikator yang umum digunakan adalah training loss dan validation loss.

Training loss mengukur kesalahan model pada data pelatihan, sedangkan validation loss mengukur kesalahan pada data validasi yang tidak digunakan untuk memperbarui parameter model.

Ketika proses pelatihan berlangsung, training loss biasanya menurun. Pada awalnya validation loss juga dapat menurun karena model mulai mempelajari pola yang relevan. Namun, jika validation loss mulai meningkat sementara training loss terus menurun, kondisi tersebut dapat menjadi tanda overfitting.

Ilustrasi perubahan loss

Perlu diingat bahwa kenaikan validation loss merupakan salah satu indikator, bukan bukti tunggal. Fluktuasi dapat terjadi karena ukuran dataset, proses optimasi, noise, atau karakteristik model. Evaluasi sebaiknya dilakukan dengan melihat pola selama beberapa tahap pelatihan.

Bagaimana Cara Mendeteksi Underfitting?

Underfitting biasanya lebih mudah dikenali karena model tidak mampu mencapai performa yang memadai bahkan pada data pelatihan.

Jika training loss dan validation loss sama-sama tinggi, model mungkin belum cukup mampu mempelajari pola dalam dataset. Namun, sebelum menyimpulkan underfitting, kita perlu memastikan bahwa data, label, fitur, dan proses pelatihan sudah benar.

Beberapa penyebab yang perlu diperiksa antara lain:

• Algoritma yang digunakan tidak sesuai dengan karakteristik masalah.
• Model memiliki kapasitas yang terlalu terbatas.
• Jumlah fitur yang relevan belum mencukupi.
• Proses pelatihan berhenti terlalu cepat.
• Regularisasi terlalu kuat sehingga model sulit mempelajari pola.
• Data memiliki kualitas rendah atau label yang tidak konsisten.

Strategi Mengatasi Overfitting

Overfitting dapat ditangani dengan berbagai pendekatan. Pemilihan strategi bergantung pada penyebabnya, karakteristik dataset, dan jenis algoritma yang digunakan.

1. Menambah data pelatihan

Data pelatihan yang lebih beragam dapat membantu model mempelajari pola yang lebih umum. Dengan melihat lebih banyak variasi contoh, model memiliki kesempatan lebih baik untuk membedakan pola penting dari noise yang kebetulan muncul pada sampel tertentu.

Namun, menambah data tidak otomatis menyelesaikan semua masalah. Data tambahan harus relevan, memiliki kualitas baik, dan mewakili kondisi yang akan dihadapi model ketika digunakan.

2. Menggunakan regularisasi

Regularisasi merupakan teknik untuk mengendalikan kompleksitas model dengan menambahkan penalti terhadap konfigurasi parameter tertentu.

Dua pendekatan yang umum dikenal adalah L1 dan L2 regularization.

• L1 regularization: memberikan penalti berdasarkan nilai absolut parameter. Pada kondisi tertentu, pendekatan ini dapat mendorong sebagian koefisien menjadi nol sehingga membantu seleksi fitur.
• L2 regularization: memberikan penalti berdasarkan kuadrat parameter sehingga mendorong nilai koefisien menjadi lebih kecil tanpa harus menjadikannya nol.

Regularisasi dapat membantu mengurangi kompleksitas efektif model. Akan tetapi, nilai penalti yang terlalu besar juga dapat menyebabkan underfitting.

3. Mengurangi kompleksitas model

Jika model terlalu kompleks dibandingkan ukuran dan karakteristik data, kita dapat mempertimbangkan model yang lebih sederhana atau membatasi kapasitas model.

Contohnya adalah mengurangi kedalaman decision tree, membatasi jumlah parameter, atau mengurangi jumlah unit tertentu pada neural network. Tujuannya bukan membuat model sesederhana mungkin, melainkan menemukan tingkat kompleksitas yang sesuai.

4. Menggunakan early stopping

Early stopping merupakan metode untuk menghentikan pelatihan ketika performa pada data validasi tidak lagi menunjukkan perbaikan yang berarti.

Metode ini berguna ketika model terus memperbaiki hasil pada training data, tetapi kemampuan generalisasinya mulai menurun. Dalam praktiknya, kita dapat menyimpan parameter model terbaik berdasarkan validation loss atau metrik validasi yang dipilih.

5. Menggunakan data augmentation

Data augmentation menghasilkan variasi baru dari data yang tersedia melalui transformasi yang tetap mempertahankan makna atau labelnya.

Dalam pengolahan gambar, contohnya dapat berupa perubahan posisi, pemotongan, atau pembalikan gambar jika transformasi tersebut sesuai dengan konteks tugas. Dalam pemrosesan teks, teknik augmentasi harus lebih berhati-hati karena perubahan kata dapat mengubah makna kalimat.

6. Menggunakan dropout

Dropout merupakan teknik regularisasi yang umum digunakan pada neural network. Selama pelatihan, sebagian unit dipilih secara acak untuk tidak berpartisipasi dalam perhitungan pada suatu langkah.

Hal ini membantu mengurangi ketergantungan model terhadap kombinasi unit tertentu. Dropout digunakan selama pelatihan dan dinonaktifkan atau disesuaikan secara otomatis ketika model melakukan inferensi, bergantung pada framework yang digunakan.

Strategi Mengatasi Underfitting

Berbeda dengan overfitting, penanganan underfitting berfokus pada peningkatan kemampuan model untuk mempelajari hubungan yang relevan dari data.

1. Memilih model yang lebih sesuai

Jika model terlalu sederhana untuk pola yang ada, pertimbangkan algoritma dengan kapasitas yang lebih sesuai. Misalnya, hubungan nonlinier mungkin tidak dapat direpresentasikan dengan baik oleh model linear sederhana tanpa transformasi fitur yang tepat.

2. Menambah atau memperbaiki fitur

Fitur merupakan informasi yang digunakan model sebagai masukan untuk mempelajari pola. Fitur yang tidak relevan atau kurang lengkap dapat membatasi kemampuan prediksi.

Dalam prediksi harga rumah, luas bangunan saja mungkin belum cukup. Informasi mengenai lokasi, jumlah kamar, usia bangunan, dan kondisi properti dapat memberikan gambaran yang lebih lengkap.

Penambahan fitur tetap harus dilakukan secara terukur. Fitur yang tidak relevan, bocor dari target, atau hanya tersedia setelah peristiwa yang ingin diprediksi dapat menghasilkan evaluasi yang menyesatkan.

3. Mengurangi regularisasi yang terlalu kuat

Regularisasi yang terlalu kuat dapat membatasi model hingga tidak mampu mempelajari pola penting. Jika model menunjukkan gejala underfitting, pengaturan penalti regularisasi dapat dievaluasi kembali menggunakan data validasi.

4. Melatih model dengan lebih memadai

Dalam beberapa kasus, model belum mencapai kondisi pembelajaran yang cukup. Menambah jumlah epoch atau memperbaiki pengaturan optimasi dapat membantu, selama proses tersebut dipantau menggunakan validation data agar tidak berlanjut menjadi overfitting.

5. Memperbaiki kualitas data

Data yang salah, tidak konsisten, atau memiliki label yang keliru dapat menghambat proses pembelajaran. Pemeriksaan kualitas data merupakan bagian penting sebelum meningkatkan kompleksitas model.

Peran Hyperparameter dalam Overfitting dan Underfitting

Hyperparameter adalah konfigurasi yang ditentukan sebelum atau selama pengembangan model dan tidak dipelajari dengan cara yang sama seperti parameter internal model.

Pengaturan hyperparameter dapat memengaruhi kemampuan model dalam mempelajari data. Beberapa contohnya adalah:

Tidak ada satu konfigurasi hyperparameter yang selalu terbaik untuk semua dataset. Pengaturan harus dievaluasi berdasarkan karakteristik masalah dan hasil pada validation data.

Kesalahan yang Perlu Dihindari Saat Melatih Model AI

Selain overfitting dan underfitting, terdapat beberapa kesalahan dalam proses pengembangan yang dapat membuat hasil evaluasi model terlihat lebih baik atau lebih buruk daripada kondisi sebenarnya.

Data leakage

Data leakage terjadi ketika informasi yang seharusnya tidak tersedia pada saat prediksi ikut masuk ke proses pelatihan atau evaluasi.

Contohnya adalah menggunakan informasi masa depan untuk memprediksi kejadian masa lalu, atau melakukan normalisasi seluruh dataset sebelum memisahkan training dan testing. Dalam kasus tersebut, informasi dari data pengujian dapat memengaruhi proses pengembangan model.

Untuk menghindarinya, pemisahan dataset harus dilakukan dengan benar. Proses preprocessing yang mempelajari statistik dari data, seperti standardisasi atau imputasi, sebaiknya di-fit menggunakan training data saja. Setelah itu, transformasi yang sama diterapkan pada validation dan test data.

Hanya mengandalkan accuracy

Accuracy tidak selalu cukup untuk menilai kualitas model, terutama ketika distribusi kelas tidak seimbang.

Misalnya, pada dataset dengan 95% data bukan spam dan 5% data spam, model yang selalu memprediksi bukan spam dapat memperoleh accuracy 95%. Meskipun angkanya terlihat tinggi, model tersebut gagal mengenali seluruh pesan spam.

Untuk kasus seperti ini, metrik seperti precision, recall, F1-score, dan confusion matrix dapat memberikan gambaran yang lebih lengkap.

Menggunakan test data berulang kali

Test data seharusnya digunakan untuk evaluasi akhir. Jika hasil test terus digunakan untuk memilih hyperparameter dan mengubah model, pengembang secara tidak langsung mulai menyesuaikan model terhadap data pengujian tersebut.

Gunakan validation data atau cross-validation untuk proses pemilihan model. Simpan test data untuk penilaian akhir yang lebih independen.

Alur Praktis Membangun Model dengan Generalisasi yang Baik

Untuk mengurangi risiko overfitting dan underfitting, pengembangan model sebaiknya dilakukan melalui proses yang terstruktur. Berikut alur umum yang dapat diterapkan pada berbagai proyek machine learning.

Apakah Model yang Baik Harus Memiliki Akurasi 100%?

Tidak. Akurasi 100% pada data pelatihan bukan jaminan bahwa model memiliki kemampuan prediksi yang baik pada data baru.

Dalam banyak persoalan nyata, data mengandung noise, variasi, ketidakpastian, dan faktor yang tidak seluruhnya dapat diamati. Oleh karena itu, model yang baik tidak harus menghafal setiap sampel, tetapi perlu menemukan pola yang relevan dan mampu mempertahankan performanya pada data yang belum pernah dilihat.

Selain itu, model dengan akurasi yang tinggi belum tentu cocok untuk semua kebutuhan. Pada sistem deteksi penyakit, misalnya, kesalahan melewatkan kasus positif dapat memiliki konsekuensi berbeda dibandingkan kesalahan memberikan hasil positif palsu. Pemilihan metrik harus mempertimbangkan risiko dari setiap jenis kesalahan.

Dengan demikian, keberhasilan machine learning tidak hanya ditentukan oleh satu angka evaluasi, melainkan oleh kesesuaian model terhadap tujuan, kualitas data, kemampuan generalisasi, dan dampaknya ketika digunakan.

Kesimpulan

Overfitting dan underfitting merupakan dua tantangan mendasar dalam machine learning. Overfitting terjadi ketika model terlalu menyesuaikan diri dengan data pelatihan, sedangkan underfitting terjadi ketika model belum mampu mempelajari pola penting dalam data.

Keduanya dapat menghasilkan performa buruk pada data baru. Karena itu, pengembangan model perlu memperhatikan keseimbangan antara kompleksitas, kualitas data, proses pelatihan, dan kemampuan generalisasi.

Memahami training loss, validation loss, bias, variance, regularisasi, serta pembagian dataset akan membantu pengembang mengenali masalah lebih awal dan menentukan strategi perbaikan yang tepat.

Pada akhirnya, tujuan utama membangun AI bukan membuat model yang sekadar mengingat data, tetapi menciptakan sistem yang mampu mempelajari pola dan menggunakannya untuk menghasilkan keputusan atau prediksi yang bermanfaat pada kondisi baru.