Data dalam Artificial Intelligence: Dataset, Fitur, dan Kualitas Data

Artificial Intelligence (AI) tidak dapat bekerja dengan baik hanya karena menggunakan algoritma yang canggih. Di balik sistem yang mampu mengenali gambar, memahami teks, membuat prediksi, atau menghasilkan jawaban, terdapat komponen penting yang menentukan kualitas hasilnya: data. Tanpa data yang relevan dan dikelola dengan benar, model AI dapat menghasilkan prediksi yang keliru, gagal mengenali pola, atau memberikan jawaban yang tidak sesuai dengan kebutuhan pengguna.

Dalam pengembangan Artificial Intelligence, istilah seperti dataset AI, data training, fitur, label, dan preprocessing data merupakan konsep dasar yang perlu dipahami sebelum membangun model machine learning. Konsep-konsep tersebut saling berhubungan, mulai dari pengumpulan informasi hingga evaluasi hasil prediksi.

Artikel ini membahas bagaimana data digunakan dalam AI, cara menyusun dataset, perbedaan fitur dan label, teknik membersihkan data, serta langkah praktis mempersiapkan data untuk melatih model machine learning.

1. Mengapa Data Sangat Penting dalam Artificial Intelligence?

Data menyediakan contoh yang dapat digunakan algoritma machine learning untuk menemukan pola. Berbeda dengan pemrograman tradisional yang umumnya menjalankan aturan yang ditulis secara eksplisit, machine learning menggunakan data untuk mempelajari hubungan yang kemudian dimanfaatkan dalam membuat prediksi atau keputusan.

Sebagai contoh, seorang programmer dapat membuat aplikasi yang menentukan apakah suatu angka lebih besar dari 100 menggunakan aturan sederhana. Namun, untuk memprediksi harga rumah berdasarkan luas bangunan, lokasi, jumlah kamar, dan kondisi properti, programmer dapat menggunakan model machine learning yang belajar dari data transaksi sebelumnya.

Model tersebut tidak otomatis mengetahui harga rumah yang sebenarnya. Model mempelajari hubungan statistik dari contoh yang tersedia, lalu menggunakan pola yang dipelajari untuk memperkirakan harga pada data baru.

Keempat komponen tersebut memiliki fungsi berbeda. Dataset yang baik tidak menjamin model selalu benar, tetapi data yang tidak relevan, tidak representatif, atau penuh kesalahan dapat membatasi kemampuan model sejak awal.

2. Apa Itu Dataset AI?

Dataset AI adalah kumpulan data yang disusun agar dapat digunakan untuk analisis, pengembangan, pelatihan, atau evaluasi sistem kecerdasan buatan. Dataset dapat berbentuk tabel angka, teks, gambar, rekaman suara, video, maupun kombinasi beberapa jenis informasi.

Struktur dataset bergantung pada masalah yang ingin diselesaikan. Untuk memprediksi harga rumah, data dapat disimpan dalam tabel dengan kolom luas bangunan, jumlah kamar, lokasi, dan harga. Untuk membuat model pengenalan gambar, dataset dapat berisi file gambar beserta label yang menjelaskan objek di dalamnya.

Contoh dataset untuk memprediksi harga rumah

Angka pada tabel tersebut merupakan contoh ilustratif, bukan data transaksi pasar yang telah diverifikasi. Dataset ini menunjukkan bagaimana beberapa atribut rumah dapat disusun bersama nilai harga yang ingin diprediksi.

Setiap baris mewakili satu contoh rumah, sedangkan setiap kolom mewakili suatu atribut. Model dapat mempelajari hubungan antara karakteristik rumah dan harga berdasarkan contoh yang tersedia. Namun, empat baris saja tidak cukup untuk membangun model harga rumah yang dapat diandalkan. Model nyata memerlukan data yang lebih memadai dan mewakili kondisi yang akan ditemui saat digunakan.

Jenis data yang umum digunakan dalam AI

Data terstruktur biasanya disusun dalam baris dan kolom, sedangkan data tidak terstruktur seperti gambar dan dokumen teks memerlukan representasi atau pemrosesan yang sesuai dengan model yang digunakan. Tidak semua dataset harus berbentuk tabel, tetapi setiap dataset tetap perlu memiliki struktur yang dapat dipahami oleh proses pengolahan.

3. Memahami Fitur, Label, dan Target

Dalam machine learning, fitur (features) adalah informasi yang digunakan model sebagai masukan. Label atau target adalah nilai yang ingin diprediksi pada tugas supervised learning. Memahami perbedaan keduanya membantu programmer menyusun dataset dengan benar.

Fitur sebagai masukan model

Pada contoh prediksi harga rumah, luas bangunan, jumlah kamar, dan jarak ke pusat kota dapat digunakan sebagai fitur. Informasi tersebut membantu model memperkirakan nilai harga, selama hubungan yang dipelajari memang didukung oleh data.

Label sebagai jawaban yang dipelajari

Harga rumah berfungsi sebagai target pada contoh tersebut. Selama pelatihan supervised learning, model membandingkan prediksinya dengan harga yang tercatat, kemudian memperbarui parameter untuk mengurangi kesalahan berdasarkan metode optimasi yang digunakan.

Perlu dipahami bahwa label tidak selalu tersedia. Pada unsupervised learning, model dapat mencari struktur atau kelompok dalam data tanpa label target yang disediakan. Karena itu, cara menyusun dataset harus mengikuti tujuan pembelajaran yang dipilih.

Contoh sederhana menggunakan Python

Berikut contoh bagaimana fitur dan target dipisahkan menggunakan pustaka pandas. Data di dalam kode merupakan ilustrasi kecil untuk memahami struktur, bukan dataset yang layak digunakan untuk membuat prediksi harga rumah di dunia nyata.

import pandas as pd

data = {
    "luas": [36, 60, 90, 45],
    "jumlah_kamar": [2, 3, 4, 2],
    "jarak_pusat_kota": [12, 8, 5, 10],
    "harga": [350, 550, 900, 420]
}

df = pd.DataFrame(data)

# Fitur yang digunakan sebagai masukan model
X = df[[
    "luas",
    "jumlah_kamar",
    "jarak_pusat_kota"
]]

# Target yang ingin diprediksi
y = df["harga"]

print("Fitur:")
print(X)

print("\nTarget:")
print(y)

Variabel X berisi tiga kolom masukan, sedangkan y berisi harga yang menjadi target prediksi. Pemisahan ini merupakan langkah awal sebelum data dibagi menjadi data pelatihan dan pengujian, lalu diproses menggunakan algoritma machine learning.

4. Apa Itu Data Training dalam AI?

Data training atau data pelatihan adalah bagian dataset yang digunakan untuk melatih model. Pada supervised learning, data ini biasanya memuat fitur beserta label yang sesuai. Model mempelajari pola dari contoh tersebut melalui proses optimasi selama pelatihan.

Dalam proyek machine learning, dataset sering dibagi menjadi tiga bagian: training set, validation set, dan test set. Ketiganya memiliki tujuan berbeda dan tidak seharusnya dipertukarkan secara sembarangan.

Pembagian data tidak selalu harus menggunakan persentase yang sama. Rasio 80% untuk training dan 20% untuk testing dapat menjadi titik awal pada beberapa proyek sederhana, tetapi kebutuhan sebenarnya bergantung pada ukuran dataset, jenis masalah, serta metode evaluasi.

Jika dataset cukup besar dan validation set dibutuhkan, pembagian 80:10:10 dapat dipertimbangkan. Untuk dataset yang kecil, cross-validation mungkin lebih sesuai. Pada data berurutan menurut waktu, seperti prediksi penjualan bulanan, pembagian kronologis sering lebih tepat daripada mengacak seluruh baris karena model seharusnya memprediksi masa depan berdasarkan informasi masa lalu.

Contohnya, jika harga rumah digunakan sebagai target, informasi yang secara langsung mengungkap harga tersebut tidak boleh dimasukkan sebagai fitur. Demikian pula, statistik yang dihitung dari seluruh dataset sebelum pembagian dapat membocorkan informasi dari data pengujian ke proses pelatihan.

5. Kualitas Data: Lebih dari Sekadar Jumlah Baris

Dataset yang besar belum tentu berkualitas. Ribuan baris yang berulang, label yang salah, atau data yang hanya mewakili satu kelompok dapat membuat model belajar pola yang tidak sesuai dengan kondisi sebenarnya.

Kualitas data perlu dinilai berdasarkan tujuan penggunaan. Data yang sesuai untuk mengklasifikasikan kategori produk belum tentu sesuai untuk memperkirakan permintaan produk pada periode berikutnya. Oleh sebab itu, programmer perlu memeriksa beberapa aspek sebelum memulai pelatihan.

Relevansi

Setiap fitur sebaiknya memiliki alasan yang jelas untuk digunakan. Pada prediksi harga rumah, luas bangunan dan lokasi mungkin relevan. Kolom identitas internal yang tidak memiliki hubungan bermakna dengan harga belum tentu memberikan manfaat.

Akurasi

Nilai yang tercatat perlu sesuai dengan kenyataan sejauh dapat diverifikasi. Kesalahan label, harga yang salah ketik, atau kategori yang tidak konsisten dapat membuat model mempelajari hubungan yang keliru.

Kelengkapan

Periksa apakah terdapat nilai kosong atau informasi penting yang tidak tersedia. Data yang hilang tidak selalu harus dibuang; penanganannya bergantung pada penyebab kehilangan data, karakteristik kolom, dan metode model yang digunakan.

Konsistensi

Format, satuan, kategori, dan definisi kolom harus konsisten. Misalnya, luas bangunan tidak boleh mencampurkan meter persegi dan kaki persegi tanpa konversi. Kategori yang sama juga sebaiknya tidak ditulis dalam beberapa variasi yang tidak disengaja.

Keterwakilan

Data perlu mencerminkan kondisi yang akan ditemui model ketika digunakan. Jika dataset hanya berisi rumah di satu kawasan, model mungkin tidak dapat memprediksi harga di kawasan lain secara akurat. Masalah serupa dapat muncul ketika data gambar hanya memuat satu jenis pencahayaan atau ketika data teks hanya mewakili gaya bahasa tertentu.

Keunikan dan duplikasi

Baris duplikat dapat membuat sebagian contoh memperoleh bobot lebih besar daripada yang seharusnya. Namun, kemunculan nilai yang sama tidak otomatis berarti duplikasi: dua transaksi berbeda dapat memiliki harga yang identik. Pemeriksaan harus mempertimbangkan identitas dan makna setiap catatan.

6. Apa Itu Preprocessing Data?

Preprocessing data adalah rangkaian proses untuk mengubah data mentah menjadi bentuk yang lebih sesuai untuk analisis atau pelatihan model. Prosesnya dapat mencakup pemeriksaan kualitas, penanganan nilai hilang, penghapusan duplikasi, encoding kategori, normalisasi, standardisasi, dan transformasi lain sesuai kebutuhan.

Tidak semua proyek membutuhkan seluruh teknik tersebut. Model berbasis pohon keputusan, misalnya, memiliki kebutuhan berbeda dari model yang menggunakan jarak atau optimasi berbasis gradien. Teknik preprocessing sebaiknya dipilih berdasarkan karakteristik data dan algoritma, bukan diterapkan secara otomatis pada setiap kolom.

Langkah pertama: memeriksa dataset

Programmer perlu mengetahui ukuran dataset, tipe data, jumlah nilai kosong, distribusi nilai, dan potensi duplikasi sebelum melakukan transformasi. Pemeriksaan awal ini membantu menemukan masalah yang tidak terlihat hanya dengan membaca beberapa baris.

import pandas as pd

df = pd.read_csv("dataset.csv")

# Melihat beberapa baris pertama
print(df.head())

# Memeriksa jumlah baris dan kolom
print("Ukuran dataset:", df.shape)

# Memeriksa tipe data dan kelengkapan
df.info()

# Menghitung nilai kosong pada setiap kolom
print(df.isna().sum())

# Menghitung jumlah baris duplikat
print("Duplikat:", df.duplicated().sum())

# Statistik ringkas untuk kolom numerik
print(df.describe())

Ganti dataset.csv dengan nama file yang benar. Metode head() menampilkan contoh baris, shape memperlihatkan ukuran dataset, sedangkan isna().sum() membantu menghitung nilai yang hilang pada setiap kolom.

Menangani nilai yang hilang

Nilai yang hilang dapat ditangani dengan menghapus baris atau kolom tertentu, mengisi nilai menggunakan strategi statistik, atau menggunakan metode imputasi yang lebih sesuai. Pilihan tersebut bergantung pada banyaknya data yang hilang, alasan kehilangan, dan pentingnya informasi yang tidak tersedia.

Untuk kolom numerik, median dapat menjadi pilihan ketika terdapat pencilan yang kuat. Untuk kolom kategorikal, nilai yang paling sering muncul atau kategori khusus seperti "Tidak diketahui" dapat dipertimbangkan. Namun, nilai yang hilang tidak selalu berarti nol, dan pengisian secara sembarangan dapat mengubah makna data.

import pandas as pd

df = pd.read_csv("dataset.csv")

# Mengisi nilai numerik yang hilang
df["usia"] = df["usia"].fillna(
    df["usia"].median()
)

# Mengisi kategori yang hilang
df["kota"] = df["kota"].fillna(
    "Tidak diketahui"
)

print(df[["usia", "kota"]].isna().sum())

Contoh tersebut mengasumsikan kolom usia dan kota memang tersedia. Dalam pipeline machine learning yang akan dievaluasi, median dan nilai kategori sebaiknya dipelajari dari data training saja, kemudian diterapkan ke validation set, test set, dan data baru menggunakan nilai yang sama.

Encoding data kategorikal

Banyak algoritma memerlukan masukan numerik. Karena itu, nilai kategorikal seperti jenis produk atau kota perlu direpresentasikan sesuai kebutuhan model. Salah satu metode umum adalah one-hot encoding, yang membuat kolom indikator untuk kategori yang ditemukan.

Misalnya, kategori warna yang terdiri dari merah, hijau, dan biru dapat direpresentasikan sebagai tiga kolom indikator. Cara ini menghindari pemberian urutan angka yang seolah-olah menyatakan bahwa satu warna lebih besar daripada warna lainnya.

import pandas as pd

df = pd.DataFrame({
    "produk": ["Laptop", "Ponsel", "Tablet"]
})

encoded = pd.get_dummies(
    df,
    columns=["produk"],
    dtype=int
)

print(encoded)

Untuk proyek nyata, encoding harus menangani kemungkinan kategori baru yang muncul saat model digunakan. Kategori yang belum pernah dilihat saat pelatihan tidak boleh menyebabkan pipeline gagal tanpa penanganan yang jelas.

Normalisasi dan standardisasi

Kolom numerik dapat memiliki skala yang sangat berbeda. Luas rumah mungkin berkisar puluhan hingga ratusan, sedangkan jarak dapat memiliki nilai yang jauh lebih kecil. Pada algoritma tertentu, perbedaan skala dapat memengaruhi proses optimasi atau perhitungan jarak.

Normalisasi min-max memetakan nilai ke rentang tertentu, sering kali 0 hingga 1. Standardisasi mengubah nilai berdasarkan rata-rata dan simpangan baku dari data yang digunakan untuk menghitung parameter transformasi.

Scaling tidak selalu diperlukan. Model berbasis pohon keputusan umumnya tidak memerlukan standardisasi fitur numerik untuk membentuk pemisahan, sedangkan model seperti k-nearest neighbors dan sejumlah model berbasis gradien sering memperoleh manfaat dari skala fitur yang lebih sebanding.

7. Menghindari Data Leakage dalam Preprocessing

Salah satu kesalahan penting dalam persiapan dataset adalah melakukan transformasi dengan memanfaatkan informasi dari data pengujian. Hal ini dapat menghasilkan evaluasi yang terlalu optimistis karena proses pengembangan telah memperoleh informasi yang seharusnya belum tersedia.

Misalnya, jika programmer menghitung rata-rata dan simpangan baku dari seluruh dataset sebelum memisahkan training set dan test set, statistik data pengujian ikut memengaruhi transformasi data training. Walaupun tidak selalu membuat hasil menjadi sangat berbeda, prosedur tersebut dapat menyebabkan kebocoran informasi dalam evaluasi.

Urutan yang lebih aman untuk banyak tugas supervised learning adalah sebagai berikut:

Dalam Python, pipeline preprocessing membantu menjaga urutan tersebut. Dengan pipeline, langkah imputasi, encoding, scaling, dan pelatihan model dapat dirangkai sehingga setiap langkah dipelajari dari data yang diberikan pada proses fit().

8. Praktik Langsung: Menyiapkan Data Training dengan Python

Setelah memahami dataset, fitur, kualitas data, dan preprocessing, kita dapat menggabungkan konsep tersebut dalam contoh sederhana. Proyek berikut menggunakan dataset sintetis untuk mengklasifikasikan apakah sebuah transaksi tergolong kategori bernilai tinggi berdasarkan jumlah pembelian dan total transaksi.

Contoh ini sengaja dibuat kecil untuk menunjukkan alur kerja. Aturan pembentukan label dibuat secara artifisial, sehingga model tidak boleh dianggap sebagai sistem penilaian transaksi yang valid untuk penggunaan bisnis nyata.

Instalasi pustaka

Pastikan Python sudah tersedia, lalu instal pandas dan scikit-learn melalui terminal:

python -m pip install pandas scikit-learn

Membuat dataset dan melatih model

import pandas as pd

from sklearn.model_selection import train_test_split
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import Pipeline
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, classification_report

# Dataset sintetis untuk demonstrasi
df = pd.DataFrame({
    "jumlah_item": [
        1, 2, 3, 4, 5, 6, 1, 3, 5, 7,
        2, 4, 6, 8, 1, 2, 4, 6, 7, 8
    ],
    "total_transaksi": [
        20, 35, 55, 70, 95, 110, 25, 60, 90, 130,
        40, 75, 115, 150, 15, 45, 80, 105, 125, 160
    ],
    "transaksi_tinggi": [
        0, 0, 0, 0, 1, 1, 0, 0, 1, 1,
        0, 1, 1, 1, 0, 0, 1, 1, 1, 1
    ]
})

# Pisahkan fitur dan target
X = df[["jumlah_item", "total_transaksi"]]
y = df["transaksi_tinggi"]

# Pisahkan data sebelum preprocessing
X_train, X_test, y_train, y_test = train_test_split(
    X,
    y,
    test_size=0.25,
    random_state=42,
    stratify=y
)

# Preprocessing fitur numerik
preprocessor = ColumnTransformer(
    transformers=[
        ("numerik", StandardScaler(), [
            "jumlah_item",
            "total_transaksi"
        ])
    ]
)

# Rangkai preprocessing dan model
model = Pipeline([
    ("preprocessing", preprocessor),
    ("classifier", LogisticRegression())
])

# Pelatihan hanya menggunakan data training
model.fit(X_train, y_train)

# Evaluasi pada data test
prediksi = model.predict(X_test)

print("Akurasi:", accuracy_score(y_test, prediksi))
print(classification_report(y_test, prediksi, zero_division=0))

# Prediksi contoh transaksi baru
transaksi_baru = pd.DataFrame({
    "jumlah_item": [5],
    "total_transaksi": [100]
})

hasil = model.predict(transaksi_baru)

print("Prediksi transaksi:", hasil[0])

Memahami alur kode

9. Cara Memilih Dataset AI yang Tepat

Sebelum mengunduh dataset dari internet atau mengumpulkan data sendiri, tentukan terlebih dahulu masalah yang ingin diselesaikan. Dataset yang populer belum tentu cocok untuk kebutuhan proyek tertentu. Relevansi terhadap tujuan model jauh lebih penting daripada sekadar ukuran file atau jumlah baris.

Gunakan beberapa pertanyaan berikut sebagai panduan awal:

Jika mengumpulkan data sendiri, dokumentasikan definisi setiap kolom, satuan pengukuran, sumber data, metode pelabelan, dan setiap transformasi yang dilakukan. Dokumentasi tersebut akan membantu ketika dataset perlu diperiksa ulang, diperbarui, atau digunakan oleh anggota tim lain.

10. Bias Data, Privasi, dan Keamanan

Kualitas dataset tidak hanya berkaitan dengan format dan kelengkapan. Data juga dapat membawa bias dari proses pengumpulan, pelabelan, atau keputusan manusia yang menghasilkan data tersebut.

Misalnya, sistem yang dilatih menggunakan data pelanggan dari satu kelompok saja mungkin menghasilkan prediksi yang kurang akurat bagi kelompok lain. Pada sistem yang berdampak terhadap manusia, perbedaan performa antarkelompok perlu diperiksa secara khusus, bukan disembunyikan di balik satu angka akurasi keseluruhan.

Privasi juga harus diperhatikan sejak pengumpulan data. Informasi pribadi tidak boleh dikumpulkan atau digunakan tanpa dasar dan kewenangan yang sesuai. Menghapus nama dari dataset pun belum tentu membuat data anonim apabila seseorang masih dapat diidentifikasi melalui kombinasi atribut lainnya.

Untuk mengurangi risiko, programmer perlu membatasi pengumpulan data pada kebutuhan proyek, mengamankan akses, memeriksa izin penggunaan, serta menetapkan masa penyimpanan yang sesuai. Dataset untuk pengembangan AI sebaiknya memiliki dokumentasi mengenai sumber, tujuan, keterbatasan, dan aturan penggunaannya.

11. Kesalahan Umum Saat Mengolah Dataset AI

12. Checklist Sebelum Melatih Model AI

Sebelum menjalankan training, gunakan checklist berikut untuk memastikan bahwa persiapan data sudah dilakukan secara sistematis.

Kesimpulan

Data merupakan fondasi penting dalam pengembangan Artificial Intelligence. Dataset menyediakan contoh yang dianalisis atau dipelajari oleh algoritma, fitur menjadi masukan model, sedangkan label berfungsi sebagai target pada supervised learning. Data training digunakan untuk mempelajari pola, sementara validation set dan test set membantu menilai serta memilih model dengan cara yang lebih terkontrol.

Namun, mengumpulkan data saja tidak cukup. Programmer perlu memeriksa relevansi, akurasi, kelengkapan, konsistensi, keterwakilan, dan izin penggunaan data. Proses preprocessing kemudian menyiapkan data agar sesuai dengan kebutuhan algoritma, dengan tetap menghindari kebocoran informasi dari data pengujian.

Bagi siapa pun yang ingin membangun AI sendiri, menguasai pengolahan data merupakan langkah penting sebelum beralih ke algoritma yang lebih kompleks. Model yang canggih tetap membutuhkan data yang sesuai, proses evaluasi yang benar, dan pemahaman terhadap keterbatasannya.

Mulailah dengan dataset kecil yang mudah dipahami, periksa setiap kolom, pisahkan fitur dan target, lalu bangun pipeline preprocessing yang dapat diuji. Dari proses sederhana inilah fondasi untuk mengembangkan sistem machine learning dan aplikasi AI yang lebih kompleks mulai terbentuk.