Menengah Data Analyst

Cara Menemukan dan Menghapus Data Duplikat

Belajar mengenali data duplikat, memahami kenapa duplikat bisa terjadi, serta cara sederhana mengecek dan menangani data duplikat menggunakan Excel.

Cara Menemukan dan Menghapus Data Duplikat

Apa Itu Data Duplikat?

Data duplikat adalah data yang muncul lebih dari satu kali padahal seharusnya hanya tercatat satu kali.

Contohnya:

IDNamaProduk
001AndiLaptop
002BudiMouse
001AndiLaptop
003CitraKeyboard
Geser ke samping untuk melihat seluruh tabel

Data dengan ID 001 muncul dua kali.

Kalau kedua baris tersebut ternyata merupakan data yang sama, berarti terdapat duplikat.

Kenapa Data Duplikat Bisa Terjadi?

Data duplikat bisa muncul karena:

  • Data dimasukkan dua kali
  • Kesalahan input
  • Data digabung dari beberapa file
  • Kesalahan sistem
  • Proses copy-paste
  • Data dari beberapa sumber memiliki record yang sama

Contohnya seseorang tidak sengaja memasukkan transaksi yang sama sebanyak dua kali.

Kenapa Data Duplikat Harus Diperhatikan?

Karena data duplikat bisa membuat hasil analisis menjadi salah.

Misalnya data penjualan sebenarnya:

ProdukTerjual
Laptop10
Mouse20
Geser ke samping untuk melihat seluruh tabel

Tetapi transaksi Laptop tercatat dua kali:

ProdukTerjual
Laptop10
Laptop10
Mouse20
Geser ke samping untuk melihat seluruh tabel

Kalau langsung dihitung, jumlah penjualan Laptop akan terlihat 20, padahal sebenarnya hanya 10.

Jadi, duplikat dapat memengaruhi hasil analisis.

Cara Menemukan Data Duplikat

Sebelum menghapus, kita harus mencari tahu apakah ada data yang sama.

Contohnya:

IDNamaKota
001AndiBandung
002BudiJakarta
001AndiBandung
003CitraTasikmalaya
Geser ke samping untuk melihat seluruh tabel

Terlihat bahwa data dengan ID 001 muncul dua kali.

Tetapi jangan langsung menghapusnya.

Periksa terlebih dahulu apakah kedua data memang benar-benar sama.

Duplikat Tidak Selalu Berarti Salah

Ini penting.

Misalnya:

ID TransaksiNamaProduk
001AndiLaptop
002AndiMouse
Geser ke samping untuk melihat seluruh tabel

Nama Andi muncul dua kali.

Tetapi ini bukan berarti data duplikat.

Andi bisa saja melakukan dua transaksi berbeda.

Jadi jangan hanya melihat satu kolom.

Periksa konteks keseluruhan data.

Cara Menghapus Duplikat di Excel

Excel memiliki fitur Remove Duplicates.

Langkah sederhananya:

1. Pilih seluruh tabel

↓

2. Pilih menu Data

↓

3. Pilih Remove Duplicates

↓

4. Pilih kolom yang digunakan untuk menentukan duplikat

↓

5. Klik OK

Excel kemudian akan menunjukkan berapa data duplikat yang ditemukan dan dihapus.

Contoh

Misalnya terdapat:

IDNamaProduk
001AndiLaptop
002BudiMouse
001AndiLaptop
003CitraKeyboard
Geser ke samping untuk melihat seluruh tabel

Jika ID digunakan sebagai identitas transaksi dan 001 memang tercatat dua kali, salah satu data dapat dihapus.

Hasilnya:

IDNamaProduk
001AndiLaptop
002BudiMouse
003CitraKeyboard
Geser ke samping untuk melihat seluruh tabel

Jangan Asal Menghapus Duplikat

Sebelum menghapus, tanyakan:

Apakah data ini benar-benar duplikat?

Misalnya:

NamaProdukJumlah
AndiLaptop1
AndiLaptop2
Geser ke samping untuk melihat seluruh tabel

Nama dan produk sama.

Tetapi jumlahnya berbeda.

Belum tentu kedua data tersebut duplikat.

Bisa saja Andi melakukan dua transaksi berbeda.

Jadi, pahami konteks dataset terlebih dahulu.

Tips Aman Saat Membersihkan Data

Sebelum menghapus data:

  • Buat salinan dataset asli
  • Jangan langsung mengubah data original
  • Periksa data yang dianggap duplikat
  • Pastikan alasan penghapusan jelas
  • Simpan versi data sebelum dan sesudah cleaning

Contohnya:

Data_Original.xlsx
Data_Cleaning.xlsx

Dengan begitu, kalau terjadi kesalahan kamu masih memiliki data awal.

Checklist Data Duplikat

Sebelum selesai melakukan pengecekan, pastikan:

  • Sudah mengecek data duplikat
  • Sudah mengetahui penyebab duplikat
  • Sudah menentukan kolom identitas
  • Sudah memastikan data memang duplikat
  • Sudah membuat backup data original
  • Sudah menghapus duplikat jika memang diperlukan
  • Sudah mengecek kembali hasil akhirnya

Latihan

Perhatikan dataset berikut:

IDNamaProdukJumlah
001AndiLaptop1
002BudiMouse2
001AndiLaptop1
003CitraKeyboard1
004AndiLaptop2
Geser ke samping untuk melihat seluruh tabel

Coba jawab:

  1. Apakah ada data yang terlihat duplikat?
  2. Data mana yang kemungkinan merupakan duplikat?
  3. Apakah semua data Andi harus dihapus?
  4. Kolom apa yang bisa digunakan untuk mengecek duplikat?

Kesimpulan

Data duplikat adalah data yang tercatat lebih dari satu kali dan dapat menyebabkan hasil analisis menjadi tidak akurat.

Yang perlu diingat:

Cari → Periksa → Pahami → Baru Hapus

Jangan langsung menghapus data hanya karena terlihat sama.

Selalu lihat konteks dataset sebelum menentukan apakah sebuah data benar-benar duplikat.

Kategori: Data Analyst