Skip to content
D

data_cleaning

Project ID: 397

Pengembangan Aplikasi Data Cleaning untuk Multiple Data Edits

Aplikasi ini mengembangkan metode semi-auto yang memperbaiki data secara hollistic atau secara menyeluruh dengan memperhatikan interaksi antar rules untuk mendapatkan perbaikan data terbaik dan menyediakan opsi untuk mempermudah perbaikan manual. Perbaikan manual diterapkan karena beberapa error hanya bisa diperbaiki oleh pengalaman subject matter. Aplikasi ini bertujuan untuk mempermudah dan mengurangi waktu, tenaga, dan cost yang dipakai BPS pada tahap perbaikan data.

Daftar Isi

Requirements

  • Prosesor intel core i5-3317U ~1.7Ghz
  • RAM 12 GB
  • Harddisk 1 TB
  • VGA NVIDIA GeForce GT 740M 2GB
  • Windows OS
  • Netbeans 8.1
  • yfiles 2.14 Evaluation
  • Ms Excel

Bahasa Pemrograman

  • Java

Datasets

  • Subset dari Data Susenas 2016: 209 Atribut, 483 Rules, 100 Record Random, dan error rate sebesar 5%, 10%, 15%, 20%, 25%, 30%

Fitur

  • GUI input files
  • Perbaikan data secara hollistic atau menyeluruh dengan memperhatikan interaksi antar rules
  • Deskripsi data yang memiliki error
  • Deskripsi data yang telah diperbaiki
  • Melihat rules yang dilanggar
  • Representasi Rules berupa graph
  • Representasi graph error
  • Perbaikan data manual

Demo dan Screenshoot Aplikasi

Menu Input

Menu_Input

  • User bisa memilih salah satu dari opsi input data, input rules, atau input domain dan multiple. jika setelah selesai menginput files perbaikan data akan dimulai tengan menekan tombol centang. Perbaikan data akan dimulai setelah tombol centang memperiksa apakah data telah dimasukan, jika salah satu files belum diinput aplikasi akan memberi peringatan.

Input Data atau Input Rules

2._Input_Data

  • Tampilan ketika User memilih opsi input data atau input rules

Input Domain dan Multiple

4._Input_Domain

  • Tampilan ketika User memilih opsi input domain dan multiple

Deskripsi Record

8._Deskripsi_Data

  • User dapat melihat data yang memiliki error, jumlah error, rules yang dilanggar, dan representasi rules.

Rules yang dilanggar

6._Lihat_rule_yang__dilanggar

  • tampilan jika menekan opsi 'rules' .

Representasi Rules

7._Representasi_Rules

  • tampilan jika menekan opsi 'Representasi rules'.

Deskripsi Record Setelah Diperbaiki

5._Data_setelah_Diperbaiki

  • User dapat melihat data yang memiliki error, jumlah error, rules yang dilanggar, dan representasi graph error pada data yang telah diperbaiki. terdapat juga opsi perbaikan manual pada panel ini.

Representasi Graph Error

9._Lihat_graph

  • tampilan jika opsi 'Graph' diclick.

Perbaikan Data Secara Manual

10._Perbaikan_data_secara_manual

  • aplikasi akan membuka aplikasi MS excel dengan data baru. data baru adalah data yang telah diperbaiki, hal ini dilakukan supaya tidak kehilangan data asli.

Dokumentasi Pengembangan

Install netbeans 8.1

  • Tahap awal pengembangan dimana aplikasi ini dipakai sebagai IDE untuk penulisan aplikasi multiple data edits dan pembentukan GUI.

Tambahkan library yfiles 2.14 evaluation

  • Library ini berguna untuk melakukan perhitungan dan representasi graph pada metode multiple data edits.

Deskripsi data dan Deskripsi data setelah diperbaiki

  • Penelitian ini merupakan lanjutan dari penelitian Wa Ode Zuhayeni yang berjudul "Algoritma Perbaikan Data untuk Multiple Data Edits". Penelitian tersebut berfokus untuk menghasilkan metode terbaik untuk multiple data edits. Penelitian ini memakai algoritme yang dihasilkan dari penelitian tersebut untuk membuat aplikasi yang mempermudah BPS dalam melakukan perbaikan data. Deskripsi data dan Deskripsi data setelah diperbaiki memudahkan subject matter untuk melihat jumlah error, represesntasi rules, dan rules yang dilanggar dengan mudah.

Representasi Graph error

  • Merupakan fitur yang merepresentasikan error kedalam graph sehingga mempermudah subject mater dalam melakukan perbaikan data secara manual.

Perbaikan data secara manual

  • Tahap ini menghubungkan Ms excel dengan aplikasi yang dikembangkan. Data yang telah diperbaiki dapat dibuka pada Ms excel sehingga subject matter dengan mudah bisa memperbaiki data.

Fitur yang dapat dikembangkan pada penelitian selanjutnya

  • Pembuatan multiple secara otomatis.
  • Optimasi pada algoritme dan peforma metode Multiple Data edits.
  • Perbaikan data manual dibantu dengan panel input yang lebih memudahkan SM dalam memperbaiki data.