... | ... | @@ -12,7 +12,7 @@ Sistem yang dibutuhkan agar menjalankan program ini dengan baik : |
|
|
### ***Running*** :
|
|
|
|
|
|
##### **training.py**
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan pada file ***training.py***. Apabila pada folder data terdapat data yang sudah *clean* . Maka akan ada *option* seperti gambar dibawah ini, untuk melihat proses yang akan dijalankan
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan pada file ***training.py***. Apabila pada **folder data** terdapat data yang sudah *clean* . Maka akan ada *option* seperti gambar dibawah ini, untuk melihat proses yang akan dijalankan
|
|
|
|
|
|

|
|
|
|
... | ... | @@ -56,7 +56,7 @@ Sistem yang dibutuhkan agar menjalankan program ini dengan baik : |
|
|
### ***Running*** :
|
|
|
|
|
|
##### **word.py**
|
|
|
Dalam melakukan klasifikasi level kata yang dilakukan cukup dengan melakukan *running* pada file **word.py** . Ketika file tersebut dijalankan, maka akan dideteksi apakah pada folder data ada data yang sudah dilakukan *preprocessing* atau belum. Jika belum, maka otomatis akan diambil data tanpa *preprocessing*. Jika ada data yang sudah di *preprocessing* maka akan menampilkan tampilan sebagai berikut
|
|
|
Dalam melakukan klasifikasi level kata yang dilakukan cukup dengan melakukan *running* pada file **word.py** . Ketika file tersebut dijalankan, maka akan dideteksi apakah pada **folder data** ada data yang sudah dilakukan *preprocessing* atau belum. Jika belum, maka otomatis akan diambil data tanpa *preprocessing*. Jika ada data yang sudah di *preprocessing* maka akan menampilkan tampilan sebagai berikut
|
|
|
|
|
|

|
|
|
|
... | ... | @@ -96,7 +96,7 @@ Sistem yang dibutuhkan agar menjalankan program ini dengan baik : |
|
|
### ***Running*** :
|
|
|
|
|
|
##### **preprocessing.py**
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan pada file ***preprocessing.py***. Pastikan data yang ingin di-*preprocessing* sudah ada pada folder **data**. Setelah dilakukan *running* pada file **preprocessing.py** kemudian akan muncul file baru pada folder **data** dengan format clean_(file).csv
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan pada file ***preprocessing.py***. Pastikan data yang ingin di-*preprocessing* sudah ada pada **folder data**. Setelah dilakukan *running* pada file **preprocessing.py** kemudian akan muncul file baru pada **folder data** dengan format clean_(file).csv
|
|
|
|
|
|
Selain itu ada pula file lain yang akan dihasilkan dalam tahapan *preprocessing* ini diantaranya adalah
|
|
|
* time_preprocessing_(file).txt : yang bertujuan untuk menghitung waktu yang dibutuhkan dalam *preprocessing*
|
... | ... | @@ -105,29 +105,37 @@ Selain itu ada pula file lain yang akan dihasilkan dalam tahapan *preprocessing* |
|
|
### **File Pendukung** :
|
|
|
|
|
|
##### **stop_list_indo.txt**
|
|
|
File ini merupakan sebuah *stop list* yang didapatkan berdasarkan penelitian yang dilakukan [Tala A.Z.](https://github.com/masdevid/ID-Stopwords)
|
|
|
File ini merupakan sebuah *stop list* yang didapatkan berdasarkan penelitian yang dilakukan [Tala A. Z.](https://github.com/masdevid/ID-Stopwords)
|
|
|
|
|
|
|
|
|
|
|
|
___
|
|
|
## Tahapan Pengumpulan Data
|
|
|
Tahapan ini data akan dilakukan pengumpulan data dengan *scrapping* pada file **preprocessing**. Preprocessing akan dilakukan dengan menggunakan metode *stemming* dan juga *stop-words removal*
|
|
|
Tahapan ini data akan dilakukan pengumpulan data dengan *scrapping* beberapa media online seperti [*detik*](https://www.detik.com/),[*kumparan*](https://kumparan.com/),dan [*kompas*](https://www.kompas.com/)
|
|
|
|
|
|
### ***Requirement*** :
|
|
|
Sistem yang dibutuhkan agar menjalankan program ini dengan baik :
|
|
|
1. Python 3.6.
|
|
|
2. Sastrawi 1.0.1
|
|
|
2. Request 2.18.4
|
|
|
3. Beautifulsoup 4.6.
|
|
|
4. Selenium 3.9.
|
|
|
|
|
|
|
|
|
### ***Running*** :
|
|
|
|
|
|
##### **preprocessing.py**
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan pada file ***preprocessing.py***. Pastikan data yang ingin di-*preprocessing* sudah ada pada folder **data**. Setelah dilakukan *running* pada file **preprocessing.py** kemudian akan muncul file baru pada folder **data** dengan format clean_(file).csv
|
|
|
##### **scrapper.py**
|
|
|
Untuk melakukan *running* pada program dapat dilakukan dengan melakukan *running* pada script **scrapper.py**. Kelas yang akan di-*scrapping* pada penelitian ini antara lain Ekonomi, Politik, Kesehatan, Olahraga, dan Hiburan.
|
|
|
|
|
|
Selain itu ada pula file lain yang akan dihasilkan dalam tahapan *preprocessing* ini diantaranya adalah
|
|
|
* time_preprocessing_(file).txt : yang bertujuan untuk menghitung waktu yang dibutuhkan dalam *preprocessing*
|
|
|
1. temp_preprocessing_(file).csv : yang bertujuan untuk melakukan proses back-up selama proses *preprocessing* berlangsung.
|
|
|
Selain itu ada pula file lain yang akan dihasilkan dalam tahapan *scrapping* ini diantaranya adalah
|
|
|
|
|
|
**Keterangan** :
|
|
|
|
|
|
(kelas) : bisa berisikan tulisan "politik", "ekonomi", "kesehatan", "olahraga" dan "hiburan"
|
|
|
|
|
|
* (kelas)_link.txt : yang bertujuan untuk melakukan back up pada *link* yang telah di-*scrapping*
|
|
|
* backward_kes: yang bertujuan untuk meng-*cache* waktu mundur dari portal [*detik*](https://www.detik.com/)
|
|
|
|
|
|
### **File Pendukung** :
|
|
|
|
|
|
##### **stop_list_indo.txt**
|
|
|
File ini merupakan sebuah *stop list* yang didapatkan berdasarkan penelitian yang dilakukan [Tala A.Z.](https://github.com/masdevid/ID-Stopwords) |
|
|
\ No newline at end of file |
|
|
##### Web Driver
|
|
|
Web driver yang digunakan dapat bermacam-macam seperti PhantomJS, Chrome, dan lain lain sebagainya. Pada penelitian ini digunakan [Chrome Driver](https://chromedriver.storage.googleapis.com/index.html?path=2.41/) |