Tahap Proyek ini bertujuan untuk menganalisis berita dimulai dari mengumpulkan data website if.unila.ac.id yang mencakup beberapa kategori berita tersaji web if.unila.ac.id menggunakan teknik web-scraping. Proses pengambilan data dilakukan dengan tools Jupyter Notebook untuk bahasa pemrograman Python dengan bantuan library Beautiful Soup 4 dan Request.
Tahap Pengerjaan dimulai dari pengumpulan data dari website hingga dengan visualisasi analysis yang diperoleh dari proses berikut:
- Pengumpulan Data : Pengumpulan Data dilakukan dengan teknik Web-Scrapping yang diambil dari website if.unila.ac.id
- Processing Data : Melalui proses preprocessing untuk membersihkan dari markup HTML, karakter khusus, serta menghilangkan duplikasi dan entri data yang kosong.
- Analize Data : Menggunakan Apache Spark untuk menganalisis konten berita. Menerapkan analisis teks untuk mengekstrak informasi penting seperti entitas nama, topik, sentimen, dan tren. Menggunakan algoritma NLP (Natural Language Processing) untuk mengidentifikasi topik utama dari setiap berita.
- Visualisasi Data : Membuat visualisasi yang informatif dari hasil analisis, seperti word clouds untuk topik utama, grafik batang untuk jumlah berita per kategori, atau grafik garis untuk tren sentimen.