PENERAPAN FOCUSED CRAWLING PADA SITUS BERITA ONLINE
2016: Seminar Informatika Aplikatif Polinema (SIAP)
Abstract
Dalam beberapa penelitian data berita sangat dibutuhkan sebagai objek penelitiannya. Data berita dapat
diperoleh dengan mudah dari situs berita online dengan cara mengunjungi situs berita yang diinginkan dan
mengambil berita tersebut satu per satu. Dikarenakan data berita yang dibutuhkan tidak sedikit jumlahnya maka
cara tersebut tidak efektif dan efisien. Maka untuk memudahkan proses pencarian data berita dibutuhkan suatu
program yang dapat melakukan pencarian data berita secara keseluruhan. Web crawlermerupakan suatu proses
yang digunakan dalam mesin pencarian atau search engineuntuk menelusuri atau merayapi halaman dari suatu
website guna mencari informasi yang diinginkan. Dengan menerapkan metode Depth-first crawlingdan Focused
crawling, crawler atau program crawlingdapat melakukan penelusuran dari halaman ke halaman sesuai node
yang sudah ditentukan dan dapat fokus menelusuri halaman yang merujuk pada konten berita. Hasil dari
program crawlingini berupa data berita yang memiliki tipe data XML dan JSON. Selain itu penelitian ini juga
menghasilkan data berita sejumlah 150.466 data berita. Data tersebut dapat digunakan dalam penelitian lain yang
membutuhkan data berita sebagai objek penelitiannya.
diperoleh dengan mudah dari situs berita online dengan cara mengunjungi situs berita yang diinginkan dan
mengambil berita tersebut satu per satu. Dikarenakan data berita yang dibutuhkan tidak sedikit jumlahnya maka
cara tersebut tidak efektif dan efisien. Maka untuk memudahkan proses pencarian data berita dibutuhkan suatu
program yang dapat melakukan pencarian data berita secara keseluruhan. Web crawlermerupakan suatu proses
yang digunakan dalam mesin pencarian atau search engineuntuk menelusuri atau merayapi halaman dari suatu
website guna mencari informasi yang diinginkan. Dengan menerapkan metode Depth-first crawlingdan Focused
crawling, crawler atau program crawlingdapat melakukan penelusuran dari halaman ke halaman sesuai node
yang sudah ditentukan dan dapat fokus menelusuri halaman yang merujuk pada konten berita. Hasil dari
program crawlingini berupa data berita yang memiliki tipe data XML dan JSON. Selain itu penelitian ini juga
menghasilkan data berita sejumlah 150.466 data berita. Data tersebut dapat digunakan dalam penelitian lain yang
membutuhkan data berita sebagai objek penelitiannya.
Copyright ©2020 Jurusan Teknologi Informasi - Politeknik Negeri Malang.
References
Astuti, K. D., dkk., 2009. Analisis Performansi
Web Crawler Berbasis Backlink, Breadth First
Search, dan Pagerank. Bandung: Universitas
Telkom
Brooks, C. H., Web Crawling as an AI Project. US:
Department of Computer Science, University
of San Francisco
Budhi, G. S., dkk., 2006. Aplikasi Web Grabber
Untu Mengambil Halaman Web Sesuai
Dengan Keyword Yang Diinputkan. Surabaya:
Universitas Kristen Petra
Kumar, R., dkk., 2014. Survey Of Web Crawling
Algorithms. India: RGPVUniversity Bhopal
Nigam, A., 2014. Web Crawling Algorithms. India:
National Institute of Technology
Pavalam, S. M., dkk., 2011. A Survey of Web
Crawler Algorithms. IJCSI International
Journal of Computer Science Issues, Vol. 8,
Issue 6, No 1
Rosmala, D. dan Syafei, R. R., 2011. Implementasi
Webcrawler Pada Social Media Monitoring.
Bandung: Institut Teknologi Nasional Bandung
Sarwosri, dkk., 2009. Aplikasi Web Crawler Untuk
Web Content Pada Mobile Phone. Surabaya:
Institut Teknologi Sepuluh Nopember
Zuliarso, E., & Mustofa, K., 2009. Crawling Web
Berdasarkan Ontology. Yogyakarta:
Universitas Gadjah Mada
Web Crawler Berbasis Backlink, Breadth First
Search, dan Pagerank. Bandung: Universitas
Telkom
Brooks, C. H., Web Crawling as an AI Project. US:
Department of Computer Science, University
of San Francisco
Budhi, G. S., dkk., 2006. Aplikasi Web Grabber
Untu Mengambil Halaman Web Sesuai
Dengan Keyword Yang Diinputkan. Surabaya:
Universitas Kristen Petra
Kumar, R., dkk., 2014. Survey Of Web Crawling
Algorithms. India: RGPVUniversity Bhopal
Nigam, A., 2014. Web Crawling Algorithms. India:
National Institute of Technology
Pavalam, S. M., dkk., 2011. A Survey of Web
Crawler Algorithms. IJCSI International
Journal of Computer Science Issues, Vol. 8,
Issue 6, No 1
Rosmala, D. dan Syafei, R. R., 2011. Implementasi
Webcrawler Pada Social Media Monitoring.
Bandung: Institut Teknologi Nasional Bandung
Sarwosri, dkk., 2009. Aplikasi Web Crawler Untuk
Web Content Pada Mobile Phone. Surabaya:
Institut Teknologi Sepuluh Nopember
Zuliarso, E., & Mustofa, K., 2009. Crawling Web
Berdasarkan Ontology. Yogyakarta:
Universitas Gadjah Mada