PENGEMBANGAN APLIKASI WEB CRAWLER MENGGUNAKAN ALGORITMA BREADTH-FIRST SEARCH UNTUK KEPERLUAN PEMETAAN DAN PERANGKINGAN WEB BERBASIS KONTEN

FAUZAN SANDY PRADANA, Mardhani Riasetiawan, S.E., A.k., M.T.

2014 | Skripsi | S1 ILMU KOMPUTER

Perkembangan halaman web saat ini sangat pesat dengan bertambah mudahnya akses yang memungkinkan hampir setiap orang dapat membuat halaman web. Dengan banyaknya halaman web, diikuti semakin banyak pula dokumen yang diunggah atau melekat pada halaman web tersebut sehingga dapat dilakukan penghitungan jumlah dokumen yang dimiliki yang hasilnya dapat digunakan sebagai pemetaan halaman web dan perangkingan dengan berbasis konten. Perlu dibuat suatu sistem yang dapat melakukan pencarian secara otomatis yang dapat menjelajah halaman halaman web tersebut dan kemudian mencatat serta menampilkan ke pengguna. Salah satu algoritma pencarian yang dapat digunakan untuk membantu melakukan penjelajahan halaman web ini ialah algoritma BREADTH-FIRST SEARCH. Penelitian ini berusaha membangun sistem penjelajah halaman web secara otomatis yang menggunakan algoritma BREADTH-FIRST SEARCH. Sistem dikembangan berbasis web yang memudahkan untuk menampilkan hasil dari pencarian. Dalam pengembangannya diperlukan juga filter halaman web yang berguna untuk menyaring halaman web yang dilakukan kunjungan berikutnya, hal ini berguna untuk membuat sistem lebih tepat melakukan kunjungan halaman web. Hasil keluaran yang diperoleh merupakan jumlah web yang telah dikunjungi secara otomatis oleh sistem dan hasil pencatatan dokumen yang melekat pada halaman web. Hasil kunjungan halaman-halaman web tersebut ditampilkan dalam bentuk diagram / chart. Keluaran ini dapat membantu pengguna untuk melakukan pemetaan dan perangkingan terhadap beberapa halaman web sekaligus tanpa harus mengunjungi halaman web satu persatu dan mendapatkan informasi tautan dokumen yang dimiliki. Halaman web yang dikunjungi merupakan halaman web yang relevan terhadap kata kunci yang dimasukkan yang berguna menghindari halaman yang tidak sesuai dengan halaman yang diinginkan.

The development of the current web page very rapidly with increasing ease of access that allows almost anyone can create web pages. With so many web pages, followed by the more documents are uploaded or attached to the web page so that it can be done counting the number of documents held that the results can be used as mapping and ranking the web page with content-based. It needs to make a system that can automatically search pages that can crawl the web page and then record and display to the user. One search algorithms that can be used to help carry out the exploration of this web page is breadth-first search. This study seeks to build the system automatically explorer web page that uses breadth-first search algorithm. To development of web-based system that allows for the display of search results. In developing the necessary also filter web pages that are useful for filtering web pages do next visit, it is useful to make the system more appropriate to visit the web page. The output obtained is the number of visited web automatically by the system and attached documents recording the results on a webpage. Results visits web pages are displayed in the form of a diagram / chart. This output can help the user to perform mapping and perangkingan against multiple web pages at once without having to visit web pages one by one and get a document link information possessed. Visited web pages are web pages that are relevant to the keywords entered useful to avoid pages that do not conform to the desired page.

Kata Kunci : Penjelajah web otomatis, BREADTH-FIRST SEARCH, Pemetaan dan perangkingan web, web crawler, Mapping and web ranking