Laporkan Masalah

Pemetaan Big Data dengan Implementasi Aggregation Pipeline pada MongoDB untuk Pembentukan Datamart

YULINRI TRI MADYA, Mardhani Riasetiawan, M.T

2015 | Skripsi | S1 ILMU KOMPUTER

Data digital memiliki metadata yang mampu memberikan informasi mengenai data itu sendiri. Berawal dari pengelolaan metadata, bisa diperoleh banyak informasi yang dapat disajikan dan dikembangkan. Metadata sebagai hasil ekstraksi dari sebuah data selanjutnya dianalisis kembali untuk kemudian melalui proses pemetaan dengan 5 karakteristik Big Data (Variety, Volume, Velocity,Veracity, dan Value). Penelitian ini akan berfokus pada pemetaan parameter big data dengan menggunakan metode aggregation pipeline. Pemetaan elemen big data akan dilakukan berdasarkan kesesuaian definisi objek parameter hasil ekstraski metadata dengan definisi 5 karaketristik yang dimiliki big data. Setiap file dalam system akan diekstraksi dan hasil ekstraksi akan menghasilkan objek-objek parameter. Kumpulan objek hasil ekstraksi ini kemudian di agregasi menggunakan metode aggregation pipeline yang diimplementasikan di dalam basis data mongoDB, lalu disimpan ke dalam basis data non-relasional. Informasi dari proses diatas akan disajikan dalam bentuk tampilan datamart. Berdasarkan hasil pengujian, telah berhasil dikembangkan sebuah metode , yaitu Aggregation Pipeline yang mampu mendukung pemetaan parameter big data by definition dan kemudian disajikan dalam bentuk data mart, sesuai kebutuhan sistem yang telah dirancang. Aplikasi ini mampu menyimpan, mengelola dan menampilkan berbagai format file, elemen big data yang terkandung pada file serta metadata preservasinya. Adapun fitur-fitur yang terdapat pada aplikasi ini adalah upload file, download, file, explore file, searching dan pengelolaan user.

A digital data has metadata element that presents information about the data itself. Started from metadata management, it can be obtained a lot of information that can be served and developed. One of them is metadata development as the way of managing data in the era of Big Data nowadays. This research will be focused on mapping big data as element by using agregation pipeline method. Mapping elements big data will be conducted by virtue of conformity definition object parameter, the result of FITS metadata extraction, with definition from five of Big Data characteristic. Every file which processed in system will be extracted and the outcome from the extraction will generate some object parameters. Assambleged of objects extraction will passed to aggregation process which using aggregation pipeline method, and will be stored in a nonrelational database. Information from the process will be presented in the form of datamart display. Based on the test result, Implementation of aggregation pipeline method has been succesfull developed, wich capable to supporting mapping Big Data parameter based on defifnition and then presented in datama mart concept, according to the needs that system has been designed. This application is able to store, manage and display a variety of file formats and it is contained with big data element and preservation metadata. Meanwhile features contained in the system is upload file, download file, explore file, searching, and user management.

Kata Kunci : metadata, ektraksi, datamart,aggregation pipeline, basis data nonrelasional

  1. S1-2015-356739-abstract.pdf  
  2. S1-2015-356739-bibliography.pdf  
  3. S1-2015-356739-tableofcontent.pdf  
  4. S1-2015-356739-title.pdf