Rimulyo Hendradi, S.Si., MSi. and Eto Wuryanto, Drs., DEA and Dyah Herawatie, Ir., M.Si. (2005) PENERAPAN METODE SQUASHING PADA DATA BERUKURAN BESAR YANG BERDISTRIBUSI PARETO TERGENERALISIR. UNIVERSITAS AIRLANGGA, Surabaya. (Unpublished)

Preview	Text (ABSTRAK) gdlhub-gdl-res-2008-hendradiri-7526-lp1060-k.pdf Download (432kB) | Preview
	Text (FULLTEXT) gdlhub-gdl-res-2008-hendradiri-7412-lp10608-min.pdf Restricted to Registered users only Download (1MB) | Request a copy

Abstract

Data warehouse (data yang berukuran sangat besar) merupakan hasil dari pesatnya perkembangan teknologi informasi akibat penggunaan database. Dengan jumlah data yang sangat besar maka baik analisis maupun visualisasi data dengan metode-metode tradisional sulit dikerjakan bahkan tidak bisa dilakukan. Sehingga perlu dicarikan cara supaya dapat dilakukan pengolahan data yang berukuran besar tersebut. Cara paling sederhana adalah melakukan pengurangan jumlah data (reduksi data) dengan metode sampling tradisional (konvensional), misalkan metode sampling acak sederhana, sistematik dan stratifikasi. Tetapi cara ini masih diragukan apakah data hasil sampling tersebut sudah mewakili massive dataset yang merupakan data induknya. Penelitian terbaru yang dilakukan DuMouchel et al (1999) .mengusulkan suatu pendekatan baru yang disebut metode squashing, yang mereduksi massive dataset menjadi dataset yang lebih kecil dan dapat mempresentasikan data induk. Dalam reduksi data, sifat data dengan heavy tail merupakan hal yang sangat menarik karena sampel yang dihasilkan dari jenis data ini diperlukan jumlah yang besar supaya dapat mempresentasikan dataset induk. Salah satu data dengan heavy tail ini adalah data yang berdistribusi Pareto tergeneralisir yang diindikasikan oleh parameter tail-nya. Penelitian ini bertujuan mem; eroleh sampel dari data berukuran besar yang berdistribusi Pareto tergeneneralisir, yang dapat diolah secara statistik dengan mudah dan menghasilkan akurasi sesuai keinginan dalam proses pengambilan keputusan (inferensi). Untuk tujuan ini akan dibandingkan sampling hasil dari metode sampling tradisional (metode sampling acak sederhana, sistematik, dan stratifikasi) dan metode squashing, dengan menggunakan indikator nilai MSE. Untuk mencapai tujuan di atas digunakan metode penelitian berikut : penyusunan algoritma yang meliputi antara lain membangkitkan data yang berdistribusi Pareto tergeneralisir; penentuan sampel dengan menggunakan metode tradisional dan metode squashing; estimasi parameter dari Pareto tergeneralisir untuk data squashing dan non data squashing dengan menggunakan metode maksimum likelihood dan Newton-Raphson. Selanfutnya, algoritma tersebut disusun ke dalam program komputer (dengan software S-plus). Reduksi data atau pembuatan sampel dengan metode squashing dapat dilakukan dengan cara : Pertama, melakukan pengelompokkan terhadap data induk ke dalam beberapa partisi atau kelompok yang sama. Kedua, untuk per kelompok jumlah anggotanya berfungsi sebagai nilai pembobot dan nilai pseudo point-nya sama dengan rata-rata dari data di masing-masing kelompok. Penerapan metode squashing dalam penentuan sampel dari data induk yang beristribusi Pareto Tergeneralisir bisa dilakukan dengan cara : Pertama, melakukan pengelompokkan terhadap data induk ke dalam beberapa kelompok yang sama. Kedua, pada tiap kelompok dihitung secara acak r (r > 1) nilai pembobot dan r nilai pseudo point. Dan data basil simulasi, untuk metode tradisional yang cenderung memberikan hasil estimasi yang lebih balk adalah metode sampling sistematik dan metode stratifikasi. Jika dibandingkan dengan metode tradisional, metode squashing menunjukkan basil yang lebih balk. Hal ini diindikasikan dengan nilai MSE yang lebih kecil untuk estimator dari #945; dan #946;.

Actions (login required)

View Item