Ekstrak Data JSON dengan Talend Open Studio

Ekstrak Data JSON dengan Talend Open Studio

Posting ini kelanjutan dari unggahan sebelumnya thttprequest-tos . Skema JSON dan XML merupakan format standar yang mudah dibaca dalam proses pembuatan pipeline atau integrasi data. Namun proses ekstrak data kerap kali hanya membutuhkan data-data yang spesifik. Pengalaman seorang pipeline builder akan diuji pada pemilihan data mana yang akan di ekstrak. Setiap format atau skema JSON maupun XML memiliki pola yang berbeda-beda. sebagai contoh data banjir 10 tahun (reiver discharge) yang penulis dapatkan dari situs www.open-meteo.com 

{

"latitude": -6.8999977,

"longitude": 109.70001,

"generationtime_ms": 0.42700767517089844,

"utc_offset_seconds": 0,

"timezone": "GMT",

"timezone_abbreviation": "GMT",

"daily_units": {

"time": "iso8601",

"river_discharge": "m³/s"

},

"daily": {

"time": [

"2012-01-01",

"2012-01-02",

"2012-01-03",

"2012-01-04",

"2012-01-05", 

                        ...dstnya

Data yang diharapkan ada pada path "time" dan "river_discharge". Prosesnya adalah sebagai berikut:

1. Buat proyek baru pada Talend Open Studio (TOS)
2. Ikuti langkah-langkah pada postingan thttprequest-tos.
3. Ambil file yang telah di download pada langkah kedua.
4. Tentukan path JSON yang sesuai dengan pilihan data, yakni "time" dan "river_discharge".

Langkah-langkahnya 

1. Pada jendela Designer, tempatkan komponen tFileInputJson dan tLogRow. tFileInputJson berfungsi mengambil file yang telah disimpan dan mengekstrak data. tLogRow difungsikan sebagai visualisasi data ekstrak sebelum di load ke dalam database.
2. Klik ganda pada komponen tFileInputJson untuk membuka tab component.
3. Pada menu Basic Setting, tentukan kolom data yang dipilih melalui tombol Edit Schema (lingkaran merah). 
   
   
   
   

   
   
   Ubah nama kolom sesuai dengan skema json, tentukan tipe file (date dan double) dan format tanggal (yyyy-MM-dd). Pilih tombol OK untuk kembali pada tab component.
4. Tentukan Read By: JsonPath Without Loop. Ini adalah bagian yang perhatian khusus. tidak semua skema json dapat menggunakan Read By JsonPath Without Loop. Anda harus melakukan riset untuk menentukan pilihan Read By yang tepat.
5. Karena menggunakan file yang telah diunduh, maka arahkan filename sesuai letak berkas.
6. kemudian set mapping untuk kedua kolom dengan isian berikut:
   - $.daily.time[*]
   - $.daily.river_discharge[*]
7. Selanjutnya klik kanan pada komponen tFileInputJson, hubungkan dengan komponen tLogRow melalui menu row>main.
8. Pilih mode Table untuk tampilan keluaran data.
   
   
   
   
   
   
9. keseluruhan disain pipeline seperti gambar berikut.
   
   
   
   
   
   
10. Eksekusi disain Anda dengan tombul Run pada tab >>Run, dan akan menghasilkan aliran data seperti dibawah ini.
    
    
    
    
    
    

Selamat mencoba dan tinggalkan komentar Anda untuk postingan ini.

#talendopenstudio

#dataintegration

#etl

#pipelinebuilder