tHttpRequest - Talend Open Studio

 Komponen tHttpRequest pada Talend Open Studio

tHttpRequest adalah komponen magic yang saya sukai pada Talend Open Studio (TOS). Nama komponen tersebut sudah menandakan fungsinya, yaitu melakukan permintaan perintah HTTP baik POST maupun GET.

Banyak petunjuk penggunaan atau tutorial dalam metode ektrak, transfer dan load menggunakan file CSV. Itu mungkin cara yang singkat untuk menulis sebuah tutorial. Kenyataan dalam sebuah sistem adalah "Bisa tidak ambil langsung dari sumbernya?". Khususnya kita warga +62 yang sangat menyukai otomasi. Jika anda sampaikan pada klien bahwa diperlukan admin untuk unduh file, kemudian unggah kembali ke dalam sistem. Maka 99% sistem akan mangkrak setelah serah terima.

Web service atau API adalah urutan perintah permintaan http yang sangat memudahkan dalam proses pengumpulan data. Kita sangat sering berinteraksi dengan web service dalam dunia ektrak, transfer dan load (ETL). Komponen tHttpRequest menjadi favorit saya guna mengambil data secara online untuk membangun pipeline ETL. 

Mudahnya silahkan buka TOS anda, buat repository project dan buat job baru pada menu Job Design. Anda akan dihadapkan dengan kanvas kosong untuk disain pipeline. Pilih tHttpRequest pada palete komponen, kemudian letakkan pada kanvas Anda.

Double klik pada komponen tHttpRequest akan membuka tab Component di jendela bawah kanvas. Atribut pertama adalah properti, yaitu skema dari struktur JSON file sumber. Karena tugasnya hanya untuk unduh file maka atribut properti tidak ada pilihannya. Jika Anda sunting skema, maka kolom yang tersedia adalah "ResponContent" dengan karakter string.

Selanjutnya adalah atribut URI, saya gunakan alamat dari BMKG, yaitu https://peta-maritim.bmkg.go.id/public_api/overview/gelombang.json. Pilih metode GET untuk ambil data json dari alamat tersebut.

Melihat hasil permintaan http dapat dilakukan dengan menambah komponen tLogRow. Hubungkan kedua komponen dengan koneksi Row > Main, klik kanan pada komponen tHttpRequest. Buka Tab Run Job dan eksekusi tombol <Run>, akan menampilkan isi data. Dapat dilihat pada gambar dibawah ini.

Selamat, Anda berhasil mengambil data dalam format JSON. Jika anda hendak menyimpan berkas, aktifkan pilihan <Write respon content to file> pada tab componen tHttpRequest. Masukkan alamat direktori yang sesuai.
Catatan : file json tujuan harus dibuat terlebih dahulu pada direktori tujuan.

Terima Kasih, silahkan beri komentar pada postingan ini

#TOS #talendopenstudio #dataintegration #etl