Metada Pada Talend Open Studio

 Metadata Pada Talend Open Studio

Sebagai lanjutan dari posting sebelumnya terkait topik metadata. Kali ini Penulis akan berikan contoh aplikatif pada perangkat Talend Open Studio (TOS). Talend Open Studio merupakan aplikasi integrasi data yang dikeluarkan oleh Talend Inc - silahkan googling untuk keterangan yang lengkap. 

Menu METADATA dapat ditemukan pada bagian blok <Repository>. TOS memberikan pilihan yang mewah atas jenis metadata, mulai dari flat file, spreadsheet, database bahkan sampai ke Azure dan Salesforce. Umumnya saya menggunakan Metadata untuk jenis data XML dan JSON. 

Klik kanan pada jenis data json, akan keluar pilihan Create Json Schema. selanjutnya Anda akan diminta memasukan keterangan metadata yang akan dibuat. Mulai dari Nama, tujuan, deskripsi, versi dan status metadata (development. testing, production). Lokasi file keluaran telah ditentukan secara tetap oleh TOS.

Selanjutnya Anda akan diminta menentukan model untuk membuat koneksi metadata Json, pilihannya adalah input atau output. Saya pilih input karena prosedurnya adalah mengambil data dari file Json.

Langkah selanjutnya menambah file metadata kedalam repository. Anda akan diminta untuk membuat pengaturan file. Tentukan metode read xpath atau jsonpath (xpath umumnya untuk file XML). Tambahkan file Json serta jenis encodingnya. Saya gunakan standar UTF-8 dengan limit 0. Akan tampil skema Json di bagan bawah formulir.

TRIKS : gunakan json path finder untuk menentukan titik looping. www.jsonpathfinder.com

Tahap berikutnya adalah  menentukan pengaturan parse atau ekstrak file Json. Langkah ke -4 ini akan memvisualkan data yang akan di peroleh dari ekstrak file Json. Anda akan diminta menentukan path loop dan field-field apa yang harus di ekstrak serta penamaan dari field tersebut. Keseluruhan proses langkah 4 dilakukan secara drag & drop, sebuh sistem yang cerdas dari TOS. 

Setelah sukses melalui seluruh langkah satu sampai empat. Anda akan tiba pada bagian akhir pembuatan metada pada aplikasi TOS. Langkah ke 5 ini, meminta Anda untuk menentukan deskripsi dari tiap-tiap field, yakni:

1. Key

2. Type

3. Nullable

4. Date Pattern 

5. Length

6. Precision 

7. Default 

8. Comment

Melalui nama-nama pengaturan deskripsi pada daftar diatas sudah dapat kita bayangkan seperti apa isinya. Ini adalah bagian terpenting dari proses metadata yang akan dibawa sampai proses loading data ke dalam database.

Setelah semua proses diyakini benar, Anda dapat menekan tombol <Finish> dan metafile akan tersimpan pada repository TOS. 

#talend #talendopenstudio