Ikhtisar Peran:

Insinyur Data bertanggung jawab untuk merancang, mengembangkan, dan memelihara jalur data dan infrastruktur yang dapat diskalakan, dengan fokus pada pemanfaatan teknologi Databricks dan Data Lake. Peran ini berkolaborasi dengan ilmuwan data, analis, dan tim bisnis untuk memastikan pemrosesan, penyimpanan, dan aksesibilitas data yang efisien untuk analitik. Insinyur Data akan memainkan peran kunci dalam mengubah data mentah menjadi format yang berharga dan terstruktur serta mengoptimalkan alur kerja data untuk mendukung keputusan berbasis data di seluruh organisasi.

Tanggung Jawab Utama:

022 Rancang, implementasikan, dan kelola jalur data yang dapat diskalakan untuk pengambilan, pemrosesan, dan penyimpanan, memanfaatkan teknologi Databricks dan Data Lake.

022 Bekerja sama dengan ilmuwan data, analis, dan pemangku kepentingan bisnis untuk memahami kebutuhan data dan memastikan solusi memenuhi persyaratan analitik.

022 Mengintegrasikan berbagai sumber data (misalnya, basis data, API, penyimpanan awan) menjadi repositori pusat seperti Data Lake, memastikan data dapat diakses dengan mudah dan dioptimalkan untuk kinerja.

022 Mengembangkan dan mengotomatiskan proses ETL (Ekstrak, Transformasi, Muat) menggunakan Databricks dan alat big data lainnya. 022 Merancang dan mengoptimalkan infrastruktur Data Lake untuk penyimpanan dan pemrosesan data terstruktur dan tidak terstruktur.

022 Menerapkan validasi data, transformasi, dan proses pembersihan untuk memastikan data yang konsisten dan berkualitas tinggi di semua jalur.

022 Mengotomatiskan alur kerja data untuk memastikan pemrosesan data yang mulus dan akses cepat untuk analitik dan pembelajaran mesin.

022 Bekerja dengan platform awan seperti AWS, Google Cloud, dan Azure untuk membangun solusi data berbasis awan yang dapat diskalakan.

022 Memastikan kepatuhan terhadap privasi data, keamanan, dan standar regulasi dalam penanganan dan pemrosesan data.

022 Memecahkan masalah, memantau, dan mengoptimalkan jalur data untuk ketersediaan yang tinggi, kinerja, dan penyelesaian kesalahan.

022 Mendokumentasikan arsitektur jalur data, praktik terbaik, dan proses untuk mendukung berbagi pengetahuan dan kolaborasi lintas tim.

Kompetensi Inti:

022 Keahlian Databricks: Pengalaman solid menggunakan Databricks untuk membangun jalur data, mengoptimalkan kinerja pemrosesan, dan bekerja dengan Spark untuk pemrosesan data berskala besar.

022 Pengetahuan Data Lake: Pemahaman yang kuat tentang arsitektur Data Lake dan praktik terbaik untuk mengelola data terstruktur dan tidak terstruktur.

022 Keterampilan Pemrograman: Mahir dalam Python, Java, atau Scala untuk membangun dan mengotomatiskan alur kerja data.

022 Pengalaman Platform Awan: Terampil dalam bekerja dengan platform awan (AWS, Azure, Google Cloud).

022 Automatisasi ETL: Keahlian dalam mengotomatiskan proses ETL menggunakan platform seperti Apache Airflow dan alur kerja Databricks.

022 Integrasi Data: Kemampuan untuk mengintegrasikan dan menyelaraskan data dari berbagai sumber ke dalam jalur yang koheren untuk analitik.

022 Keterampilan Manajemen Orang: Kemampuan terbukti untuk memimpin, memotivasi, dan mengembangkan tim dengan efektif. Ini mencakup menetapkan tujuan yang jelas, memberikan umpan balik yang konstruktif, menyelesaikan konflik, dan membina lingkungan kerja yang positif.

022 Keterampilan Kolaborasi: Pemain tim yang kuat dengan kemampuan untuk mengkomunikasikan konsep teknis yang kompleks kepada pemangku kepentingan teknis dan non-teknis.

Keterampilan yang Diperlukan:

022 Pengalaman terbukti sebagai Insinyur Data, khususnya dengan teknologi Databricks dan Data Lake.

022 Keahlian dalam SQL untuk mengelola dan melakukan query dataset yang besar.

022 Pengalaman praktis dengan Databricks, Apache Spark, dan alat big data terkait.

022 Kemahiran dalam platform awan (AWS, Azure, Google Cloud).

022 Memahami alat otomatisasi ETL seperti Apache Airflow dan alur kerja Databricks.

022 Keterampilan pemrograman yang kuat dalam Python, Java, atau Scala untuk pemrosesan data dan pengembangan jalur.

022 Keterampilan pemecahan masalah yang sangat baik, dengan kemampuan untuk memecahkan masalah dan menyelesaikan tantangan rekayasa data yang kompleks.

Silakan merujuk ke deskripsi pekerjaan.