Ruang Lingkup Kerja/Tanggung Jawab:

1. Pengembangan Alur Data:

· Merancang, mengimplementasikan, dan mengoptimalkan alur data end-to-end menggunakan Databricks dan teknologi terkait.

· Membangun alur kerja untuk menangani pengambilan, transformasi, dan penyimpanan data berskala besar.

2. Persiapan Data untuk LLM:

· Memproses, membersihkan, dan menyusun dataset yang beragam (teks, terstruktur, dan tidak terstruktur) untuk pelatihan dan penyempurnaan LLM.

· Menerapkan teknik rekayasa fitur, tokenisasi, dan vektorisasi untuk mendukung model NLP.

3. Optimasi Kinerja:

· Menggunakan fitur Databricks, termasuk Delta Lake dan MLflow, untuk merampingkan alur data.

· Mengoptimalkan infrastruktur data untuk ketersediaan tinggi, skalabilitas, dan efisiensi biaya.

4. Kolaborasi dengan Tim:

· Bekerja sama dengan ilmuwan data, insinyur ML, dan pemangku kepentingan lainnya untuk memahami kebutuhan data untuk teknologi LLM.

· Memastikan keselarasan antara alur teknik dan tujuan pembelajaran mesin.

5. Kualitas Data & Tata Kelola:

· Menerapkan proses untuk memastikan kualitas data, konsistensi, dan kepatuhan terhadap kebijakan tata kelola.

· Memantau dan mempertahankan integritas data sepanjang siklus hidup alur.

6. Adopsi Teknologi Baru:

· Tetap diperbarui tentang kemajuan dalam Databricks, AI generatif, dan teknologi LLM.

· Berkontribusi pada adopsi alat dan praktik inovatif untuk meningkatkan alur kerja.

Persyaratan dan Kualifikasi (Pendidikan & Pengalaman Kerja):

Pengalaman:

· 7+ tahun pengalaman dalam peran rekayasa data, dengan setidaknya 2 tahun dalam peran kepemimpinan dan proyek yang melibatkan Databricks.

· Keahlian terbukti dalam alur data, rekayasa fitur, dan persiapan dataset untuk pembelajaran mesin, khususnya LLM.

· Pengalaman membangun aplikasi berskala perusahaan dengan GenAI atau integrasi AI/ML.

Keterampilan Teknis:

· Keahlian dalam Databricks, Apache Spark, dan Delta Lake.

· Keterampilan pemrograman yang kuat dalam Python dan SQL; pengetahuan tentang pustaka seperti pandas, NumPy, atau PyTorch adalah nilai tambah

· Pemahaman tentang pustaka manajemen status seperti Redux, Recoil, atau Zustand.Cypress, dan kontrol versi (Git).

· Pemahaman tentang prinsip keamanan web dan persyaratan kepatuhan untuk aplikasi perusahaan.

Keterampilan Lunak:

· Kemampuan luar biasa dalam pemecahan masalah dan pengambilan keputusan.

· Kemampuan komunikasi dan kepemimpinan yang sangat baik, dengan kemampuan untuk memandu diskusi teknis dan membina anggota tim.

· Fokus kuat pada pengiriman kualitas

Silakan lihat deskripsi pekerjaan.