Peran Pekerjaan: Analis Data (Databricks, Apache Spark, dan Delta Lake, GenAI atau integrasi AI/ML).

Lokasi: Manila.

Durasi: Kontrak 6+ Bulan.

Deskripsi Pekerjaan:

Ruang Lingkup Pekerjaan/Tanggung Jawab

1. Pengembangan Pipa Data:

• Merancang, mengimplementasikan, dan mengoptimalkan pipa data end-to-end menggunakan Databricks dan teknologi terkait.
• Membangun alur kerja untuk menangani pengambilan, transformasi, dan penyimpanan data dalam skala besar.

2. Persiapan Data untuk LLMs:

• Memproses, membersihkan, dan menyusun dataset yang beragam (teks, terstruktur, dan tidak terstruktur) untuk pelatihan dan penyempurnaan LLM.
• Menerapkan teknik rekayasa fitur, tokenisasi, dan vektorisasi untuk mendukung model NLP.

3. Optimasi Kinerja:

• Menggunakan fitur Databricks, termasuk Delta Lake dan MLflow, untuk memperlancar alur kerja data.
• Mengoptimalkan infrastruktur data untuk ketersediaan tinggi, skalabilitas, dan efisiensi biaya.

4. Kolaborasi dengan Tim:

• Bekerja sama dengan ilmuwan data, insinyur ML, dan pemangku kepentingan lainnya untuk memahami kebutuhan data untuk teknologi LLM.
• Memastikan keselarasan antara pipa rekayasa dan tujuan pembelajaran mesin.

5. Kualitas & Tata Kelola Data:

• Menerapkan proses untuk memastikan kualitas data, konsistensi, dan kepatuhan terhadap kebijakan tata kelola.
• Memantau dan memelihara integritas data sepanjang siklus hidup pipa.

6. Adopsi Teknologi Baru:

• Terus memperbarui diri tentang kemajuan dalam Databricks, AI generatif, dan teknologi LLM.
• Berkontribusi pada adopsi alat dan praktik inovatif untuk meningkatkan alur kerja.

Persyaratan dan Kualifikasi (Pendidikan & Pengalaman Kerja)

Pengalaman:

• 7+ tahun pengalaman dalam peran rekayasa data, dengan minimal 2 tahun dalam peran kepemimpinan dan proyek yang melibatkan Databricks.
• Keahlian terbukti dalam pipa data, rekayasa fitur, dan persiapan dataset untuk pembelajaran mesin, khususnya LLM.
• Pengalaman membangun aplikasi kelas perusahaan dengan GenAI atau integrasi AI/ML.

Keterampilan Teknis:

• Keahlian dalam Databricks, Apache Spark, dan Delta Lake.
• Keterampilan pemrograman yang kuat dalam Python dan SQL; pengetahuan tentang pustaka seperti pandas, NumPy, atau PyTorch adalah nilai tambah
• Pemahaman tentang pustaka manajemen status seperti Redux, Recoil, atau Zustand. Cypress), dan kontrol versi (Git).
• Pemahaman tentang prinsip keamanan web dan persyaratan kepatuhan untuk aplikasi perusahaan.

Keterampilan Lunak:

• Kemampuan pemecahan masalah dan pengambilan keputusan yang luar biasa.
• Keterampilan komunikasi dan kepemimpinan yang sangat baik, dengan kemampuan untuk memandu diskusi teknis dan membimbing anggota tim.
• Fokus yang kuat pada pengiriman kualitas

Silakan lihat deskripsi pekerjaan.