Apache SystemDS
Artikel ini sebatang kara, artinya tidak ada artikel lain yang memiliki pranala balik ke halaman ini. Bantulah menambah pranala ke artikel ini dari artikel yang berhubungan. (April 2025) |
Apache SystemDS (sebelumnya dikenal sebagai Apache SystemML) adalah sistem pemelajaran mesin (ML) sumber terbuka yang dirancang untuk mendukung seluruh siklus hidup ilmu data, mulai dari awal hingga akhir. Sistem ini membantu dalam mengelola dan menjalankan model ML untuk analisis data.
Karakteristik yang membedakan SystemDS adalah:
- Kustomisasi algoritma melalui bahasa yang mirip R dan Python.
- Berbagai mode eksekusi, termasuk Standalone, Spark Batch, Spark MLContext, Hadoop Batch, dan JMLC.
- Optimasi otomatis berdasarkan karakteristik data dan kluster untuk memastikan efisiensi dan skalabilitas.
Contoh skrip
Analisis Komponen Utama
Cuplikan kode berikut [1] melakukan analisis komponen utama (PCA) dari matriks masukan 𝐴, yang mengembalikan dan
# PCA.dml
# Refer: https://github.com/apache/systemds/blob/master/scripts/algorithms/PCA.dml#L61
N = nrow(A);
D = ncol(A);
# perform z-scoring (centering and scaling)
A = scale(A, center==1, scale==1);
# co-variance matrix
mu = colSums(A)/N;
C = (t(A) %*% A)/(N-1) - (N/(N-1))*t(mu) %*% mu;
# compute eigen vectors and values
[evalues, evectors] = eigen(C);
Skrip pemanggilan
spark-submit SystemDS.jar -f PCA.dml -nvargs INPUT=INPUT_DIR/pca-1000x1000 \
OUTPUT=OUTPUT_DIR/pca-1000x1000-model PROJDATA=1 CENTER=1 SCALE=1
Fungsi basis data
Algoritma pengelompokan DBSCAN dengan jarak Euclidean.
X = rand(rows=1780, cols=180, min=1, max=20)
[indices, model] = dbscan(X = X, eps = 2.5, minPts = 360)
Pranala luar
- Apache SystemML website
- IBM Research - SystemML
- Q & A with Shiv Vaithyanathan, Creator of SystemML and IBM Fellow
- A Universal Translator for Big Data and Machine Learning
- SystemML: Declarative Machine Learning at Scale presentation by Fred Reiss
- SystemML: Declarative Machine Learning on MapReduce Diarsipkan 2016-03-10 di Wayback Machine.
- Hybrid Parallelization Strategies for Large-Scale Machine Learning in SystemML
- SystemML's Optimizer: Plan Generation for Large-Scale Machine Learning Programs
- IBM's SystemML machine learning system becomes Apache Incubator project
- IBM donates machine learning tech to Apache Spark open source community
- IBM's SystemML Moves Forward as Apache Incubator Project
Referensi
- ^ apache/systemds, 2025-04-19, diakses tanggal 2025-04-20
Konten ini disalin dari wikipedia, mohon digunakan dengan bijak.


