Google memperkenalkan kumpulan data terbuka dan kemajuan AI di Cloud Next

Dalam konteks: Dalam hal produk teknologi, konsep seringkali lebih elegan daripada kenyataan. Kemampuan dan fungsi yang tampak logis dan lugas seringkali lebih kompleks atau sulit daripada yang pertama kali muncul.

Sebagian dari masalahnya, tentu saja, adalah bahwa banyak dari teknologi tercanggih itu rumit, dan bisa sangat sulit untuk menghidupkannya. Tetapi masalah yang paling umum adalah bahwa persyaratan yang sudah ada sebelumnya tidak sepenuhnya dijelaskan, atau jumlah langkah yang diperlukan bisa lebih sulit daripada yang pertama kali muncul.

Sederhananya, “setan ada di dalam detailnya.”

Ini berlaku untuk banyak teknologi cloud dan kecerdasan buatan. Ide produk tingkat tinggi, seperti kemampuan menganalisis semua jenis data dengan cepat untuk membantu membuat model berdasarkan kecerdasan buatan (AI) atau pembelajaran mesin (ML) menggunakan akselerator perangkat keras jenis baru, telah dibicarakan selama bertahun-tahun.

Seperti yang Google jelaskan melalui beberapa pengumuman di acara Cloud Next-nya, ada banyak detail penting yang perlu disiapkan agar ide-ide ini menjadi kenyataan.

Untuk memulai, tidak semua alat analisis data dan platform data dapat bekerja dengan semua jenis data. Inilah sebabnya mengapa kemampuan untuk mengimpor tipe data format baru dan berbeda atau mengasimilasinya ke dalam rentang alat analitik yang lebih luas adalah penting. Membuka kemampuan platform data seperti Elastic untuk mengakses data yang disimpan di Google Cloud, dan Google membawa dukungan Elastic ke lini alat analisis bisnis Looker yang baru diperluas, hanyalah dua dari banyak pengumuman terkait data terbuka yang dirilis di Next Cloud.

Demikian juga, berbagai jenis data sering disimpan dalam format yang berbeda, dan alat analitik harus secara khusus mengaktifkan dukungan untuk struktur data ini agar lebih berguna bagi berbagai pengguna dan pengembang aplikasi.

Di bidang data lake yang berkembang, misalnya, di mana “danau” besar dari data tidak terstruktur, seperti video dan audio, diizinkan untuk ditanyakan menggunakan jenis alat yang ditemukan di repositori data terstruktur, format tabel Apache Iceberg open source adalah menjadi semakin populer.

Itulah sebabnya Google menambahkan dukungan untuknya dan format lainnya, termasuk Delta dan Hudi, ke mesin penyimpanan BigLake dan menambahkan dukungan untuk analisis data tidak terstruktur ke alat analisis data BigQuery. Hal ini tidak hanya memberikan fleksibilitas tambahan, tetapi juga berarti bahwa data tidak terstruktur dapat memanfaatkan alat Big Query lainnya di Google Cloud Platform (GCP), termasuk fungsi ML seperti pengenalan ucapan, visi komputer, pengolah kata, dan banyak lagi.

Area pengembangan penting lainnya adalah penggunaan berbagai jenis chip akselerasi perangkat keras untuk meningkatkan kinerja model AI. Google telah membuat beberapa generasi TPU (Tensor Processing Units), misalnya, yang memberikan manfaat penting untuk aplikasi seperti melatih model AI atau heuristik. Selain itu, ada beberapa pengumuman baru-baru ini dari perusahaan semikonduktor mapan seperti Intel, AMD, Nvidia, dan Qualcomm serta sejumlah startup yang berfokus pada bidang yang sedang berkembang ini.

Seperti yang Anda duga, setiap perusahaan chip menggunakan teknologi berbeda untuk mengimplementasikan AI dan akselerasi model pembelajaran mesin. Yang tidak jelas adalah bahwa metode yang diperlukan untuk menulis program atau membuat model untuk berbagai akselerator juga merupakan hak milik. Akibatnya, mungkin sulit bagi pengembang perangkat lunak dan pembuat model pembelajaran AI/mesin untuk memanfaatkan chip yang berbeda ini karena betapa sulitnya mempelajari semua metode unik ini.

Untuk mengatasi hal ini, dua pengumuman menarik lainnya dari Google dari Cloud Next adalah peluncuran konsorsium industri baru yang disebut Proyek OpenXLA dan munculnya perangkat lunak sumber terbuka baru yang dirancang untuk memudahkan bekerja dengan berbagai jenis akselerator perangkat keras. .

OpenXLA dirancang untuk meningkatkan fleksibilitas opsi yang dinikmati oleh pengembang AI/ML dengan menyediakan koneksi antara sebagian besar kerangka kerja front-end populer yang digunakan untuk membangun model AI – termasuk TensorFlow, PyTorch, dan JAX – dan berbagai backend yang berbeda untuk akselerator perangkat keras . Alat perangkat lunak awal yang dirilis mencakup kompiler XLA yang ditingkatkan dan serangkaian operasi komputasi ML portabel yang disebut StableHLO.

Perusahaan yang juga bergabung dengan Google dalam inisiatif ini termasuk Intel, Amazon Web Services, AMD, Nvidia, Arm, Meta, dan banyak lagi. Penyertaan Intel menarik karena dalam banyak hal tujuan Proyek OpenXLA mirip dengan OneAPI Intel, yang bertujuan untuk memungkinkan pengembang memanfaatkan banyak jenis arsitektur komputasi Intel seperti CPU, GPU, dan akselerator AI Habana Gaudi, tanpa perlu untuk Untuk mempelajari cara memprogram setiap jenis chip yang berbeda. OpenXLA membawa konsep ini ke tingkat industri dan, dengan masuknya beberapa pemain komputasi awan utama, akan membuka sejumlah peluang baru yang penting, dan mempercepat adopsi akselerator perangkat keras.

Seperti banyak pengumuman yang dibuat Google di Cloud Next, manfaat nyata dari proyek OpenXLA dan alat yang terkait dengannya akan membutuhkan waktu untuk membuat dampak yang signifikan. Dalam gambaran besar tren industri teknologi, alat-alat ini mungkin tampak biasa-biasa saja. Namun, secara kolektif, mereka mewakili langkah maju yang sangat penting dan menunjukkan jenis upaya yang dilakukan Google untuk membuat alatnya lebih berguna bagi khalayak orang yang lebih luas.

Ini juga mencerminkan fokus yang kuat pada alat sumber terbuka dan keinginan untuk menjadikan Google Cloud Platform dan penawaran terkait lebih transparan dan fleksibel. Proses memanfaatkan semua alat teknis yang ditawarkan Google tidak diragukan lagi masih rumit, tetapi dengan berbagai pengumuman yang diungkapkan perusahaan di Cloud Next, jelas bahwa evolusi perusahaan sebagai penyedia layanan cloud utama terus berkembang. .

Bob O’Donnell adalah pendiri dan kepala analis TECHnalysis Research, LLC, sebuah perusahaan konsultan teknologi yang menyediakan konsultasi strategis dan layanan riset pasar untuk industri teknologi dan komunitas keuangan profesional. Anda dapat mengikutinya di Twitter penyematan tweet.