Para peneliti telah mengumumkan teknologi berbasis AI baru yang dapat membuat video pendek berdasarkan foto individu

mengapa itu penting: Para peneliti terus menemukan cara baru untuk memanfaatkan kemampuan kecerdasan buatan dan pembelajaran mesin seiring berkembangnya teknologi. Awal pekan ini, ilmuwan Google mengumumkan pembuatan Transframer, kerangka kerja baru dengan kemampuan untuk membuat video pendek berdasarkan input gambar individual. Teknologi baru suatu hari nanti dapat menambah solusi tampilan tradisional, memungkinkan pengembang untuk membuat lingkungan virtual berdasarkan kemampuan pembelajaran mesin.

Nama kerangka kerja baru (dan dalam beberapa hal konsepnya) adalah referensi ke model berbasis AI lain yang dikenal sebagai adaptor. Awalnya diperkenalkan pada tahun 2017, Transformer adalah arsitektur jaringan saraf baru dengan kemampuan untuk menghasilkan teks dengan memodelkan dan membandingkan kata lain dalam sebuah kalimat. Model ini telah disematkan dalam kerangka kerja pembelajaran mendalam standar seperti TensorFlow dan PyTorch.

Sama seperti Transformer menggunakan bahasa untuk memprediksi kemungkinan keluaran, adaptor Menggunakan gambar konteks dengan tema serupa bersama dengan anotasi kueri untuk membuat video pendek. Video yang dihasilkan bergerak di sekitar gambar target dan menggambarkan perspektif yang akurat meskipun tidak ada data geometris yang disediakan dalam input gambar asli.

Transframer adalah kerangka tujuan umum yang dapat menangani banyak tugas foto dan video dalam lingkungan probabilistik. Karya baru menunjukkan bahwa ia unggul dalam prediksi video dan sintesis rendering, dan dapat membuat video 30 detik dari satu gambar: https://t.co/wX3nrrYEEa 1/ pic.twitter.com/gQk6f9nZyg

Pikiran Dalam 15 Agustus 2022

Teknologi baru, yang didemonstrasikan menggunakan platform Google DeepMind AI, bekerja dengan menganalisis satu gambar konteks gambar untuk mendapatkan bagian penting dari data gambar dan menghasilkan gambar tambahan. Selama analisis ini, sistem mendefinisikan bingkai gambar, yang pada gilirannya membantu sistem untuk memprediksi kontur gambar.

Gambar konteks kemudian digunakan untuk memprediksi lebih lanjut bagaimana gambar akan muncul dari sudut yang berbeda. Predictor memodelkan kemungkinan bingkai gambar tambahan berdasarkan data, anotasi, dan informasi lain yang tersedia dari bingkai konteks.

Kerangka kerja ini merupakan langkah maju yang besar dalam teknologi video dengan menyediakan kemampuan untuk membuat video yang cukup akurat berdasarkan kumpulan data yang sangat terbatas. Tugas transframer juga menunjukkan hasil yang sangat menjanjikan dalam tugas dan parameter terkait video lainnya seperti segmentasi semantik, klasifikasi gambar, dan prediksi aliran visual.

Implikasi untuk industri berbasis video, seperti pengembangan game, bisa sangat besar. Lingkungan pengembangan game saat ini mengandalkan teknologi rendering dasar seperti bayangan, pemetaan, kedalaman bidang, dan penelusuran sinar. Teknologi seperti Transframer memiliki potensi untuk menawarkan pengembang jalur pengembangan yang sama sekali baru dengan menggunakan kecerdasan buatan dan pembelajaran mesin untuk membangun lingkungan mereka sambil mengurangi waktu, sumber daya, dan upaya yang diperlukan untuk membuatnya.

Kredit gambar: DeepMind