Coba OpenAI Sora

Membuat video dari teks/gambar, menghasilkan video loop, memperpanjang video ke depan dan ke belakang

Jadilah yang pertama tahu ketika Sora sudah aktif!

Sora adalah model AI yang dikembangkan oleh OpenAI yang dapat membuat adegan video realistis dan imajinatif dari instruksi teks. Ini dirancang untuk mensimulasikan dunia fisik dalam gerakan, menghasilkan video hingga satu menit lamanya sambil menjaga kualitas visual dan mematuhi instruksi pengguna.

Sora adalah model difusi yang dimulai dengan video yang menyerupai noise statis dan secara bertahap mengubahnya dengan menghilangkan noise selama beberapa langkah. Ini menggunakan arsitektur transformer, mirip dengan model GPT, dan mewakili video dan gambar sebagai kumpulan unit data yang lebih kecil yang disebut patch.

Sora dapat menghasilkan berbagai jenis video, termasuk adegan kompleks dengan beberapa karakter, jenis gerakan tertentu, dan detail yang akurat dari subjek dan latar belakang. Ini juga dapat mengambil gambar diam yang ada dan menganimasikannya, atau memperpanjang video yang ada dengan mengisi bingkai yang hilang.

Sora mungkin kesulitan dalam mensimulasikan fisika dari adegan kompleks secara akurat, memahami contoh-contoh tertentu dari sebab dan akibat, dan menjaga detail spasial dari waktu ke waktu. Terkadang dapat menciptakan gerakan yang tidak mungkin secara fisik atau membingungkan detail spasial.

OpenAI bekerja sama dengan tim red team untuk menguji model secara adversarial dan sedang membangun alat untuk mendeteksi konten yang menyesatkan. Mereka berencana untuk menyertakan metadata C2PA di masa depan dan memanfaatkan metode keamanan yang sudah ada dari produk lain mereka, seperti klasifikasi teks dan klasifikasi gambar.

Sora saat ini tersedia untuk tim merah untuk menilai area-area kritis yang berpotensi merugikan atau berisiko dan untuk seniman visual, desainer, dan pembuat film untuk umpan balik tentang bagaimana memajukan model untuk para profesional kreatif.

Jika Anda seorang profesional kreatif, Anda dapat mengajukan akses ke Sora melalui OpenAI. Setelah diizinkan akses, Anda dapat menggunakan model ini untuk menghasilkan video berdasarkan petunjuk teks Anda, meningkatkan proyek kreatif Anda dengan adegan yang unik dan imajinatif.

Sora berfungsi sebagai dasar untuk model-model yang dapat memahami dan mensimulasikan dunia nyata, yang OpenAI percaya merupakan tonggak penting menuju pencapaian Kecerdasan Buatan Umum (AGI).

Sora memiliki pemahaman yang mendalam tentang bahasa, memungkinkannya untuk menginterpretasikan teks dengan akurat dan menghasilkan karakter dan adegan yang menarik yang mengekspresikan emosi yang hidup. Ia dapat membuat beberapa tembakan dalam satu video sambil menjaga karakter dan gaya visual yang konsisten.

Sora menggunakan arsitektur transformer, mirip dengan model GPT, dan mewakili video dan gambar sebagai kumpulan unit data yang lebih kecil yang disebut sebagai patch. Penggabungan representasi data ini memungkinkan model dilatih pada berbagai data visual yang lebih luas.

Dengan memberikan model wawasan dari banyak bingkai sekaligus, Sora dapat memastikan bahwa subjek tetap konsisten bahkan ketika mereka keluar dari pandangan sementara.

Sora menggunakan teknik recaptioning dari DALL·E 3, yang melibatkan pembuatan keterangan yang sangat deskriptif untuk data pelatihan visual. Ini membantu model untuk lebih setia mengikuti instruksi teks pengguna dalam video yang dihasilkan.

OpenAI berencana untuk mengambil beberapa langkah keamanan sebelum mengintegrasikan Sora ke dalam produk-produknya, termasuk pengujian adversarial, pengembangan klasifikasi deteksi, dan memanfaatkan metode keamanan yang sudah ada dari produk lain seperti DALL·E 3.

Sora dapat digunakan oleh pembuat film, animator, pengembang game, dan profesional kreatif lainnya untuk menghasilkan konten video, storyboards, atau bahkan untuk membuat prototipe ide dengan cepat dan efisien.

OpenAI aktif berinteraksi dengan pembuat kebijakan, pendidik, dan seniman untuk memahami kekhawatiran dan mengidentifikasi kasus penggunaan teknologi yang positif. Mereka menyadari bahwa meskipun mereka tidak dapat memprediksi semua penggunaan yang bermanfaat atau penyalahgunaan, belajar dari penggunaan dunia nyata sangat penting untuk menciptakan sistem AI yang lebih aman dari waktu ke waktu.

OpenAI memiliki klasifikasi teks yang memeriksa dan menolak masukan teks yang melanggar kebijakan penggunaan, seperti yang meminta kekerasan ekstrem, konten seksual, gambaran kebencian, atau penggunaan kekayaan intelektual tanpa izin.

Sebuah 'model dunia' dalam AI mengacu pada model komputasi yang mensimulasikan dunia fisik dan dinamikanya, memungkinkan AI untuk memahami dan memprediksi bagaimana objek dan entitas berinteraksi di dalamnya. Dalam konteks Sora, ini berarti model telah dilatih untuk menghasilkan video yang tidak hanya mengikuti petunjuk teks tetapi juga mematuhi hukum fisik dan perilaku dunia nyata, seperti gravitasi, gerakan, dan interaksi objek. Kemampuan ini sangat penting untuk menciptakan konten video yang realistis dan koheren dari deskripsi teks.