Cuba OpenAI Sora

Mencipta video dari teks / imej, menghasilkan video gelung, memanjangkan video ke hadapan dan ke belakang

Jadilah yang pertama mengetahui apabila Sora dilancarkan!

Sora adalah model AI yang dikembangkan oleh OpenAI yang dapat menciptakan adegan video realistis dan imaginatif dari instruksi teks. Ia direka untuk mensimulasikan dunia fizikal dalam pergerakan, menghasilkan video hingga satu minit lamanya sambil mengekalkan kualiti visual dan mematuhi arahan pengguna.

Sora adalah model penyebaran yang bermula dengan video yang menyerupai bunyi statik dan secara beransur-ansur menukarinya dengan menghilangkan bunyi tersebut dalam banyak langkah. Ia menggunakan senibina transformer, serupa dengan model GPT, dan mewakili video dan imej sebagai koleksi unit data yang lebih kecil yang dipanggil sebagai remah.

Sora boleh menghasilkan pelbagai jenis video, termasuk adegan kompleks dengan pelbagai watak, jenis pergerakan tertentu, dan butiran yang tepat mengenai subjek dan latar belakang. Ia juga boleh mengambil imej diam yang sedia ada dan menganimasikannya, atau memanjangkan video sedia ada dengan mengisi bingkai yang hilang.

Sora mungkin menghadapi kesulitan dalam mensimulasikan fisika adegan kompleks secara akurat, memahami contoh-contoh tertentu sebab dan akibat, serta menjaga detail spasial dari waktu ke waktu. Kadang-kadang ia dapat menciptakan gerakan yang tidak masuk akal secara fisik atau membingungkan detail-detail spasial.

OpenAI sedang bekerja dengan pasukan merah untuk menguji model secara adversarial dan sedang membangun alat untuk mengesan kandungan yang menyesatkan. Mereka merancang untuk menyertakan metadata C2PA pada masa depan dan memanfaatkan kaedah keselamatan yang sedia ada dari produk lain mereka, seperti pengelas teks dan pengelas imej.

Sora kini boleh didapati kepada pasukan merah untuk menilai kawasan-kawasan penting bagi bahaya atau risiko dan kepada seniman visual, pereka, dan pembuat filem untuk maklum balas tentang bagaimana untuk memajukan model bagi profesional kreatif.

Jika anda seorang profesional kreatif, anda boleh memohon akses ke Sora melalui OpenAI. Setelah diberikan akses, anda boleh menggunakan model ini untuk menghasilkan video berdasarkan arahan teks anda, meningkatkan projek kreatif anda dengan adegan yang unik dan imaginatif.

Sora berfungsi sebagai asas untuk model-model yang boleh memahami dan mensimulasikan dunia nyata, yang OpenAI percaya merupakan satu mercu tanda penting menuju mencapai Kecerdasan Buatan Am (AGI).

Sora mempunyai pemahaman yang mendalam tentang bahasa, membolehkannya untuk menginterpretasikan teks dengan tepat dan menghasilkan watak dan adegan yang menarik yang mengungkapkan emosi yang hidup. Ia boleh mencipta pelbagai tembakan dalam satu video sambil mengekalkan watak dan gaya visual yang konsisten.

Sora menggunakan seni bina transformer, sama seperti model GPT, dan mewakili video dan imej sebagai koleksi unit data yang lebih kecil yang dipanggil sebagai 'patches'. Penggabungan representasi data ini membolehkan model dilatih pada pelbagai jenis data visual.

Dengan memberikan model wawasan banyak bingkai pada satu masa, Sora boleh memastikan subjek tetap konsisten walaupun mereka keluar dari pandangan sementara.

Sora menggunakan teknik recaptioning dari DALL·E 3, yang melibatkan menghasilkan kapsyen yang sangat deskriptif untuk data latihan visual. Ini membantu model untuk mengikuti arahan teks pengguna dengan lebih setia dalam video yang dihasilkan.

OpenAI merancang untuk mengambil beberapa langkah keselamatan sebelum mengintegrasikan Sora ke dalam produknya, termasuk ujian adversarial, mengembangkan pengelas pengesanan, dan memanfaatkan kaedah keselamatan sedia ada dari produk lain seperti DALL·E 3.

Sora boleh digunakan oleh pembuat filem, animator, pembangun permainan, dan profesional kreatif lain untuk menghasilkan kandungan video, papan cerita, atau malah untuk membuat prototaip idea dengan cepat dan efisien.

OpenAI sedang aktif berinteraksi dengan pembuat dasar, pendidik, dan seniman untuk memahami kebimbangan dan mengenal pasti kes penggunaan positif bagi teknologi ini. Mereka mengakui bahawa walaupun mereka tidak dapat meramalkan semua kegunaan yang bermanfaat atau penyalahgunaan, pembelajaran dari penggunaan dunia nyata adalah penting untuk mencipta sistem AI yang lebih selamat dari semasa ke semasa.

OpenAI mempunyai pengelasifikasi teks yang memeriksa dan menolak permintaan input teks yang melanggar dasar penggunaan, seperti yang meminta keganasan ekstrim, kandungan seksual, imej yang membenci, atau penggunaan harta intelektual yang tidak dibenarkan.

Sebuah 'model dunia' dalam AI merujuk kepada model komputasi yang mensimulasikan dunia fizikal dan dinamikanya, membolehkan AI untuk memahami dan meramalkan bagaimana objek dan entiti berinteraksi di dalamnya. Dalam konteks Sora, ini bermakna model telah dilatih untuk menghasilkan video yang tidak hanya mengikuti arahan teks tetapi juga mematuhi undang-undang fizikal dan tingkah laku dunia sebenar, seperti graviti, gerakan, dan interaksi objek. Keupayaan ini penting untuk mencipta kandungan video yang realistik dan kohesen dari huraian teks.