OpenAI mengatakan tidak puas dengan perangkat keras inferensi Nvidia, kini melirik AMD, Cerebras, Groq

OpenAI tidak lagi puas dengan chip AI Nvidia, terutama dalam hal kecepatan merespons pengguna. Perusahaan mulai mencari opsi lain tahun lalu, dan kini sedang berbicara dengan AMD, Cerebras, bahkan sempat berbicara dengan Groq sebelum itu dibatalkan.

Ketegangan ini mulai nyata ketika OpenAI menyadari bahwa chip Nvidia tidak cukup cepat untuk hal-hal spesifik seperti menulis kode dan menangani tugas software-to-software.

Seorang orang dalam diduga mengatakan OpenAI menginginkan chip baru untuk menangani setidaknya 10% kebutuhan inferensi mereka ke depan. Itu adalah bagian di mana AI membalas pengguna, bukan bagian di mana AI belajar.

OpenAI menginginkan chip lebih cepat untuk coding dan respons pengguna

Sebagian besar pekerjaan OpenAI saat ini masih berjalan di Nvidia, tetapi di balik layar, mereka sedang menguji chip yang dapat membuat semuanya lebih cepat.

Ini termasuk chip yang dilengkapi dengan SRAM, yang membantu mempercepat dengan menempatkan memori tepat di samping prosesor. Nvidia dan AMD masih menggunakan memori yang berada di luar chip, yang memperlambat prosesnya.

Orang-orang di dalam OpenAI menunjuk Codex, alat yang menulis kode, sebagai tempat di mana kelambatan menjadi masalah terbesar. Beberapa staf bahkan menyalahkan kinerja lemah pada perangkat keras Nvidia. Dalam panggilan pers pada 30 Januari, CEO OpenAI Sam Altman mengatakan, "Pelanggan yang menggunakan model coding kami akan sangat menghargai kecepatan untuk pekerjaan coding."

Sam menambahkan bahwa pengguna ChatGPT biasa tidak terlalu peduli tentang kecepatan, tetapi untuk pengembang dan perusahaan, setiap detik sangat berarti. Dia mengatakan OpenAI baru saja menandatangani kesepakatan dengan Cerebras untuk membantu mempercepat.

Pada saat yang sama, perusahaan seperti Anthropic dan Google mendapatkan hasil yang lebih baik menggunakan chip mereka sendiri. TPU Google dibangun khusus untuk jenis pekerjaan yang dibutuhkan inferensi. Itu membuat mereka lebih cepat dalam merespons, terutama untuk model seperti Claude dan Gemini.

Pembicaraan OpenAI-Groq dibatalkan setelah kesepakatan lisensi Nvidia

OpenAI juga sedang dalam pembicaraan dengan Groq, startup lain yang membangun chip cepat, tetapi percakapan itu tidak berjalan jauh. Nvidia masuk dan menandatangani kesepakatan lisensi senilai $20 miliar dengan Groq. Itu memberi Nvidia akses ke desain Groq dan membunuh rencana OpenAI untuk bekerja dengan mereka.

Sumber yang dekat dengan situasi mengatakan chip Groq dibangun persis untuk apa yang dibutuhkan OpenAI. Tetapi begitu Nvidia mengunci kesepakatan, pintu itu tertutup. Meskipun lisensi tidak eksklusif, Groq sekarang fokus pada perangkat lunak berbasis cloud, dan Nvidia mengambil beberapa desainer chip Groq untuk dirinya sendiri.

Cerebras, di sisi lain, mengatakan tidak ketika Nvidia mencoba membeli mereka. Sebaliknya, mereka melanjutkan dan membuat kesepakatan mereka sendiri dengan OpenAI. Groq juga mendapat tawaran investasi yang menilai mereka sekitar $14 miliar, tetapi itu sekarang berubah karena terikat dengan Nvidia.

OpenAI belum sepenuhnya meninggalkan Nvidia. Dalam pernyataan publik, juru bicara mengatakan, "Kami mengandalkan Nvidia untuk mendukung sebagian besar armada inferensi kami," dan menyebut kinerja per dolar mereka yang terbaik di pasar. Nvidia juga mengatakan, "Pelanggan terus memilih Nvidia untuk inferensi karena kami memberikan kinerja terbaik dan total biaya kepemilikan dalam skala besar."

Kesepakatan investasi Nvidia $100 miliar masih tergantung

Tahun lalu, Nvidia mengatakan berencana menginvestasikan hingga $100 miliar ke OpenAI. Uang itu dimaksudkan untuk membantu OpenAI membeli chip yang lebih canggih, dan sebagai imbalannya, Nvidia akan mendapatkan saham di perusahaan. Reuters mengatakan kesepakatan itu seharusnya ditutup dalam beberapa minggu. Tetapi masih belum.

Sementara kesepakatan itu terhenti, OpenAI melanjutkan dan menandatangani perjanjian dengan AMD dan lainnya untuk menguji chip yang dapat bersaing langsung dengan Nvidia. Tetapi karena OpenAI mengubah rencana produknya, jenis perangkat keras yang dibutuhkan juga berubah. Itu memperlambat pembicaraan lebih jauh lagi, kata seseorang yang akrab dengan situasinya.

Pada hari Sabtu, CEO Nvidia Jensen Huang ditanya tentang gesekan itu. Dia mengatakan, "Itu omong kosong," dan menegaskan Nvidia masih berencana berinvestasi besar di OpenAI. Tetapi di balik layar, jelas kedua belah pihak sedang menjajaki opsi mereka.

Pada saat yang sama, Nvidia telah mencari ide chip baru. Mereka menghubungi Cerebras dan Groq untuk melihat apakah mereka terbuka untuk dibeli. Cerebras menolaknya dan menggandakan kesepakatan mereka dengan OpenAI.

Saat ini, OpenAI menggunakan GPT4o untuk mendukung sebagian besar layanannya. Tetapi dengan cara hal-hal berjalan, setidaknya sebagian dari pekerjaan itu akan berjalan di chip dari AMD atau Cerebras dalam waktu dekat. Perusahaan tidak mencoba meninggalkan Nvidia sepenuhnya, tetapi jelas ingin lebih banyak kontrol atas seberapa cepat sistem mereka bekerja.

Asah strategi Anda dengan bimbingan + ide harian - akses gratis 30 hari ke program trading kami