Alih-alih menjadi lebih cerdas, chatgpt justru tampak semakin tidak mampu. Ini mengejutkan mengingat chatbot dari openai ini seharusnya semakin pintar seiring waktu berkat kemampuannya belajar dari data yang terkumpul.
Sebuah studi yang dilakukan oleh tim dari stanford university dan uc berkeley telah mengkaji perubahan pada shatgpt tersebut.
Penelitian tersebut mengungkapkan bahwa performa dari model bahasa yang digunakan oleh chatgpt, yaitu gpt-3,5 dan gpt-4, menunjukkan variasi yang signifikan.
Lebih lanjut, ditemukan bahwa gpt-4 mengalami penurunan performa yang cukup signifikan, sebagaimana dilansir oleh insider pada Jumat (21/7/2023).
Dalam beberapa bulan terakhir, ‘kepintaran’ chatgpt tercatat mengalami penurunan drastis. Pada bulan maret, chatgpt mampu mengidentifikasi bilangan prima dengan tingkat akurasi sebesar 97,6%. Namun, pada bulan juni, tingkat akurasinya menurun drastis menjadi hanya 2,4%.
Bulan lalu, tercatat peningkatan kesalahan pemformatan oleh chatgpt. Selain itu, chatgpt cenderung lebih berhati-hati dalam menjawab pertanyaan yang sensitif.
Menurut Matei Zaharia, seorang profesor di uc berkeley dan penulis studi terkait, openAai, selaku pengembang chatgpt, mengalami kesulitan dalam mempertahankan kualitasnya.
“Menurut saya, tantangan utamanya adalah seberapa efektif pengembang dalam mengidentifikasi perubahan dan mencegah penurunan kemampuan chatgpt,” kata Zaharia.
Alasan pasti penurunan kualitas chatgpt belum diketahui. Namun, platform berbasis data seperti chatbot ai memerlukan perawatan dan pembelajaran berkelanjutan, yang tentunya membutuhkan biaya operasional yang signifikan.
Peter Yang, kepala produk roblox, menyatakan bahwa kemungkinan penurunan kualitas chatgpt disebabkan oleh keinginan openai untuk mengurangi biaya operasional.
Dia menyatakan bahwa respons gpt-4 pada Mei yang lalu terjadi lebih cepat daripada sebelumnya, namun menurutnya, ada penurunan dalam kualitasnya.
Menanggapi hal ini, openai menyangkal situasi tersebut. Baru-baru ini, wakil presiden produk openai, Peter Welinder, menekankan bahwa mereka telah mengembangkan versi baru yang lebih canggih.
“Tidak, kami tidak menurunkan kemampuan gpt-4. Sebaliknya, setiap versi baru yang kami rilis selalu lebih canggih dari yang sebelumnya,” ujar Welinder dalam cuitannya pekan lalu.
