Lupa Secara Teratur Menguntungkan Kinerja Model
Categories:
Seri GPT5 memiliki recall yang tinggi, dapat mencapai logika yang sangat ketat, yang terbaik untuk memecahkan bug, sekaligus dapat mendeteksi ketidaksesuaian konteks secara tepat waktu, pengalaman yang unik di antara banyak model saat ini. Namun baru-baru ini dalam proyek reverse engineering pribadi saya, saya menemukan bahwa kemampuan reverse engineering GPT5 terbatas, jelas tidak sebanding dengan model opus. Banyak kali ia dengan jelas menyatakan bahwa hal tersebut tidak dapat dilakukan, tetapi ketika beralih ke opus, reverse engineering fungsi dapat dengan cepat diselesaikan. Opus mencatat seluruh proses reverse engineering-nya sebagai riwayat upaya operasi. Di bawah penggunaan intensif selama beberapa hari, dokumen riwayat tersebut mengandung banyak ketidaksesuaian. GPT dapat menghindari percaya pada satu petunjuk yang sudah kedaluwarsa, tetapi ketika informasi yang kedaluwarsa terlalu banyak, GPT5 akan sulit untuk menangani dengan benar. Artinya, model seri GPT5 akan terbatas kinerjanya dalam sebuah proyek berkualitas rendah yang penuh dengan kesalahan, sementara opus masih dapat mempertahankan performa yang relatif lebih baik.
