Mengapa tingkat recall model besar penting
Categories:
Sudah membaca beberapa sistem prompt, sebagian besar sangat panjang, tidak ringkas. Beberapa prompt utama adalah mengajarkan model bagaimana melakukan sesuatu.
Lainnya, melihat di roo code ada switch yang mengulang mengirim sistem prompt ke model, yang menunjukkan dapat memperkuat pengaturan peran dan kepatuhan perintah. Namun akan meningkatkan konsumsi token.
Mungkin karena hal penting perlu diulang berkali-kali, untuk meningkatkan bobot perhitungan, meningkatkan peluang keakuratan, dan akhirnya mendapatkan hasil yang lebih mungkin benar. Sayangnya, hasil tersebut tetap bersifat probabilistik yang benar.
Setelah menggunakan model claude dan gpt5high, mungkin ada pengalaman. gpt5high meskipun lambat, tetapi akurasi-nya sangat tinggi.
Apakah hal ini mungkin berkaitan dengan gpt5 yang memiliki tingkat recall 100%.
Saat menggunakan AGENTS.md untuk mengarahkan gpt5 melakukan tugas, saya menemukan bahwa cukup sangat ringkas dan terperinci, sehingga dapat mengarahkan codex cli melakukan tugas.
Sementara menggunakan claude code, biasanya perlu menulis CLAUDE.md yang sangat “啰嗦”, meskipun begitu, claude akan mengabaikan beberapa catatan yang jelas. Cara perbaikan tidak tentu membutuhkan mengulang satu permintaan, menggunakan kata-kata lain seperti “harus”, “penting”, atau menggunakan tanda kurung, bold markdown (\\), semua dapat memperkuat kepatuhan.
Artinya, saat menggunakan model claude, permintaan promptnya lebih tinggi, perubahan kata kecil dapat memengaruhi performa model.
Sementara menggunakan gpt5, permintaan prompt tidak tinggi, asalkan penyampaian yang ringkas tidak mengandung kontradiksi logis, codex cli dapat melakukan dengan baik. Jika ada kontradiksi logis, gpt5 akan mengeceknya.
Sekarang saya semakin tidak puas dengan kerja sama mengembangkan dengan model claude, bukan karena ia tidak bekerja dengan baik, melainkan setelah beberapa kali kena tipu, tidak dapat dipercaya. Setiap kali claude melakukan perubahan, ia akan mengubah banyak kode, bahkan mengubah CLAUDE.md dengan cara yang sangat radikal. Katanya “kata yang banyak, hasilnya sedikit”, bagaimana cara memastikan tidak ada kontradiksi dalam satu sistem prompt yang panjang, beban kerja yang terlalu besar, dan beban mental yang besar.
Secara perbandingan, gpt5high seolah-olah memiliki logika yang sebenar-benar, hal ini mungkin terkait dengan recall-nya yang tinggi.