Perbandingan Model Berbayar GitHub Copilot

GitHub Copilot saat ini menyediakan 7 model,

• Claude 3.5 Sonnet
• Claude 3.7 Sonnet
• Claude 3.7 Sonnet Thinking
• Gemini 2.0 Flash
• GPT-4o
• o1
• o3-mini

Perbandingan Model

Berdasarkan data evaluasi publik (beberapa data merupakan perkiraan dan dikonversi dari berbagai sumber) tabel perbandingan multidimensi, mencakup tiga indikator kunci: pengkodean (SWE‑Bench Verified), matematika (AIME’24), dan penalaran (GPQA Diamond):

Keterangan:

• Angka-angka dalam tabel ini berasal dari beberapa evaluasi publik (misalnya laporan perbandingan Vellum AI VELLUM.AI) dan beberapa data dikonversi (misalnya, Claude 3.7 sekitar 19% lebih baik daripada 3.5), beberapa angka Gemini 2.0 Flash merupakan perkiraan.
• “Claude 3.7 Sonnet Thinking” merujuk pada performa model dalam tugas matematika dan penalaran yang jauh lebih baik saat mode “berpikir” (yaitu, memperpanjang langkah-langkah penalaran internal) diaktifkan.

Ringkasan Kelebihan dan Kekurangan serta Bidang Aplikasi

Seri Claude (3.5/3.7 Sonnet dan varian Thinking-nya)

• Keunggulan:
  • Memiliki akurasi tinggi dalam tugas pengkodean dan penalaran multi-langkah, terutama versi 3.7 yang jauh lebih baik daripada versi 3.5;
  • Dalam mode ‘Thinking’, performa matematika dan penalaran lebih baik, cocok untuk menangani logika kompleks atau tugas yang memerlukan perencanaan detail;
  • Memiliki keunggulan dalam pemanggilan alat dan pemrosesan konteks panjang.
• Kekurangan:
  • Indikator matematika relatif rendah dalam mode standar, hanya dapat ditingkatkan secara signifikan dengan mengaktifkan mode penalaran yang diperpanjang;
  • Biaya dan waktu respons mungkin lebih tinggi dalam beberapa skenario.
  • Bidang Aplikasi:
    • Rekayasa perangkat lunak, generasi dan debugging kode, penyelesaian masalah kompleks, pengambilan keputusan multi-langkah, dan alur kerja otomatisasi tingkat perusahaan.

Gemini 2.0 Flash

• Keunggulan:
  • Memiliki jendela konteks yang besar, cocok untuk pemrosesan dokumen panjang dan input multimodal (misalnya, analisis gambar);
  • Kemampuan penalaran dan pengkodean menunjukkan performa yang baik dalam beberapa tes, dengan kecepatan respons yang cepat.
• Kekurangan:
  • Dalam beberapa skenario (misalnya, tugas pengkodean kompleks), mungkin terjadi ‘hang’, dan stabilitasnya masih perlu diverifikasi;
  • Beberapa indikator merupakan perkiraan awal, dan performa keseluruhan masih memerlukan lebih banyak data publik untuk konfirmasi.
  • Bidang Aplikasi:
    • Tugas multimodal, interaksi real-time, dan skenario aplikasi yang memerlukan konteks besar, seperti ringkasan dokumen panjang, analisis video, dan pencarian informasi.

GPT‑4o

• Keunggulan:
  • Pemahaman dan generasi bahasa yang alami dan lancar, cocok untuk percakapan terbuka dan pemrosesan teks umum.
• Kekurangan:
  • Performa relatif lemah dalam tugas profesional seperti pengkodean dan matematika, dengan beberapa indikator jauh di bawah model sejenis;
  • Biaya lebih tinggi (mirip dengan GPT-4.5), dengan rasio biaya-manfaat yang lebih rendah dibandingkan beberapa pesaing.
  • Bidang Aplikasi:
    • Sistem percakapan umum, pembuatan konten, penulisan salinan, dan tugas tanya jawab sehari-hari.

o1 dan o3‑mini (Seri OpenAI)

• Keunggulan:
  • Menunjukkan performa luar biasa dalam penalaran matematika, dengan o1 dan o3‑mini mencapai 83.3% dan 87.3% masing-masing dalam tugas AIME;
  • Kemampuan penalaran relatif stabil, cocok untuk aplikasi yang memerlukan analisis matematika dan logika dengan presisi tinggi.
• Kekurangan:
  • Performa pengkodean sedang, sedikit lebih rendah dibandingkan dengan seri Claude;
  • Performa keseluruhan sedikit tidak seimbang dalam berbagai tugas.
  • Bidang Aplikasi:
    • Perhitungan ilmiah, penyelesaian masalah matematika, penalaran logika, bimbingan pendidikan, dan bidang analisis data profesional.

• ←Sebelumnya
• Berikutnya→