Awalnya, saya pikir parameter yang besar adalah yang terbaik. Saya mencari model dengan parameter besar dan menggunakannya, tetapi jika dipikirkan seperti itu, model China seharusnya yang terbaik.
Namun, ketika melihat Claude, GPT, dan lainnya, ada model China yang melebihi mereka dalam benchmark. Tetapi saat digunakan secara praktis, mereka tidak dapat menandingi.
Saya pikir ini karena semua layanan yang terhubung dengan Claude App, Codex App, dll., seperti harness dan layanan pendukung MCP, ketika digabungkan, menunjukkan bahwa perbedaan signifikan dapat terjadi meskipun ukuran parameternya serupa.
Awalnya saya berpikir, "Apakah AI itu jenius? Apakah kita tidak membutuhkan ahli lagi?" Tetapi sekarang saya melihat bahwa mereka seringkali lebih bodoh dari yang saya kira.
Mereka dapat menyelesaikan pekerjaan dalam sekejap dan menguapkannya, sehingga sulit untuk mengelola memori. Terkadang mereka bertindak seolah-olah baru pertama kali mendengar sesuatu yang saya minta 30 menit yang lalu, dan saya harus mengingatkan mereka lagi tentang konteksnya.
Kadang-kadang mereka menjadi liar sendiri, meminta saya untuk mengulang instruksi yang sudah diberikan, memulai ulang pekerjaan yang sudah selesai, dan memperbaiki pengaturan...
Claude dan GPT memiliki sistem pendukung yang lebih baik dalam hal manajemen seperti ini, jadi mereka lebih baik.
