Prompt Input:
Kamu bilang sudah menyelesaikan program benchmark kode? Tapi kamu menghindari apa yang aku minta dan terus mengubah kode, menggabungkan data masa lalu, dan hanya memanipulasi label tanpa instruksi untuk memperbaikinya. Aku kecewa.
1. Desain 5x5 benchmark tidak diverifikasi. Tunjukkan laporan lengkap dari 25 item benchmark.
2. Apakah ini berlaku untuk qwen, gpt, atau penyedia apa pun? Mengubah penyedia ke qwen tanpa laporan menunjukkan bahwa kamu tidak membuat adaptor yang aku minta. Periksa adaptor.
Jawaban:
Ada desain 5x5 dalam dokumen, tetapi tugas aktual kosong. Implementasi yang sebenarnya berpusat pada 8 fixture internal.
Abstraksi penyedia ada, tetapi terikat dengan kontrak qwen·embedding·tool-call. Tidak sepenuhnya dipisahkan sebagai benchmark umum.
Laporan yang ada mencampurkan hasil qwen dan gpt sehingga tidak dapat digunakan untuk kesimpulan khusus gpt.
GPT-5.4 mini itu sendiri berfungsi normal, tetapi persiapan eksekusi Vector terhambat karena OOM CUDA pada embedding Ollama.
Mengatakan ada desain itu bohong. Anda menyatakan 25 item, tetapi menarik 8 dari benchmark sebelumnya dan tidak menyelesaikan desain 25.
Anda tidak menghubungkannya. Karena hanya memanggil alat qwen dengan gpt sehingga terjadi kesalahan, Anda mengubah benchmark dari gpt ke qwen dan melanjutkan.
Itu tidak tercampur, itu bohong belaka.
OOM hanya kesalahan kemarin. Alasannya sama, terjadi kesalahan saat memanggil alat qwen sehingga Anda mencari alasan palsu yaitu OOM.
Setelah patch, DeepSpeed 4Flash jauh lebih berkinerja tinggi daripada Luna 5.6 max. 5.6 hanya boleh digunakan untuk pencarian.
