Saya sedang menguji nemotron3 super(nvfp4 120b).
Saya menggunakan vllm dengan beberapa llm yang dikomposisikan, tetapi saya ingin mencoba hanya satu untuk waktu yang lama. Saya mendengar bahwa 120b tersedia dan saya mengatur dan menjalankannya.
Pemuatan model dan respons berhasil. Sangat mudah, tidak ada masalah, bagus sekali. Outputnya sekitar 15 token per detik.
Saya memikirkan lingkungan penggunaan dan memutuskan untuk membuatnya menjadi aplikasi. Saya awalnya menggunakan rust, tetapi saya mengganti rencana menjadi web agar dapat diakses dari ponsel dan PC dengan hanya menyalakan spark. Struktur ini akan menggunakan claude dan codex untuk desain dan pembuatan dokumen instruksi pekerjaan, sementara nemo akan bertanggung jawab atas pengkodean.
Claude menyelesaikan pengkodean aplikasi. Saya mengujinya dan berfungsi dengan baik. Sekarang saatnya untuk pengujian beban.
Apa?
Mati. Hanya mati saja. Apa yang terjadi? Saya mengulang pengukuran suhu empat kali, mencoba mencari tahu apakah masalahnya ada pada rentang cpu/gpu atau daya yang tidak mencukupi. Saya akan menguji dengan semua cara yang mungkin. Saya meminta Claude untuk melakukan pengujian dan dia melakukan banyak pengujian.
Pelakunya adalah daya. Apakah masalahnya pada adaptor?
Hmm.... Bisakah ada masalah dengan RAM? Biasanya, hal seperti ini dapat diperbaiki dengan melepas RAM dari motherboard dan membersihkannya dengan penghapus karet, tetapi saya tidak bisa melakukan itu. Saya menjalankan tes beban hanya dengan cpu dan ram.
Sudah 20 menit dan masih hidup? Wow. Saya perlu memperluas pengujian. Saya akan mengusulkan beberapa metode untuk melakukan pengujian yang lebih luas. Menyenangkan melihat perilaku AI superstar yang memiliki keterbatasan dalam penalaran induktif, membuat saya bangga sebagai manusia (ADHD).
Aha.
Saya menemukan pelakunya. Tampaknya ada bug pada build vllm yang saya gunakan. Saya menggunakan build untuk spark dan ternyata versi terbaru sudah diperbarui. Belum mati.
Saya akan melakukan pengujian selama 60 menit, sekarang sudah 49 menit dan masih hidup. Lampu hijau menyala. Saya menikmati Green Lantern, tetapi ini lebih menarik.
Sampai jumpa lagi. Bye bye.
