Tentu saja, meskipun saya mengompresi Q2 atau Q4, model flash masih berjalan.
Sebagai eksperimen, saya mencoba menjalankannya di DGX SPARK.
Saya berhasil memastikan bahwa ia bisa berjalan, tetapi saya belum dapat mengevaluasinya karena saya kembali ke tugas asli saya.
Namun, saya rasa ini adalah upaya yang menarik.
https://github.com/antirez/ds4
Belakangan ini, model yang dirilis memiliki parameter dengan skala yang berbeda. Saya harap upaya-upaya menarik seperti ini dapat mendorong
perkembangan agar model besar lainnya juga dapat berjalan.
