https://huggingface.co/jcbtc/Qwen3.8-27B-IU4-Kairic-Edge
INT4 akselerasi ternyata tidak hanya ada di DGX Spark,
RDNA3.5 juga memiliki IU4.
Sekitar dua kali lipat performa FP16 / FP8 (itu saja sepertiga dari NV4 Spark)
Ini tampaknya cukup sulit untuk digunakan.
Oleh karena itu, ada beberapa hal yang perlu ditambahkan ke model dan llamacpp bukan hanya tingkat forking, tetapi juga sesuatu yang kompleks
Saya sudah membangunnya, tetapi strukturnya tidak memungkinkan untuk digunakan bersama front-end seperti lemonade, jadi saya berhenti.
Jika hanya membutuhkan text only LLM Qwen 3.8 27B, sepertinya akan baik-baik saja.
Dikatakan mencapai 47 t/s ㄷ ㄷ ㄷ
Meskipun dibuat, dukungannya tidak memadai, kompleks, dan sekali lagi ROCm....
