Perusahaan kami baru-baru ini mengadopsi AI eksternal, tetapi itu sangat mahal.
Rencana pribadi direset setiap minggu, kan? Tetapi enterprise tidak seperti itu ㅎㅎ
Hampir tidak ada perbedaan dari biaya menggunakan API secara langsung;
Jadi kami juga telah menerapkan batasan penggunaan yang cukup ketat untuk ini.
Kami melayani model terbuka untuk penggunaan internal, tetapi sangat lambat, dan menjadi lebih lambat ketika lebih banyak pengguna menumpuk.
Setidaknya tidak ada batasan token, jadi ada orang-orang yang menggunakannya secara sederhana.
Dan di tengah-tengah semua ini, mereka mengatakan mereka akan memberlakukan batasan token pada LLM internal juga....ㅋㅋㅋㅋㅋ
Saya pikir itu akan berhasil jika kami hanya menyaring beberapa pengguna berat, tetapi pengguna-pengguna berat itu
'kami perlu melakukan hal-hal seperti ini, jadi tolong lepaskan batasan token' akan mengajukan persetujuan dengan pesan seperti itu
Tentu saja akan disetujui. Dan kemudian layanan LLM internal akan tetap lambat.
Jika mereka sepenuhnya membuka LLM berkinerja tinggi... saya ingin mencoba mengembangkan agen dan hal-hal seperti itu.
Tetapi kenyataannya berantakan ㅋ (pengembangan agen diblokir. Mereka belum membuka endpoint LLM...)
