liteLLM

Nổi Bật

LiteLLM: Cổng LLM để quản lý và truy cập hơn 100 LLM trong định dạng OpenAI.

Mở Trang Web

Giới thiệu liteLLM

Mọi thứ bạn cần biết về công cụ này

Mô Tả Công Cụ:

LiteLLM là một Cổng LLM (OpenAI Proxy) được thiết kế để quản lý xác thực, phân bổ tải và theo dõi chi tiêu trên hơn 100 LLM, trong khi vẫn duy trì định dạng của OpenAI. Nó đơn giản hóa quá trình sử dụng các API LLM từ nhiều nhà cung cấp khác nhau như OpenAI, Azure, Cohere, Anthropic, Replicate và Google. LiteLLM cung cấp đầu ra và ngoại lệ nhất quán cho tất cả các API LLM, cùng với việc ghi log và theo dõi lỗi cho tất cả các mô hình. Nó cung cấp các tính năng như theo dõi chi phí, API theo lô, bảo vệ, quyền truy cập mô hình, ngân sách, khả năng quan sát LLM, giới hạn tỷ lệ, quản lý prompt, ghi log S3 và điểm cuối thông qua.

Sử dụng LiteLLM bằng cách gọi các API LLM theo định dạng chatGPT - completion(model, messages). Nó cung cấp đầu ra và ngoại lệ nhất quán cho tất cả các API LLM. Bạn có thể triển khai LiteLLM mã nguồn mở hoặc thử LiteLLM Doanh Nghiệp để có thêm tính năng.