← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

candle-vllm

github.com

Efficent platform for inference and serving local LLMs including an OpenAI compatible API server.

오픈소스

github.com 방문외부 사이트GitHub739 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    GitHub스타 96,543github.com오픈소스최근 반응

  2. guidellm

    Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

    GitHub스타 1,762github.com오픈소스최근 반응

  3. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    GitHub스타 1,479github.com오픈소스최근 반응

  4. catwalk

    🐈 A collection of LLM inference providers and models

    GitHub스타 822github.com오픈소스최근 반응

  5. rtp-llm

    RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

    GitHub스타 1,394github.com오픈소스최근 반응