← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

guidellm

github.com

Evaluate and Enhance Your LLM Deployments for Real-World Inference Needs

오픈소스

github.com 방문외부 사이트GitHub1,760 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 96,511

  2. optillm

    Optimizing inference proxy for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 4,338

  3. sonar

    Large-scale LLM inference engine

    github.com오픈소스최근 반응

    GitHub
    스타 1,905

  4. rtp-llm

    RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

    github.com오픈소스최근 반응

    GitHub
    스타 1,394

  5. web-llm

    High-performance In-browser LLM Inference Engine

    github.com오픈소스최근 반응

    GitHub
    스타 19,361