← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

Medusa

github.com

Medusa: Simple Framework for Accelerating LLM Generation with Multiple Decoding Heads

라이브러리오픈소스

github.com 방문외부 사이트GitHub2,774 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. sonar

    Large-scale LLM inference engine

    github.com오픈소스최근 반응

    GitHub
    스타 1,905

  2. web-llm

    High-performance In-browser LLM Inference Engine

    github.com오픈소스최근 반응

    GitHub
    스타 19,361

  3. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    github.com오픈소스최근 반응

    GitHub
    스타 1,477

  4. TileRT

    Tile-Based Runtime for Ultra-Low-Latency LLM Inference

    github.com오픈소스최근 반응

    GitHub
    스타 1,887

  5. little-coder

    A harness optimized to smaller LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 2,719