← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

xllm

github.com

A high-performance inference engine for LLM, VLM, DiT and REC models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

오픈소스

github.com 방문외부 사이트GitHub1,618 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. InferenceX

    Open Source AI Accelerator Research Platform Standard / 开源推理研究平台

    github.com오픈소스최근 반응

    GitHub
    스타 2,002

  2. rtp-llm

    RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

    github.com오픈소스최근 반응

    GitHub
    스타 1,394

  3. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    github.com오픈소스최근 반응

    GitHub
    스타 1,477

  4. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 96,511

  5. tokenspeed

    TokenSpeed is a speed-of-light LLM inference engine.

    github.com오픈소스최근 반응

    GitHub
    스타 2,885