TileRT

1Cat-vLLM

V100 / SM70-focused vLLM engineering fork for modern LLM inference.

github.com오픈소스최근 반응 8개월 전

vllm

A high-throughput and memory-efficient inference and serving engine for LLMs

github.com오픈소스최근 반응 3년 전

sonar

Large-scale LLM inference engine

github.com오픈소스최근 반응 3년 전

web-llm

High-performance In-browser LLM Inference Engine

github.com오픈소스최근 반응 3년 전

Open-source AMDGCN kernels for optimizing LLM inference

github.com오픈소스반응 2개최근 반응 2개월 전