← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

TensorRT-Edge-LLM

github.com

High-performance, light-weight C++ LLM and VLM Inference Software for Physical AI

오픈소스

github.com 방문외부 사이트GitHub625 스타외부 사이트

설치·연결

공식 MCP Registry, Homebrew, npm, PyPI, crates.io에서 저장소나 도메인으로 맞춰 하루 한 번 가져옵니다.

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    GitHub스타 1,487github.com오픈소스최근 반응

  2. xllm

    A high-performance inference engine for LLM, VLM and DiT models, optimized for diverse AI accelerators. It is hosted in OpenAtom Foundation.

    GitHub스타 1,618github.com오픈소스최근 반응

  3. TensorFold

    LLM Inference Engine for Metal, CUDA and Vulkan.

    GitHub스타 1,713github.com오픈소스최근 반응

  4. tokenspeed

    TokenSpeed is a speed-of-light LLM inference engine.

    GitHub스타 2,900github.com오픈소스최근 반응

  5. rtp-llm

    RTP-LLM: Alibaba's high-performance LLM inference engine for diverse applications.

    GitHub스타 1,394github.com오픈소스최근 반응