← 트렌딩

Tangerine Index는 ChatGPT 이후 나온 프로덕트와 사람들의 반응을 싣습니다.

llm-internals

github.com

Learn LLM internals step by step - from tokenization to attention to inference optimization.

오픈소스

github.com 방문외부 사이트GitHub1,770 스타외부 사이트

반응 (1)

비슷한 프로덕트

설명이 비슷한 순

  1. 1Cat-vLLM

    V100 / SM70-focused vLLM engineering fork for modern LLM inference.

    github.com오픈소스최근 반응

    GitHub
    스타 1,477

  2. sonar

    Large-scale LLM inference engine

    github.com오픈소스최근 반응

    GitHub
    스타 1,905

  3. vllm

    A high-throughput and memory-efficient inference and serving engine for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 96,511

  4. mistral.rs

    Fast, flexible LLM inference

    github.com오픈소스최근 반응

    GitHub
    스타 7,817

  5. optillm

    Optimizing inference proxy for LLMs

    github.com오픈소스최근 반응

    GitHub
    스타 4,338