R
ray_vllm_inference
@asprenger
A simple service that integrates vLLM with Ray Serve for fast and scalable LLM serving.
Maintainer in de EU Apache-2.0 Commit 2 jaaren geleden ★ 79
Pijlers en weging
Waarom deze score
- EU-gevestigde maintainer (zelf opgegeven: Berlin / Hamburg)
- Apache-2.0 (permissief)
- Laatste commit 904 dagen geleden
- Top 91% naar sterren in AI & ML › AI-operations
Feiten
- Licentie
- Apache-2.0 (Permissief)
- Taal
- Python
- GitHub-sterren
- 79
- Laatste commit
- 2024-04-06 (2 jaaren geleden)
- Laatste release
- Onbekend
- OpenSSF Scorecard
- Nog niet gemeten
- Zelf hosten
- Niet vastgesteld
- Maintainer-locatie
- EU
- Bron
- github-search
Alternatieven in AI-operations
01 77 02 76 03 76 04 73
Q
Qdrant
Qdrant - High-performance, massive-scale Vector Database and Vector Search Engine for the next generation of AI. Also available in the cloud https://cloud.qdrant.io/
O
Olares
Open-Source Personal Cloud OS for Always-On Agents
V
vLLM
A high-throughput and memory-efficient inference and serving engine for LLMs
A
argo-workflows
Workflow Engine for Kubernetes