💻 Technology
·
Hacker News
·
Hypura – inteligentny scheduler dla inference'u LLM na Apple Silicon
Hypura to nowy scheduler do uruchamiania dużych modeli językowych na czipach Apple Silicon, który optymalizuje wykorzystanie różnych poziomów pamięci urządzenia. Rozwiązanie ma na celu poprawianie wydajności inference'u poprzez świadomą zarządzanie dostępem do pamięci cache i RAM.
Article URL: https://github.com/t8/hypura Comments URL: https://news.ycombinator.com/item?id=47504695 Points: 208 # Comments: 80