Запустили llm.js — библиотеку для запуска больших языковых моделей в браузере

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Появилась библиотека llm.js для запуска больших языковых моделей в браузере. Она написана на JavaScript. Библиотеку опубликовали на GitHub.

Библиотека поддерживает разные популярные решения, в том числе llama-cpp (GGUF/GGML); LLaMa 2; Dolly v2; GPT2; GPT J; GPT NEO X; MPT; Replit; StarCoder.

Для тестов доступна песочница и несколько тестовых проектов. Отмечается, что скорость генерации ниже, чем в других больших библотеках.

Предполагается, что добавят новые модели и форматы. llm.js можно применять в собственных веб-приложениях. На сайте есть вся необходимая информация для ее подключения.

Недавно мы писали, что API Compression Streams сжимает и распаковывает потоки данных. Он использует форматы gzip или deflate (или deflate-raw). Благодаря API размер приложения не увеличивается: библиотека сжатия больше не нужна.

Читайте также
В TypeScript 5.3 добавили ​​поддержку атрибутов импорта
В TypeScript 5.3 добавили ​​поддержку атрибутов импорта
В TypeScript 5.3 добавили ​​поддержку атрибутов импорта

TS теперь включает одну опцию для определенного редактора, прежде он добавлял модификатор типа, полагаясь на настройки разработчика

Рассказываем об обновлениях Firefox 119
Рассказываем об обновлениях Firefox 119
Рассказываем об обновлениях Firefox 119

В октябре вышли обновления Firefox 119. Также сформировали обновление ветки с длительным сроком поддержки — 115.4.0.

AdonisJS v6: Полный переход на современные стандарты JavaScript
AdonisJS v6: Полный переход на современные стандарты JavaScript
AdonisJS v6: Полный переход на современные стандарты JavaScript

Переход на современные стандарты Ключевое изменение в AdonisJS v6 – полная поддержка современных стандартов JavaScript: ECMAScript Modules (ESM) и TypeScript. Это обеспечивает совместимость с последними версиями пакетов и повышает безопасность благодаря доступу к актуальным исправлениям уязвимостей. Приложения AdonisJS v6 теперь по умолчанию используют TypeScript и ESM, однако разработчики по-прежнему могут устанавливать и применять пакеты, написанные […]

Что нового в Chrome 123
Что нового в Chrome 123
Что нового в Chrome 123

С помощью новой функции light-dark() можно адаптировать свою цветовую схему; диагностика отзывчивости сайта с помощью API Long Animation Frames; с помощью API статической маршрутизации Service Worker можно избегайте снижения производительности при запуске Service Worker