shop.antonnovikov.com / private-llm

Своя языковая модель на вашем сервере

Некоторые данные нельзя отправлять во внешний API: договоры, клиентские записи, исходный код. Я подбираю железо и разворачиваю языковую модель с открытыми весами на вашем сервере или арендованной GPU: с OpenAI-совместимым API, управлением доступом, мониторингом и письменной процедурой обновления. Данные остаются у вас, а платите вы за железо, а не за каждый запрос.

от $2 850 + $1 190/месобычно 10–14 дн.ИИ-модели оплачиваются отдельно, по цене провайдера

Что входит

  • Отчёт по подбору GPU: какая модель на какое железо, измеренная скорость в токенах в секунду, сравнение стоимости покупки и аренды
  • Развёртывание кодом в вашем репозитории (Docker Compose или Helm): всю установку можно пересобрать одной командой
  • OpenAI-совместимый API за TLS с аутентификацией: инструменты и SDK для API OpenAI работают после смены базового URL
  • Логи, проверки работоспособности и базовый дашборд: загрузка GPU, память, задержки и токены в секунду
  • Письменная процедура обновления и отката для модели, серверного ПО и драйверов GPU
  • Передача: исходники и краткая инструкция по эксплуатации

Калькулятор

«+$» добавляется к цене, «+N%» меняет итог, «/мес» платится после запуска.

Размер модели

GPU или сервер покупаются или арендуются отдельно. Отчёт по подбору проверит этот выбор на вашей реальной нагрузке до развёртывания.

Как запускается модель

Ollama проще всего и подходит небольшой команде. vLLM рассчитан на много одновременных пользователей на той же GPU; в Kubernetes он ещё и масштабируется на несколько машин.

Что получают пользователи

Управление доступом

Эксплуатация

Подписка

Что входит в подписку и условия

Подписка удешевляет разработку: я держу сервис в рабочем состоянии, слежу за ошибками и расходами на ИИ и каждый месяц улучшаю его, поэтому сборка стоит меньше. Без подписки вы получаете код и запускаете сами по полной цене.

Сроки

Заявка

Чтобы отправить заявку, войдите или создайте аккаунт: так вы увидите статус и сможете писать мне в одной переписке. Выбранные опции сохранятся.

Создать аккаунт Войти

Другие услуги

  1. ИИ-ассистент для поддержки и продажот $920 Чат-ассистент, который отвечает клиентам по вашим данным: на сайте или в мессенджерах. 6–9 дн. · +$790/мес
  2. Поиск и ответы по базе знаний (RAG)от $1 840 Вопрос обычным языком: ответ с источниками из ваших документов. 8–12 дн. · +$1 190/мес
  3. Автоматизация процессов с ИИот $710 Рутину делают сценарии на n8n или Python с шагами на LLM: разобрать, суммировать, составить, направить. 4–6 дн. · +$490/мес
  4. Telegram-бот с ИИот $1 050 Telegram-бот, который общается, читает файлы и фото, помнит контекст и выполняет задачи. 7–10 дн. · +$520/мес

Калькулятор по всем услугам