Локальная нейросеть: как выбрать и запустить модель на компьютере

«Работает локально» не означает «подходит любому ноутбуку» и не гарантирует безопасность автоматически. Файл модели может занимать гигабайты, длинный контекст резко увеличивает расход памяти, а удобная оболочка — собирать телеметрию. До установки полезно отделить собственно модель от программы, которая её запускает.

Для перевода речи в текст есть отдельная инструкция про локальную расшифровку аудио. Здесь речь о текстовой языковой модели: черновиках, поиске по документам, извлечении полей, классификации и внутреннем помощнике.

Команды установки, каталог моделей, параметры запуска и API сверяйте с официальной документацией Ollama. Скачивайте рантайм и модели только из проверенных источников и фиксируйте версию.

Начните с задачи

Раздел начинается не с выбора сервиса, а с объекта: одно действие и ожидаемый формат результата. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Ошибка выглядит так: сначала скачивают популярную модель, потом ищут ей применение. Она опасна не сама по себе, а тем, что следующий участник процесса принимает неподтверждённое предположение за свойство системы. В разделе «Начните с задачи» выполните действие «собрать двадцать реальных примеров» и сверьте его с доказательством «тестовый набор». Тогда риск «сначала скачивают популярную модель, потом ищут ей применение» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: одно действие и ожидаемый формат результата.
• Исключите ошибку: сначала скачивают популярную модель, потом ищут ей применение.
• Выполните действие: собрать двадцать реальных примеров.
• Сохраните доказательство: тестовый набор.

• Сделайте действие: собрать двадцать реальных примеров. Подтверждением будет тестовый набор. Храните его рядом с версией данных, модели или настройки, иначе повторная проверка сравнит разные условия.
• Пример. из писем нужно извлечь номер заказа, а не вести свободный диалог Сначала прогоните один обычный и один пограничный случай. Если выводы расходятся, расширяйте тестовую выборку, а не усредняйте проблему.
• Мерой качества служит доля правильно обработанных примеров. Одного среднего числа мало: разбейте результат по типам входа и отдельно покажите редкие случаи, где ошибка дороже.
• Владелец — владелец процесса. Он фиксирует принятое решение, срок следующей проверки и условие остановки. Пункт закрыт только тогда, когда доказательство можно повторить.
• Итог для этапа «Начните с задачи» проверяют по связи с исходной задачей: изменение должно улучшать «доля правильно обработанных примеров», а материал «тестовый набор» — объяснять, почему команда доверяет выводу о контуре «одно действие и ожидаемый формат результата».

Проверьте железо

Здесь рабочей единицей становится оперативная память, видеопамять, процессор, диск и охлаждение. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Типовой сбой — размер файла модели принимают за полный расход памяти. Если обнаружить его только после запуска, нельзя понять, проблема находится в исходных данных, настройке, индексе или пользовательском сценарии. В разделе «Проверьте железо» выполните действие «замерить свободные ресурсы под нагрузкой» и сверьте его с доказательством «профиль компьютера». Тогда риск «размер файла модели принимают за полный расход памяти» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: оперативная память, видеопамять, процессор, диск и охлаждение.
• Исключите ошибку: размер файла модели принимают за полный расход памяти.
• Выполните действие: замерить свободные ресурсы под нагрузкой.
• Сохраните доказательство: профиль компьютера.

• Практический ход — замерить свободные ресурсы под нагрузкой. Не ограничивайтесь снимком экрана: сохраните профиль компьютера, дату и входной пример, на котором проверка дала результат.
• Разбор ситуации. длинный запрос вытесняет модель или замедляет систему Такой пример стоит сохранить целиком: вход, ожидаемый результат, фактический ответ и решение человека после проверки.
• Считайте пиковая память и токены в секунду. Сравнивайте одинаковые наборы до и после изменения; новая версия не должна выигрывать только из-за более удобной выборки.
• За результат отвечает технический специалист. Его задача — не собрать отчёт, а принять одно из трёх решений: запускать, исправлять или отказаться от сценария.
• Итог для этапа «Проверьте железо» проверяют по связи с исходной задачей: изменение должно улучшать «пиковая память и токены в секунду», а материал «профиль компьютера» — объяснять, почему команда доверяет выводу о контуре «оперативная память, видеопамять, процессор, диск и охлаждение».

Выберите размер модели

Для этого этапа заранее очертите баланс качества, скорости и требований. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Главная ловушка — большую модель считают всегда лучшей для короткой задачи. Устное объяснение автора не считается контролем: другой специалист должен воспроизвести решение по сохранённым материалам. В разделе «Выберите размер модели» выполните действие «сравнить два размера на одном наборе» и сверьте его с доказательством «парный отчёт». Тогда риск «большую модель считают всегда лучшей для короткой задачи» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: баланс качества, скорости и требований.
• Исключите ошибку: большую модель считают всегда лучшей для короткой задачи.
• Выполните действие: сравнить два размера на одном наборе.
• Сохраните доказательство: парный отчёт.

• Рабочее решение: сравнить два размера на одном наборе. После этого другой участник должен получить парный отчёт без устных подсказок автора настройки.
• Контрольный сценарий: малая модель точно классифицирует письма и отвечает быстрее Он полезен именно тем, что показывает цену ошибки в рабочем процессе, а не только техническое отклонение.
• Для решения используйте показатель «качество при приемлемой задержке». Рядом запишите защитную метрику, чтобы улучшение скорости или полноты не скрывало потерю точности и контроля.
• Роль «ML-инженер» подтверждает итог. При смене входных данных, модели или назначения эта проверка повторяется, даже если прежняя версия работала стабильно.
• Итог для этапа «Выберите размер модели» проверяют по связи с исходной задачей: изменение должно улучшать «качество при приемлемой задержке», а материал «парный отчёт» — объяснять, почему команда доверяет выводу о контуре «баланс качества, скорости и требований».

Разберитесь с квантованием

Практическая граница шага — снижение точности чисел ради памяти и скорости. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Риск появляется, когда названия сборок сравнивают без одинаковых условий. Поэтому критерий приёмки записывают до эксперимента, а не подгоняют под уже красивый результат. В разделе «Разберитесь с квантованием» выполните действие «зафиксировать формат и измерить потерю качества» и сверьте его с доказательством «манифест файла». Тогда риск «названия сборок сравнивают без одинаковых условий» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: снижение точности чисел ради памяти и скорости.
• Исключите ошибку: названия сборок сравнивают без одинаковых условий.
• Выполните действие: зафиксировать формат и измерить потерю качества.
• Сохраните доказательство: манифест файла.

• На этом этапе нужно зафиксировать формат и измерить потерю качества. Артефакт «манифест файла» связывает вывод с фактическим экспериментом и позволяет вернуться к нему после обновления.
• Пример. четырёхбитная версия помещается в память, но чаще путает числа Сначала прогоните один обычный и один пограничный случай. Если выводы расходятся, расширяйте тестовую выборку, а не усредняйте проблему.
• Мерой качества служит разница качества и потребления памяти. Одного среднего числа мало: разбейте результат по типам входа и отдельно покажите редкие случаи, где ошибка дороже.
• Владелец — инженер платформы. Он фиксирует принятое решение, срок следующей проверки и условие остановки. Пункт закрыт только тогда, когда доказательство можно повторить.
• Итог для этапа «Разберитесь с квантованием» проверяют по связи с исходной задачей: изменение должно улучшать «разница качества и потребления памяти», а материал «манифест файла» — объяснять, почему команда доверяет выводу о контуре «снижение точности чисел ради памяти и скорости».

Установите официальный рантайм

Сначала договоритесь, что именно проверяется: программа, которая загружает модель и принимает запрос. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Нельзя оставлять ситуацию «случайная сборка получает доступ к файлам и сети» без владельца. Иначе команда меняет инструмент, но сохраняет исходную причину сбоя. В разделе «Установите официальный рантайм» выполните действие «проверить издателя, подпись и документацию» и сверьте его с доказательством «версия и контрольная сумма». Тогда риск «случайная сборка получает доступ к файлам и сети» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: программа, которая загружает модель и принимает запрос.
• Исключите ошибку: случайная сборка получает доступ к файлам и сети.
• Выполните действие: проверить издателя, подпись и документацию.
• Сохраните доказательство: версия и контрольная сумма.

• Сделайте действие: проверить издателя, подпись и документацию. Подтверждением будет версия и контрольная сумма. Храните его рядом с версией данных, модели или настройки, иначе повторная проверка сравнит разные условия.
• Разбор ситуации. рантайм ставится из официального репозитория, а не из архива форума Такой пример стоит сохранить целиком: вход, ожидаемый результат, фактический ответ и решение человека после проверки.
• Считайте число неподтверждённых компонентов. Сравнивайте одинаковые наборы до и после изменения; новая версия не должна выигрывать только из-за более удобной выборки.
• За результат отвечает администратор. Его задача — не собрать отчёт, а принять одно из трёх решений: запускать, исправлять или отказаться от сценария.
• Итог для этапа «Установите официальный рантайм» проверяют по связи с исходной задачей: изменение должно улучшать «число неподтверждённых компонентов», а материал «версия и контрольная сумма» — объяснять, почему команда доверяет выводу о контуре «программа, которая загружает модель и принимает запрос».

Загрузите модель заранее

Команда принимает решение вокруг объекта «файлы весов и лицензия использования». Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Ошибка выглядит так: офлайн-тест срывается из-за скрытой дозагрузки. Она опасна не сама по себе, а тем, что следующий участник процесса принимает неподтверждённое предположение за свойство системы. В разделе «Загрузите модель заранее» выполните действие «скачать зависимости и проверить запуск без сети» и сверьте его с доказательством «журнал сетевых обращений». Тогда риск «офлайн-тест срывается из-за скрытой дозагрузки» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: файлы весов и лицензия использования.
• Исключите ошибку: офлайн-тест срывается из-за скрытой дозагрузки.
• Выполните действие: скачать зависимости и проверить запуск без сети.
• Сохраните доказательство: журнал сетевых обращений.

• Практический ход — скачать зависимости и проверить запуск без сети. Не ограничивайтесь снимком экрана: сохраните журнал сетевых обращений, дату и входной пример, на котором проверка дала результат.
• Контрольный сценарий: компьютер в изолированном контуре отвечает после отключения интернета Он полезен именно тем, что показывает цену ошибки в рабочем процессе, а не только техническое отклонение.
• Для решения используйте показатель «число обязательных внешних запросов». Рядом запишите защитную метрику, чтобы улучшение скорости или полноты не скрывало потерю точности и контроля.
• Роль «специалист безопасности» подтверждает итог. При смене входных данных, модели или назначения эта проверка повторяется, даже если прежняя версия работала стабильно.
• Итог для этапа «Загрузите модель заранее» проверяют по связи с исходной задачей: изменение должно улучшать «число обязательных внешних запросов», а материал «журнал сетевых обращений» — объяснять, почему команда доверяет выводу о контуре «файлы весов и лицензия использования».

Ограничьте контекст

Раздел начинается не с выбора сервиса, а с объекта: объём текста, который модель обрабатывает за один запрос. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Типовой сбой — в память отправляют весь архив ради одного ответа. Если обнаружить его только после запуска, нельзя понять, проблема находится в исходных данных, настройке, индексе или пользовательском сценарии. В разделе «Ограничьте контекст» выполните действие «делить документы и передавать только нужные фрагменты» и сверьте его с доказательством «правила формирования контекста». Тогда риск «в память отправляют весь архив ради одного ответа» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: объём текста, который модель обрабатывает за один запрос.
• Исключите ошибку: в память отправляют весь архив ради одного ответа.
• Выполните действие: делить документы и передавать только нужные фрагменты.
• Сохраните доказательство: правила формирования контекста.

• Рабочее решение: делить документы и передавать только нужные фрагменты. После этого другой участник должен получить правила формирования контекста без устных подсказок автора настройки.
• Пример. поиск выбирает три раздела инструкции вместо сотни страниц Сначала прогоните один обычный и один пограничный случай. Если выводы расходятся, расширяйте тестовую выборку, а не усредняйте проблему.
• Мерой качества служит время ответа и точность на длинных документах. Одного среднего числа мало: разбейте результат по типам входа и отдельно покажите редкие случаи, где ошибка дороже.
• Владелец — разработчик. Он фиксирует принятое решение, срок следующей проверки и условие остановки. Пункт закрыт только тогда, когда доказательство можно повторить.
• Итог для этапа «Ограничьте контекст» проверяют по связи с исходной задачей: изменение должно улучшать «время ответа и точность на длинных документах», а материал «правила формирования контекста» — объяснять, почему команда доверяет выводу о контуре «объём текста, который модель обрабатывает за один запрос».

Настройте системный промпт

Здесь рабочей единицей становится роль, формат, запреты и условие отказа. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Главная ловушка — инструкция пытается исправить недостаток знаний модели. Устное объяснение автора не считается контролем: другой специалист должен воспроизвести решение по сохранённым материалам. В разделе «Настройте системный промпт» выполните действие «отделить правила поведения от фактов» и сверьте его с доказательством «версия промпта и тесты». Тогда риск «инструкция пытается исправить недостаток знаний модели» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: роль, формат, запреты и условие отказа.
• Исключите ошибку: инструкция пытается исправить недостаток знаний модели.
• Выполните действие: отделить правила поведения от фактов.
• Сохраните доказательство: версия промпта и тесты.

• На этом этапе нужно отделить правила поведения от фактов. Артефакт «версия промпта и тесты» связывает вывод с фактическим экспериментом и позволяет вернуться к нему после обновления.
• Разбор ситуации. модель возвращает JSON или просит уточнение вместо выдумки Такой пример стоит сохранить целиком: вход, ожидаемый результат, фактический ответ и решение человека после проверки.
• Считайте процент ответов в нужном формате. Сравнивайте одинаковые наборы до и после изменения; новая версия не должна выигрывать только из-за более удобной выборки.
• За результат отвечает дизайнер сценария. Его задача — не собрать отчёт, а принять одно из трёх решений: запускать, исправлять или отказаться от сценария.
• Итог для этапа «Настройте системный промпт» проверяют по связи с исходной задачей: изменение должно улучшать «процент ответов в нужном формате», а материал «версия промпта и тесты» — объяснять, почему команда доверяет выводу о контуре «роль, формат, запреты и условие отказа».

Проверьте русский язык

Для этого этапа заранее очертите термины, склонения, числа и рабочий стиль. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Риск появляется, когда ориентируются на англоязычный рейтинг модели. Поэтому критерий приёмки записывают до эксперимента, а не подгоняют под уже красивый результат. В разделе «Проверьте русский язык» выполните действие «прогнать собственные письма и документы» и сверьте его с доказательством «размеченные ответы». Тогда риск «ориентируются на англоязычный рейтинг модели» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: термины, склонения, числа и рабочий стиль.
• Исключите ошибку: ориентируются на англоязычный рейтинг модели.
• Выполните действие: прогнать собственные письма и документы.
• Сохраните доказательство: размеченные ответы.

• Сделайте действие: прогнать собственные письма и документы. Подтверждением будет размеченные ответы. Храните его рядом с версией данных, модели или настройки, иначе повторная проверка сравнит разные условия.
• Контрольный сценарий: модель должна отличить оплату от возврата в русской переписке Он полезен именно тем, что показывает цену ошибки в рабочем процессе, а не только техническое отклонение.
• Для решения используйте показатель «точность по типам задач». Рядом запишите защитную метрику, чтобы улучшение скорости или полноты не скрывало потерю точности и контроля.
• Роль «предметный эксперт» подтверждает итог. При смене входных данных, модели или назначения эта проверка повторяется, даже если прежняя версия работала стабильно.
• Итог для этапа «Проверьте русский язык» проверяют по связи с исходной задачей: изменение должно улучшать «точность по типам задач», а материал «размеченные ответы» — объяснять, почему команда доверяет выводу о контуре «термины, склонения, числа и рабочий стиль».

Защитите локальный API

Практическая граница шага — порт, права, журнал и доступ приложений. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Нельзя оставлять ситуацию «сервис слушает внешнюю сеть без аутентификации» без владельца. Иначе команда меняет инструмент, но сохраняет исходную причину сбоя. В разделе «Защитите локальный API» выполните действие «ограничить интерфейс и сервисные роли» и сверьте его с доказательством «проверка сетевых настроек». Тогда риск «сервис слушает внешнюю сеть без аутентификации» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: порт, права, журнал и доступ приложений.
• Исключите ошибку: сервис слушает внешнюю сеть без аутентификации.
• Выполните действие: ограничить интерфейс и сервисные роли.
• Сохраните доказательство: проверка сетевых настроек.

• Практический ход — ограничить интерфейс и сервисные роли. Не ограничивайтесь снимком экрана: сохраните проверка сетевых настроек, дату и входной пример, на котором проверка дала результат.
• Пример. доступ разрешён только приложению на том же сервере Сначала прогоните один обычный и один пограничный случай. Если выводы расходятся, расширяйте тестовую выборку, а не усредняйте проблему.
• Мерой качества служит число открытых путей и неуспешных входов. Одного среднего числа мало: разбейте результат по типам входа и отдельно покажите редкие случаи, где ошибка дороже.
• Владелец — DevOps. Он фиксирует принятое решение, срок следующей проверки и условие остановки. Пункт закрыт только тогда, когда доказательство можно повторить.
• Итог для этапа «Защитите локальный API» проверяют по связи с исходной задачей: изменение должно улучшать «число открытых путей и неуспешных входов», а материал «проверка сетевых настроек» — объяснять, почему команда доверяет выводу о контуре «порт, права, журнал и доступ приложений».

Планируйте обновления

Сначала договоритесь, что именно проверяется: версия модели, рантайма, промпта и тестов. Локальный запуск переносит данные и вычисления под ваш контроль, но вместе с ними переносит обслуживание. Ошибка выглядит так: автообновление меняет ответы без контрольного запуска. Она опасна не сама по себе, а тем, что следующий участник процесса принимает неподтверждённое предположение за свойство системы. В разделе «Планируйте обновления» выполните действие «обновлять через отдельную среду и сравнение» и сверьте его с доказательством «отчёт регрессии». Тогда риск «автообновление меняет ответы без контрольного запуска» можно обсуждать на материале конкретного контура, а не как общее опасение.

• Запишите объект проверки: версия модели, рантайма, промпта и тестов.
• Исключите ошибку: автообновление меняет ответы без контрольного запуска.
• Выполните действие: обновлять через отдельную среду и сравнение.
• Сохраните доказательство: отчёт регрессии.

• Рабочее решение: обновлять через отдельную среду и сравнение. После этого другой участник должен получить отчёт регрессии без устных подсказок автора настройки.
• Разбор ситуации. новая версия лучше пишет текст, но хуже соблюдает JSON Такой пример стоит сохранить целиком: вход, ожидаемый результат, фактический ответ и решение человека после проверки.
• Считайте число ухудшенных контрольных примеров. Сравнивайте одинаковые наборы до и после изменения; новая версия не должна выигрывать только из-за более удобной выборки.
• За результат отвечает владелец качества. Его задача — не собрать отчёт, а принять одно из трёх решений: запускать, исправлять или отказаться от сценария.
• Итог для этапа «Планируйте обновления» проверяют по связи с исходной задачей: изменение должно улучшать «число ухудшенных контрольных примеров», а материал «отчёт регрессии» — объяснять, почему команда доверяет выводу о контуре «версия модели, рантайма, промпта и тестов».

Карта контроля

Что изучить дальше

• локальная расшифровка аудио
• нейросеть для текста
• большие языковые модели
• персональные данные в ИИ
• нейросеть для анализа документов
• системный промпт
• галлюцинации нейросетей

Чек-лист