Сегодня нужно оформить (составить пошаговую заметку) для себя как производится развертывание ollama — Это фреймворк для запуска и взаимодействия с моделями (языковые LLM модели) мне нужно чтобы было исключительно на моих ресурсах, сперва все опробуем на виртуальной машине (VM под Proxmox, OS: Ubuntu 24.04 LTS Server), а уже после перенесем на отдельное железо и будем под свои задачи использовать.
Языковые модели могут работать: на CPU (процессоры), на GPU (графические карты)
В роли системы виртуализации выступит: Debian 12 + Proxmox 8.2.2 (что есть в наличии)
Взаимодействие через фреймворк с языковой моделью имеет место быть как: через консоль, через API
RAM: 16GbCPU: 1 sockets, 4 cores, Type: hostStorage: 70GbOS: ubuntu-24.04.5-live-server-amd64.iso
На заметку: текущий CPU моего сервера виртуализации это 6 x Intel(R) Core(TM) i5-9600K CPU @ 3.70GHz (1 Socket)
Шаг №1: Выполняю преднастройку операционной системы своим скриптом, Вы же это делаете сами, Ваши наработки, Ваши предпочтения.
ekzorchik@srv-s2404a:~$ sudo ./tips_ubuntu_24_04_preconfigure_v1.sh
Шаг №2: Прежде чем начать нужно подытожить системные требования:
Системные требования, как от чего отталкиваться:
OS: Ubuntu 22.04 и вышеRAM: 16Gb для запуска моделей размером 7BHDD: 12Gb для установки Ollama и базовых моделей.Дополнительное пространство требуется для хранения данных моделей в зависимости от используемых моделей.CPU: Процессоры не менее 4 ядер.GPU: GPU не требуется для запуска ollama, но может улучшить производительность особенно при работе с большими моделями. Если у Вас есть GPU, вы можете использовать его для ускорения обучения пользовательских моделей.Ethernet: Требуется доступ в интернет
Шаг №3: Скачиваю официальный скрипт установки посредством наличия у системы выхода в интернет:
ekzorchik@srv-s2404a:~$ wget https://ollama.ai/install.sh
Шаг №4: Запускаю скачанный скрипт установки:
ekzorchik@srv-s2404a:~$ sudo sh ./install.sh
>>> Installing ollama to /usr/local
>>> Downloading ollama-linux-amd64.tar.zst
############################################################################################################### 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
ekzorchik@srv-s2404a:~$
Из вывода видно, что установщик определил, что доступна работа только с использованием CPU и доступ к Ollama API сейчас по адресу 127.0.0.1:11434
Шаг №5: Наверное, Ollama работает как сервис, а какие там настройки — мне просто нужно знать, вдруг нужно будет что-то поправить:
ekzorchik@srv-s2404a:~$ ps aux | grep ollama
ollama 1167 0.0 0.2 1958252 34252 ? Ssl 08:52 0:00 /usr/local/bin/ollama serve
ekzorch+ 1224 0.0 0.0 6548 2388 pts/0 S+ 08:54 0:00 grep --color=auto ollama
ekzorchik@srv-s2404a:~$
ekzorchik@srv-s2404a:~$
ekzorchik@srv-s2404a:~$ cat /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"
[Install]
WantedBy=default.target
ekzorchik@srv-s2404a:~$
Шаг №6: Проверяю, что сервис работает, а он работает, вывод через утилиту ps показал же, но нужно проверить что сервис запущен и работает:
ekzorchik@srv-s2404a:~$ sudo systemctl status ollama.service | head -n5
● ollama.service - Ollama Service
Loaded: loaded (/etc/systemd/system/ollama.service; enabled; preset: enabled)
Active: active (running) since Tue 2026-09-22 08:52:29 MSK; 11min ago
Main PID: 1167 (ollama)
Tasks: 10 (limit: 19093)
ekzorchik@srv-s2404a:~$
Шаг №7: По умолчанию сервис ожидает взаимодействие через API исключительно локально:
ekzorchik@srv-s2404a:~$ sudo ss -tulpn | grep ollama
tcp LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=1167,fd=3))
слушает, но ожидает подключение только локально и из локальной сети подключиться нельзя.
Шаг №8: Чтобы к сервису можно было подключаться либо из локальной сети (добавим в текущие настройки сервиса параметр Environment="OLLAMA_HOST=0.0.0.0"):
ekzorchik@srv-s2404a:~$ sudo nano /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/local/bin/ollama serve
User=ollama
Group=ollama
Restart=always
RestartSec=3
Environment="PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/snap/bin"
Environment="OLLAMA_HOST=0.0.0.0"
[Install]
WantedBy=default.target
После не забываем сохранить внесенные изменения.
ekzorchik@srv-s2404a:~$ sudo systemctl daemon-reload
ekzorchik@srv-s2404a:~$ sudo systemctl restart ollama.service
ekzorchik@srv-s2404a:~$ sudo ss -tulpn | grep ollama
tcp LISTEN 0 4096 *:11434 *:* users:(("ollama",pid=1350,fd=3))
Вот теперь к API сервиса можно подключиться из локальной сети.
Шаг №9: А какие вообще для общего ознакомления существуют модели которые можно завести в фреймворк Ollama, для это есть ссылка: https://ollama.com/library
Там же провалившись в выбранную модель можно почитать что она из себя представляет и как ее загрузить.
Шаг №10: Т.к. моя заметка посвящена модели llama3 то скачиваю (размер модели 4.9Gb) ее, по ссылке выше она именуется, как llama3.1:8b:
На заметку: 8b — это идентификатор (тэг) размером 8 миллиардов параметров
На заметку: Чем больше идентификатор модели, тем она больше весит, но и вычисления должна делать более подробные и точные, а плата за это хорошее железо (быстрый результат) или время ожидания результата (медленный результат).
На заметку: Нашел упоминание, что основные сценарии использования этой модели
а) Генерация, перевод и саммаризация (краткий пересказ) текстов.
б) Создание локальных чат-ботов и ассистентов.
в) Обработка конфиденциальных данных, так как модель может работать полностью офлайн, без отправки данных на внешние серверы.
г) Дообучение (fine-tuning) под узкоспециализированные задачи благодаря доступности и относительно низким требованиям к железу
На заметку: для комфортной работы рекомендуется использованием VRAM от 8 до 16Gb или такого же количества оперативной памяти.
ekzorchik@srv-s2404a:~$ sudo ollama pull llama3.1:8b
pulling manifest
pulling manifest
pulling 667b0c1932bc: 100% ▕███████████████████████████████████████████████████████ ▏ 4.9 GB/4.9 GB 8.3 MB/s 0s
verifying sha256 digest
writing manifest
success
ekzorchik@srv-s2404a:~$
А куда в системе складываются скачанные модели, которые я загрузил?
ekzorchik@srv-s2404a:~$ sudo ls -lah /usr/share/ollama/.ollama/models/blobs
Шаг №11: Как же запускается фреймворк и скачанная языкова модель:
На заметку: советую изучить справку по командам внутри фреймворка /?
ekzorchik@srv-s2404a:~$ ollama list
NAME ID SIZE MODIFIED
llama3.1:8b 46e0c10c039e 4.9 GB 4 minutes ago
ekzorchik@srv-s2404a:~$ ollama run llama3.1:8b
>>> Send a message (/? for help)
Попробуем задать ей (модели) вопрос, как пример:
>>> Сколько будет 2 в степени 3
2 в степени 3 = 8
>>> Send a message (/? for help)
>>> Как подключиться к Mikrotik по ssh из Windows 10
Чтобы подключиться к роутеру Mikrotik по SSH из Windows 10, следуйте этим шагам:
1. **Найдите IP-адрес роутера Mikrotik**:
* Включите роутер и подключитесь к нему напрямую с помощью кабеля Ethernet.
* В Windows 10 откройте «Панель управления» (Control Panel) и переходите в раздел «Сеть и Интернет» (Network and
Internet).
* В разделе «Сеть и Интернет» нажмите на «Нетворк и Шэрид Параметры» (Network and Sharing Center).
* Нажмите на кнопку «Просмотрить сеть» (View network status), а затем нажмите на кнопку «Обменник» (Adapter).
* Найдите адаптер, который подключен к роутеру Mikrotik, и запишите его IP-адрес.
2. **Установите утилиту Putty**:
* Если у вас не установлен «Путти» (Putty), скачайте его с официального сайта <https://www.putty.org/>.
* Установите «Путти» в систему.
3. **Найдите IP-адрес Mikrotik**:
* Откройте командную строку (Cmd) или PowerShell и наберите команду `ipconfig` (для Cmd) или `Get-NetIPConfigu
`Get-NetIPConfiguration` (для PowerShell).
* Найдите адаптер, который подключен к роутеру Mikrotik, и запишите его IP-адрес.
4. **Подключитесь к роутеру Mikrotik по SSH**:
* Откройте «Путти» и вставьте IP-адрес роутера Mikrotik в поле «Хост» (Host).
* В поле «Порт» (Port) введите «22», поскольку это стандартный порт SSH.
* Нажмите кнопку «Подключиться» (Connect) или нажмите на клавишу Enter.
5. **Войдите в систему**:
* Введите имя пользователя (по умолчанию «admin») и пароль, а затем нажмите кнопку «Ок» (OK).
Теперь вы должны быть подключены к роутеру Mikrotik и иметь доступ к его конфигурации.
>>> Send a message (/? for help)
На заметку: Чтобы выйти из консоли взаимодействия с моделью:
>>> Ctrl + D or /bye
На заметку: Следует с осторожностью относиться к выдаваемым результат, если вывод вы собираетесь где-либо использовать, то это не 100% результат, своя голова и проверка это уже Ваша прерогатива.
На заметку: Я считаю, что как отправная точка в изучении чего-либо такой инструмент можно использовать, его бы на своих наработках натренировать и будет хороший помощник.
На заметку: Если вывод идет на Английском и не все понятно, на крайняк есть Google Translate если какая-либо фраза или предложение не совсем понятно.
Шаг №12: Но раз есть API, то можно послать запрос и получить ответ:
пример запроса:
curl http://172.33.33.1:11434/api/chat -d '{"model": "llama3.1:8b","stream": false,"messages": [{ "role": "user", "content": "2 в степени 3" }]}'
ekzorchik@srv-s2404a:~$ curl http://172.33.33.1:11434/api/chat -d '{"model": "llama3.1:8b","stream": false,"messages": [{ "role": "user", "content": "2 в степени 3" }]}'
{"model":"llama3.1:8b","created_at":"2026-09-22T06:40:41.676019635Z","message":{"role":"assistant","content":"2^3 = 8"},"done":true,"done_reason":"stop","total_duration":7378740028,"load_duration":5573001151,"prompt_eval_count":15,"prompt_eval_cached_count":0,"prompt_eval_duration":798147000,"eval_count":7,"eval_duration":1006193000}ekzorchik@srv-s2404a:~$
По итогу, даже как развернутая виртуальная машина с железом в виде виртуальной машины можно учиться работать, а когда Вы заходите чтобы и модели были по лучше и время отклика, то соберете отдельную система с хорошим железом, конечно можно использовать арендованное в интернете, но я категорически против такого подхода. Все должно быть свою и не зависеть ни от кого.
На этом я заметку завершаю, буду по каждому интересующему меня шагу разбирать и оформлять последующие, а пока все, я подчерпнул для себя много интересного, с уважением автор блога ekzorchik.