Сборка и настройка выделенной станции для LLM: Ubuntu 24.04 + Ollama

Ситуация такова, если работа фреймворка ollama и языковой модели llama3.1:8b внутри виртуальной машины работает, но работает медленно, пора — значит вынести наработки заметок:

• "Пробуем фреймворк Ollama + языковая модель llama3:8b на Ubuntu 24.04 Server"
• "Взаимодействуем с ollama через Web-интерфейс на Ubuntu 24.04 LTS Server"

на отдельно стоящий компьютер, им будет: + Nvidia Quadro P1000

• Motherboard: Asus Prime H610M-R D4
• Bios: Ver 3810
• CPU: 12th Gen Intel® Core™i5-12400
• Speed: 4000MHz
• RAM: 16Gb (DDR4 3200MHz)
• Storage: M.2 Apacer AS2280P4 512Gb

На этот компьютер я сперва с установочной флешки ставил образ ubuntu-24.04.3-live-server-amd64.iso, вот только установка падала на этапе, когда я ввожу

Login:

Hostname

и нажимаю

Done

An error occurred during installation

Sorry, there was a problem completing the installation.

Loading report…

Do you want to try starting the installation again?

Скачал самый последний релиз https://releases.ubuntu.com/noble/ubuntu-24.04.5-live-server-amd64.iso

Записал его на свою загрузочную флешку "Загрузочная флешка с использованием ventoy2disk"

и установка с нее не крашится как выше

Выполнилось как нужно.

Шаг №1: Применил преднастройку операционной системы своим скриптом, Вы же это делаете сами, Ваши наработки, Ваши предпочтения.

ekzorchik@srv-s2404a:~$ sudo ./tips_ubuntu_24_04_preconfigure_v1.sh

Шаг №2: Как узнать какая видеокарта (на этапе установки использовалась встроенная) вставлена в системе:

ekzorchik@srv-us2404a:~$ lspci | grep -iE 'vga|3d|display'

00:02.0 VGA compatible controller: Intel Corporation Alder Lake-S GT1 [UHD Graphics 730] (rev 0c)

ekzorchik@srv-us2404a:~$

ekzorchik@srv-us2404a:~$ lspci -tv
-[0000:00]-+-00.0  Intel Corporation 12th Gen Core Processor Host Bridge
+-02.0  Intel Corporation Alder Lake-S GT1 [UHD Graphics 730]
+-0a.0  Intel Corporation Platform Monitoring Technology
+-0e.0  Intel Corporation Volume Management Device NVMe RAID Controller
+-14.0  Intel Corporation Alder Lake-S PCH USB 3.2 Gen 2x2 XHCI Controller
+-14.2  Intel Corporation Alder Lake-S PCH Shared SRAM
+-15.0  Intel Corporation Alder Lake-S PCH Serial IO I2C Controller #0
+-16.0  Intel Corporation Alder Lake-S PCH HECI Controller #1
+-17.0  Intel Corporation Alder Lake-S PCH SATA Controller [AHCI Mode]
+-1c.0-[01]--
+-1c.3-[02]----00.0  Realtek Semiconductor Co., Ltd. RTL8111/8168/8211/8411 PCI Express Gigabit Ethernet Controller
+-1c.4-[03]----00.0  Phison Electronics Corporation PS5015-E15 PCIe3 NVMe Controller (DRAM-less)
+-1f.0  Intel Corporation Device 7a87
+-1f.3  Intel Corporation Alder Lake-S HD Audio Controller
+-1f.4  Intel Corporation Alder Lake-S PCH SMBus Controller
+-1f.5  Intel Corporation Alder Lake-S PCH SPI Controller
ekzorchik@srv-us2404a:~$

Шаг №3: После выключаю компьютер, разбираю его и вставлю видеокарту Nvidia Quadro P1000 (ну какая мне досталась от кого с ответом, мол забирай, может тебе пригодится).

На заметку: У NVIDIA Quadro P1000 одна физическая GPU — NVIDIA Pascal GP107.

Основные характеристики:

• GPU: GP107
• CUDA-ядер: 640
• VRAM: 4 ГБ GDDR5
• Шина памяти: 128-bit
• TDP: 47 Вт
• PCIe: 3.0 x16

То есть в nvidia-smi она будет отображаться как одна GPU (GPU 0).

На заметку: Сейчас видео подключено к разъему на материнской плате hdmi и в мониторе через hdmi

ekzorchik@srv-us2404a:~$ lspci | grep -iE 'vga|3d|display'

00:02.0 VGA compatible controller: Intel Corporation Alder Lake-S GT1 [UHD Graphics 730] (rev 0c)

01:00.0 VGA compatible controller: NVIDIA Corporation GP107GL [Quadro P1000] (rev a1)

Шаг №4: Теперь нужно установить драйвера на видео карту Quadro P1000, смотрю, какой рекомендуемый драйвер:

ekzorchik@srv-us2404a:~$ whereis ubuntu-drivers
ubuntu-drivers: /usr/bin/ubuntu-drivers
ekzorchik@srv-us2404a:~$ ubuntu-drivers devices
udevadm hwdb is deprecated. Use systemd-hwdb instead.
udevadm hwdb is deprecated. Use systemd-hwdb instead.
udevadm hwdb is deprecated. Use systemd-hwdb instead.
ERROR:root:aplay command not found
== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==
modalias : pci:v000010DEd00001CB1sv000010DEsd000011BCbc03sc00i00
vendor   : NVIDIA Corporation
model    : GP107GL [Quadro P1000]
driver   : nvidia-driver-580 - distro non-free recommended
driver   : nvidia-driver-470-server - distro non-free
driver   : nvidia-driver-580-server - distro non-free
driver   : xserver-xorg-video-nouveau - distro free builtin

Шаг №5: Устанавливаю рекомендуемый драйвер через ubuntu-drivers:

ekzorchik@srv-us2404a:~$ sudo ubuntu-drivers install

Шаг №6: Отправляю систему в перезагрузку:

ekzorchik@srv-us2404a:~$ sudo reboot

Шаг №7: Проверяю, что система Ubuntu 24.04 LTS Server может взаимодействовать с видеокартой:

ekzorchik@srv-us2404a:~$ lsmod | grep nvidia
nvidia_uvm           2109440  0
nvidia_drm            139264  0
nvidia_modeset       1642496  1 nvidia_drm
nvidia              104222720  2 nvidia_uvm,nvidia_modeset
video                  77824  4 asus_wmi,xe,i915,nvidia_modeset
ekzorchik@srv-us2404a:~$

ekzorchik@srv-us2404a:~$ cat /etc/modprobe.d/nvidia-graphics-drivers-kms.conf
# This file was generated by nvidia-driver-580
# Set value to 0 to disable modesetting
options nvidia_drm modeset=1

# Preserve video memory on suspend/resume
options nvidia NVreg_PreserveVideoMemoryAllocations=1
options nvidia NVreg_TemporaryFilePath=/var
ekzorchik@srv-us2404a:~$

ekzorchik@srv-us2404a:~$ nvidia-smi

Mon Sep 21 10:04:47 2026

+-----------------------------------------------------------------------------------------+

| NVIDIA-SMI 580.178.04             Driver Version: 580.178.04     CUDA Version: 13.0     |

+-----------------------------------------+------------------------+----------------------+

| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |

| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |

|                                         |                        |               MIG M. |

|=========================================+========================+======================|

|   0  Quadro P1000                   Off |   00000000:01:00.0 Off |                  N/A |

| 34%   35C    P8            N/A  /  N/A  |       3MiB /   4096MiB |      0%      Default |

|                                         |                        |                  N/A |

+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+

| Processes:                                                                              |

|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |

|        ID   ID                                                               Usage      |

|=========================================================================================|

|  No running processes found                                                             |

+-----------------------------------------------------------------------------------------+

ekzorchik@srv-us2404a:~$

По итогу, есть железо с видеокартой + драйвера и готово к последующему наполнению софтом опираясь на наработки, ну об этом будет следующая заметка, а пока все, с уважением автор блога ekzorchik.