AI on kenji.blog

Шаги для вызова TinyLLaMA из C++ (с использованием llama.cpp)

Sat, 19 Jul 2025 09:40:53 +0900

✅ Шаги настройки TinyLLaMA × C++ (с использованием `llama.cpp`)

🔧 Шаг 1: Подготовка llama.cpp

1-1. Требуемое окружение (Минимум)

ОС: Windows / Linux / macOS
Среда разработки: g++ / clang / MSVC
Git / CMake

1-2. Получение и сборка llama.cpp

1
2
3
4
5
6


git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

В Windows проще всего использовать Visual Studio Developer Command Prompt с командой cmake --build . --config Release.

📦 Шаг 2: Скачивание и конвертация модели TinyLLaMA

2-1. Получение оригинальной модели с HuggingFace

Пример: TinyLLaMA-1.1B

1
2
3
4
5
6
7


# При необходимости скачайте с помощью transformers
pip install transformers huggingface_hub

python3 -m transformers.models.llama.convert_llama_weights_to_hf \
 --input_dir ./TinyLlama-1.1B-Chat \
 --model_size 1B \
 --output_dir ./hf_model

Это шаг преобразования в формат Hugging Face.

2-2. Конвертация в формат GGUF (для `llama.cpp`)

1
2


cd llama.cpp
python3 convert.py ./hf_model --outfile tinyllama.gguf

2-3. Квантование модели (уменьшение размера)

1

./quantize ./tinyllama.gguf ./tinyllama-q4.gguf q4_0

q4_0 — это 4-битное квантование. Размер модели уменьшится примерно до ** 350 МБ **.

🧪 Шаг 3: Вызов модели из C++ (Пример кода)

3-1. Простой код на C++ (Вывод)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41


#include "llama.h"
#include <iostream>

int main() {
 llama_model_params model_params = llama_model_default_params();
 llama_context_params ctx_params = llama_context_default_params();

 llama_model *model = llama_load_model_from_file("tinyllama-q4.gguf", model_params);
 llama_context *ctx = llama_new_context_with_model(model, ctx_params);

 std::string prompt = "Пользователь говорит, что хочет загрузить данные Excel, отфильтровать их и сохранить. Какова конфигурация узла?";
 llama_batch batch = llama_batch_init(512, 0, 1);
 llama_token BOS = llama_token_bos(model);
 batch.token[0] = BOS;

 // Токенизация
 std::vector<llama_token> tokens(prompt.size() + 8);
 int n = llama_tokenize(model, prompt.c_str(), tokens.data(), tokens.size(), true);
 tokens.resize(n);

 for (size_t i = 0; i < tokens.size(); ++i) {
 batch.token[i + 1] = tokens[i];
 }

 batch.n_tokens = tokens.size() + 1;
 llama_decode(ctx, batch);

 // Получение результата
 for (int i = 0; i < 50; ++i) {
 llama_token next = llama_sample_token(ctx, nullptr);
 std::cout << llama_token_to_str(model, next);
 llama_batch next_batch = llama_batch_init(1, 0, 1);
 next_batch.token[0] = next;
 next_batch.n_tokens = 1;
 llama_decode(ctx, next_batch);
 }

 llama_free(ctx);
 llama_free_model(model);
 return 0;
}

🧱 Шаг 4: Метод компиляции (Пример)

1

g++ -I./llama.cpp main.cpp ./llama.cpp/build/libllama.a -o tiny_infer -pthread -std=c++11

Библиотека libllama.a создается в директории build/ после сборки.

✅ Пример структуры файлов (Организация)

1
2
3
4
5
6


my_app/
├── tinyllama-q4.gguf # Квантованная модель (~350 МБ)
├── main.cpp # Код C++ выше
├── llama.cpp/ # Ядро llama.cpp
└── build/
 └── libllama.a # Скомпилированная библиотека

🧠 Заметки для применения в проектах

Добавьте код на C++ для сопоставления и выбора шаблонов узлов на основе вывода
Пример: Если содержит “Excel”, “фильтр”, “сохранить” -> Создать соответствующую группу узлов
Для этой части подойдет простая конфигурация, например оператор if + загрузка шаблона JSON

📌 Итог

Параметр	Описание
Рекомендуемая модель	TinyLLaMA-1.1B-Chat v1.0 (GGUF + Квантование)
Размер	~350-450 МБ (4-битное квантование)
Интеграция с C++	Возможна через `llama.cpp`, почти без внешних зависимостей
Производительность	Достаточна для простого понимания намерений и генерации текста (Естественный текст -> Конфигурация)
Расширяемость	Можно превратить в ИИ для генерации узлов, комбинируя с заполнением слотов и вызовом шаблонов

Как создать иллюстрации с помощью ИИ (StableDiffusion)

Thu, 06 Apr 2023 00:43:19 +0900

Что такое Stable diffusion

Stable diffusion — это ИИ, генерирующий изображения на основе введенной текстовой информации, разработанный исследовательской группой Мюнхенского университета в Германии. Обучаясь на различных изображениях, он может создавать самые разные картинки, от фотореалистичных до иллюстраций.

В этот раз я расскажу, как генерировать иллюстрации с использованием предварительно обученных данных Stable diffusion.

Что понадобится

Аккаунт Google

И всё.

Процесс генерации

Откройте https://colab.research.google.com
В левом верхнем углу выберите Файл и нажмите Создать блокнот
В меню Редактировать выберите Настройки блокнота
Измените Аппаратный ускоритель на GPU
Вставьте следующий код и выполните его

1

!pip install diffusers==0.8.0 transformers

Вставьте следующий код и выполните его

1

from diffusers import StableDiffusionPipeline

Вставьте следующий код и выполните его

1
2


pipe = StableDiffusionPipeline.from_pretrained("gsdf/Counterfeit-V2.5")
pipe.to("cuda")

Вставьте следующий код и выполните его

1
2
3
4
5


prompt = "((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field"
n_prompt = "EasyNegative, extra fingers,fewer fingers"

image = pipe(prompt, negative_prompt = n_prompt).images[0]
image

Используемый здесь Prompt основан на Prompt с https://huggingface.co/gsdf/Counterfeit-V2.5.

AI on kenji.blog

Шаги для вызова TinyLLaMA из C++ (с использованием llama.cpp)

✅ Шаги настройки TinyLLaMA × C++ (с использованием `llama.cpp`)

🔧 Шаг 1: Подготовка llama.cpp

1-1. Требуемое окружение (Минимум)

1-2. Получение и сборка llama.cpp

📦 Шаг 2: Скачивание и конвертация модели TinyLLaMA

2-1. Получение оригинальной модели с HuggingFace

2-2. Конвертация в формат GGUF (для `llama.cpp`)

2-3. Квантование модели (уменьшение размера)

🧪 Шаг 3: Вызов модели из C++ (Пример кода)

3-1. Простой код на C++ (Вывод)

🧱 Шаг 4: Метод компиляции (Пример)

✅ Пример структуры файлов (Организация)

🧠 Заметки для применения в проектах

📌 Итог

Как создать иллюстрации с помощью ИИ (StableDiffusion)

Что такое Stable diffusion

Что понадобится

Процесс генерации

Результаты генерации (несколько)

Ссылки

AI on kenji.blog

Шаги для вызова TinyLLaMA из C++ (с использованием llama.cpp)

✅ Шаги настройки TinyLLaMA × C++ (с использованием llama.cpp)

🔧 Шаг 1: Подготовка llama.cpp

1-1. Требуемое окружение (Минимум)

1-2. Получение и сборка llama.cpp

📦 Шаг 2: Скачивание и конвертация модели TinyLLaMA

2-1. Получение оригинальной модели с HuggingFace

2-2. Конвертация в формат GGUF (для llama.cpp)

2-3. Квантование модели (уменьшение размера)

🧪 Шаг 3: Вызов модели из C++ (Пример кода)

3-1. Простой код на C++ (Вывод)

🧱 Шаг 4: Метод компиляции (Пример)

✅ Пример структуры файлов (Организация)

🧠 Заметки для применения в проектах

📌 Итог

Как создать иллюстрации с помощью ИИ (StableDiffusion)

Что такое Stable diffusion

Что понадобится

Процесс генерации

Результаты генерации (несколько)

Ссылки

✅ Шаги настройки TinyLLaMA × C++ (с использованием `llama.cpp`)

2-2. Конвертация в формат GGUF (для `llama.cpp`)