AI on kenji.blog

AI開發的壁壘

Sun, 20 Jul 2025 21:52:42 +0900

AI開發的壁壘

～雖然來到了第八合目，但從那之後才是地獄的故事～

大家好，我是kenji。

最近，非常頻繁地聽到大家說：「只要拜託AI，就能輕易做出應用程式了！」我們已經跨越了無程式碼（No-code）或低程式碼（Low-code）的時代，進入了「Vibe Coding（憑感覺寫程式碼）」的階段。

舉例來說，只要說「做一個可以編輯圖片並發布到社群媒體的應用程式」，AI就會吐出程式碼甚至UI。 你是不是會覺得：「太厲害了，已經不需要人類了吧？」

但是，這其實 就像是穿著涼鞋降落在富士山的第八合目一樣 。

到第八合目為止看起來像是「輕而易舉」

一開始，用AI開發真的非常輕鬆。檔案I/O？總之能運作。網路？嘛，能連上。資料庫？用JSON就可以了吧。 UI？ChatGPT已經幫我寫出React程式碼了。支付？Stripe的API大概複製貼上就行了。

在這裡，你會產生一種錯覺：「我，是不是已經是個工程師了？」但是，真正的地獄從這裡才開始。

為什麼會卡關？

理由很簡單，因為「AI雖然能做出看起來像樣的東西，但最終調整還是全丟給人類」。

因為檔案I/O導致資料消失
資料庫正規化不夠嚴謹導致搜尋緩慢
UI不夠直覺
沒有進行壓力測試，流量一集中就崩潰
被Apple/Google的審查退回
觸及法律規範要求而差點引發公關危機

也就是說， AI擅長製作「外表看起來已完成的原型」 ，但 將其打磨成「真正在世上行得通的產品」，至今依然是人類的工作 。

但是，這裡存在一個悖論

在這裡，我們會發現一個悖論。

如果未來AI真的變得什麼都能做到了呢？也就是說，當「安全性、計費、設計全都能由AI完美處理」的時候呢？

到那時候， 人類可能根本不再需要製作應用程式了 。

因為只要使用者直接對AI說「我想做這件事」，即使沒有應用程式，任務也會被立即執行完畢。

🌀 舉例來說

以前我們會「為了計算而開啟計算機應用程式」，但現在只要說「Hey Siri，12乘32是多少？」就結束了。

同樣地，如果說「請AI幫我編輯照片並分享」，可能根本不需要經過應用程式的UI或API，處理就已經完成了。

換句話說， 當「用AI製作應用程式」這個目標實現時，或許就會迎來一個根本不需要應用程式的世界 。

說到底，我們現在能做什麼

那麼，我們該怎麼辦呢？

現在「第八合目以上」仍然是人類的領域，所以要精進這部分
專注於本質上的使用者理解與服務設計
思考「有價值的東西」而不是「能被做出來的東西」
甚至，探索「不侷限於應用程式形式」的價值提供方式

AI是工具、是升降機，有時也是競爭對手。但是， 「要做什麼」以及「為什麼要做」，依然是我們人類面臨的課題 。

總結：

AI開發的壁壘，並非技術問題，而是結構上的悖論

這是一個任何人都能到達富士山第八合目的時代。但從那之後才是真正的考驗。

而且，當我們終於登頂時，或許會迎來一個讓我們重新思考：「我們真的有必要爬這座山嗎？」的未來。

從 C++ 呼叫 TinyLLaMA 的步驟（使用 llama.cpp）

Sat, 19 Jul 2025 09:40:53 +0900

✅ TinyLLaMA × C++ 設定步驟（使用 `llama.cpp`）

🔧 Step 1: 準備 llama.cpp

1-1. 必備環境（最低需求）

OS: Windows / Linux / macOS
開發環境: g++ / clang / MSVC
Git / CMake

1-2. 取得並建置 llama.cpp

1
2
3
4
5
6


git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

Windows 使用者可以在 Visual Studio Developer Command Prompt 中執行 cmake --build . --config Release 會比較方便。

📦 Step 2: 下載 TinyLLaMA 模型並轉換

2-1. 從 HuggingFace 取得原始模型

範例: TinyLLaMA-1.1B

1
2
3
4
5
6
7


# 如有需要，使用 transformers 進行下載
pip install transformers huggingface_hub

python3 -m transformers.models.llama.convert_llama_weights_to_hf \
 --input_dir ./TinyLlama-1.1B-Chat \
 --model_size 1B \
 --output_dir ./hf_model

這是轉換為 Hugging Face 格式的步驟。

2-2. 轉換為 GGUF 格式（供 `llama.cpp` 使用）

1
2


cd llama.cpp
python3 convert.py ./hf_model --outfile tinyllama.gguf

2-3. 模型量化（縮減大小）

1

./quantize ./tinyllama.gguf ./tinyllama-q4.gguf q4_0

q4_0 為 4bit 量化。模型大小大約會縮減至 ** 350MB前後 ** 。

🧪 Step 3: 從 C++ 呼叫模型（程式碼範例）

3-1. 簡易 C++ 程式碼（推論）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41


#include "llama.h"
#include <iostream>

int main() {
 llama_model_params model_params = llama_model_default_params();
 llama_context_params ctx_params = llama_context_default_params();

 llama_model *model = llama_load_model_from_file("tinyllama-q4.gguf", model_params);
 llama_context *ctx = llama_new_context_with_model(model, ctx_params);

 std::string prompt = "使用者說想要讀取 Excel 資料、進行篩選並儲存。節點架構為何？";
 llama_batch batch = llama_batch_init(512, 0, 1);
 llama_token BOS = llama_token_bos(model);
 batch.token[0] = BOS;

 // 進行 Tokenize
 std::vector<llama_token> tokens(prompt.size() + 8);
 int n = llama_tokenize(model, prompt.c_str(), tokens.data(), tokens.size(), true);
 tokens.resize(n);

 for (size_t i = 0; i < tokens.size(); ++i) {
 batch.token[i + 1] = tokens[i];
 }

 batch.n_tokens = tokens.size() + 1;
 llama_decode(ctx, batch);

 // 取得推論結果
 for (int i = 0; i < 50; ++i) {
 llama_token next = llama_sample_token(ctx, nullptr);
 std::cout << llama_token_to_str(model, next);
 llama_batch next_batch = llama_batch_init(1, 0, 1);
 next_batch.token[0] = next;
 next_batch.n_tokens = 1;
 llama_decode(ctx, next_batch);
 }

 llama_free(ctx);
 llama_free_model(model);
 return 0;
}

🧱 Step 4: 編譯方法（範例）

1

g++ -I./llama.cpp main.cpp ./llama.cpp/build/libllama.a -o tiny_infer -pthread -std=c++11

libllama.a 會在建置後的 build/ 目錄中產生。

✅ 成果物結構範例（整理）

1
2
3
4
5
6


my_app/
├── tinyllama-q4.gguf # 已量化模型 (~350MB)
├── main.cpp # 上述 C++ 程式碼
├── llama.cpp/ # llama.cpp 本體
└── build/
 └── libllama.a # 已編譯函式庫

🧠 應用於使用案例的補充說明

在 C++ 內保有接受輸出並 比對/選擇節點範本 的程式碼
範例：若包含「Excel」「篩選」「儲存」→ 產生對應的節點群組
此部分採用 if 判斷式 + 讀取 JSON 範本 的簡單架構即可

📌 總結

項目	內容
推薦模型	TinyLLaMA-1.1B-Chat v1.0（GGUF + 量化）
大小	~350〜450MB（4bit量化）
C++整合	可透過 `llama.cpp` 達成，幾乎無外部依賴
處理能力	足以應付簡單的意圖理解與輸出句子生成（自然語言→架構）
擴充性	結合插槽填寫與範本呼叫，即可成為節點生成 AI

如何使用 AI (Stable Diffusion) 生成插圖

Thu, 06 Apr 2023 00:43:19 +0900

什麼是 Stable diffusion

Stable diffusion 是由德國慕尼黑大學研究團隊開發的，一種根據輸入文字資訊生成圖像的 AI。透過讓它學習各種圖像，它可以生成從寫實照片到插圖等各式各樣的圖片。

這次，我將介紹如何使用 Stable diffusion 的預訓練資料來生成插圖。

需要準備的東西

Google 帳號

僅此而已

生成步驟

打開 https://colab.research.google.com
從左上角的 檔案 中選擇 新增筆記本
從 編輯 中選擇 筆記本設定
將 硬體加速器 更改為 GPU
貼上並執行以下程式碼

1

!pip install diffusers==0.8.0 transformers

貼上並執行以下程式碼

1

from diffusers import StableDiffusionPipeline

貼上並執行以下程式碼

1
2


pipe = StableDiffusionPipeline.from_pretrained("gsdf/Counterfeit-V2.5")
pipe.to("cuda")

貼上並執行以下程式碼

1
2
3
4
5


prompt = "((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field"
n_prompt = "EasyNegative, extra fingers,fewer fingers"

image = pipe(prompt, negative_prompt = n_prompt).images[0]
image

這裡使用的 Prompt 參考了 https://huggingface.co/gsdf/Counterfeit-V2.5 的 Prompt。

AI on kenji.blog

AI開發的壁壘

AI開發的壁壘

到第八合目為止看起來像是「輕而易舉」

為什麼會卡關？

但是，這裡存在一個悖論

🌀 舉例來說

說到底，我們現在能做什麼

總結：

從 C++ 呼叫 TinyLLaMA 的步驟（使用 llama.cpp）

✅ TinyLLaMA × C++ 設定步驟（使用 llama.cpp）

🔧 Step 1: 準備 llama.cpp

1-1. 必備環境（最低需求）

1-2. 取得並建置 llama.cpp

📦 Step 2: 下載 TinyLLaMA 模型並轉換

2-1. 從 HuggingFace 取得原始模型

2-2. 轉換為 GGUF 格式（供 llama.cpp 使用）

2-3. 模型量化（縮減大小）

🧪 Step 3: 從 C++ 呼叫模型（程式碼範例）

3-1. 簡易 C++ 程式碼（推論）

🧱 Step 4: 編譯方法（範例）

✅ 成果物結構範例（整理）

🧠 應用於使用案例的補充說明

📌 總結

如何使用 AI (Stable Diffusion) 生成插圖

什麼是 Stable diffusion

需要準備的東西

生成步驟

生成結果（部分）

參考

✅ TinyLLaMA × C++ 設定步驟（使用 `llama.cpp`）

2-2. 轉換為 GGUF 格式（供 `llama.cpp` 使用）