AI on kenji.blog

AI开发的壁垒

Sun, 20 Jul 2025 21:52:42 +0900

AI开发的壁垒

〜虽然到了八合目，但接下来的路才是地狱〜

大家好，我是kenji。

最近，经常听到有人说“拜托AI，结果连应用都做出来了！”这样的话。我们已经越过了无代码(No-code)和低代码(Low-code)的时代，进入了“Vibe coding（凭感觉写代码）”之类的阶段。

例如，如果你说“做一个可以编辑图片并发布到社交网络的应用”，AI就会为你输出代码甚至UI。 很厉害吧，是不是觉得已经不需要人类了呢？

但是呢，那 就像穿着凉鞋降落在富士山的八合目一样 啊。

登到八合目之前看起来“轻而易举”

用AI进行开发，一开始真的非常轻松。文件IO？反正能跑就行。网络？嗯，能连上。数据库？用JSON就够了吧。 UI？ChatGPT给我吐出了React代码。支付？复制粘贴一下Stripe的API就行了。

到了这里，你就会产生一种错觉：“我该不会已经是工程师了吧？” 但是，真正的地狱才刚刚开始。

为什么会陷入僵局？

理由很简单，因为“AI做得有模有样，但最终的调整全都抛给了人类”。

文件IO会导致数据丢失
数据库缺乏规范化，搜索很慢
UI不够直观
没有做过压力测试，流量一集中就崩溃
被Apple/Google的审核拒绝
违反法律法规引发（差点引发）公关危机

也就是说，AI很擅长制作“看起来像是完成了的原型”， 但要把其打磨成“真正在世上行得通的产品”，至今依然是人类的工作。

但是，存在一个悖论

在这里我们会发现一个悖论。

如果将来AI真的什么都能做到了呢？也就是说，如果“安全性、支付、架构设计，全都能由AI完美处理”了呢？

到那时，人类制作应用的需求本身可能就不存在了。

因为，如果用户直接对AI说“我想做这种事”，任务就会无需通过应用而被立刻执行。

🌀举个例子

以前我们“为了计算而启动计算器应用”，现在只要说“Hey Siri，12×32是多少？”就搞定了。

同样地，只要说一句“用AI把照片处理一下并分享出去”，可能不用经过应用的UI和API，处理就已经完成了。

也就是说， 当“用AI制作应用”的目标实现之时，可能就会迎来一个应用本身已不再需要的世界。

到底，现在的我们能做些什么

那么，该怎么办呢。

既然现在“八合目以上”依然是人类的领域，那就去磨练那部分技能
专注于本质上的用户理解和服务设计
思考“有价值的事情”，而不是“能做出来的事情”
倒不如说，去探索“不局限于应用这种形式”的提供价值的方式

AI是工具、是上升的阶梯、有时也是竞争对手。但是，“要做什么”和“为什么要做”，依然是我们人类去提出的问题。

总结：

AI开发的壁垒，不是技术，而是结构的悖论

这是一个谁都能登到富士山八合目的时代。但从那往后的路才是动真格的。

而且，等到终于登顶的时候，也许等待着我们的将是重新发问：“这山，我们有必要登吗？”的未来。

从 C++ 调用 TinyLLaMA 的步骤（使用 llama.cpp）

Sat, 19 Jul 2025 09:40:53 +0900

✅ TinyLLaMA × C++ 设置步骤（使用 `llama.cpp`）

🔧 Step 1: 准备 llama.cpp

1-1. 运行环境（最低要求）

OS: Windows / Linux / macOS
开发环境: g++ / clang / MSVC
Git / CMake

1-2. 获取并构建 llama.cpp

1
2
3
4
5
6


git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

如果是 Windows 系统，在 Visual Studio Developer Command Prompt 中使用 cmake --build . --config Release 会更方便。

📦 Step 2: 下载并转换 TinyLLaMA 模型

2-1. 从 HuggingFace 获取原模型

示例: TinyLLaMA-1.1B

1
2
3
4
5
6
7


# 根据需要使用 transformers 进行下载
pip install transformers huggingface_hub

python3 -m transformers.models.llama.convert_llama_weights_to_hf \
 --input_dir ./TinyLlama-1.1B-Chat \
 --model_size 1B \
 --output_dir ./hf_model

这是转换为 Hugging Face 格式的步骤。

2-2. 转换为 GGUF 格式（供 `llama.cpp` 使用）

1
2


cd llama.cpp
python3 convert.py ./hf_model --outfile tinyllama.gguf

2-3. 模型量化（减小体积）

1

./quantize ./tinyllama.gguf ./tinyllama-q4.gguf q4_0

q4_0 是 4bit 量化。模型大小将缩小至约 350MB左右。

🧪 Step 3: 从 C++ 调用模型（代码示例）

3-1. 简单的 C++ 代码（推理）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41


#include "llama.h"
#include <iostream>

int main() {
 llama_model_params model_params = llama_model_default_params();
 llama_context_params ctx_params = llama_context_default_params();

 llama_model *model = llama_load_model_from_file("tinyllama-q4.gguf", model_params);
 llama_context *ctx = llama_new_context_with_model(model, ctx_params);

 std::string prompt = "用户说想读取Excel数据、进行过滤并保存。节点结构是怎样的？";
 llama_batch batch = llama_batch_init(512, 0, 1);
 llama_token BOS = llama_token_bos(model);
 batch.token[0] = BOS;

 // 词法分析 (Tokenize)
 std::vector<llama_token> tokens(prompt.size() + 8);
 int n = llama_tokenize(model, prompt.c_str(), tokens.data(), tokens.size(), true);
 tokens.resize(n);

 for (size_t i = 0; i < tokens.size(); ++i) {
 batch.token[i + 1] = tokens[i];
 }

 batch.n_tokens = tokens.size() + 1;
 llama_decode(ctx, batch);

 // 获取推理结果
 for (int i = 0; i < 50; ++i) {
 llama_token next = llama_sample_token(ctx, nullptr);
 std::cout << llama_token_to_str(model, next);
 llama_batch next_batch = llama_batch_init(1, 0, 1);
 next_batch.token[0] = next;
 next_batch.n_tokens = 1;
 llama_decode(ctx, next_batch);
 }

 llama_free(ctx);
 llama_free_model(model);
 return 0;
}

🧱 Step 4: 编译方法（示例）

1

g++ -I./llama.cpp main.cpp ./llama.cpp/build/libllama.a -o tiny_infer -pthread -std=c++11

libllama.a 将在构建后生成于 build/ 目录中。

✅ 产物结构示例（整理）

1
2
3
4
5
6


my_app/
├── tinyllama-q4.gguf # 已量化模型 (~350MB)
├── main.cpp # 上述 C++ 代码
├── llama.cpp/ # llama.cpp 本体
└── build/
 └── libllama.a # 已编译库

🧠 适用于用例的补充说明

在 C++ 中编写接收输出并 匹配和选择节点模板 的代码
示例：包含“Excel”、“过滤”、“保存” → 生成对应的节点组
这部分使用诸如 if 语句 + JSON 模板读取 的简单结构即可

📌 总结

项目	内容
推荐模型	TinyLLaMA-1.1B-Chat v1.0（GGUF + 量化）
大小	～350〜450MB（4bit量化）
C++集成	可以使用 `llama.cpp`，几乎没有外部依赖
处理能力	足以满足简单的意图理解和输出文本生成（自然语言→结构）
可扩展性	结合槽位填充和模板调用，可构建节点生成AI

如何使用AI (Stable Diffusion) 生成插画图片

Thu, 06 Apr 2023 00:43:19 +0900

什么是 Stable Diffusion

Stable diffusion是由德国慕尼黑大学研究团队开发的，根据输入的文本信息生成图片的AI。通过让其学习各种图片，它可以生成从写实到插画的各种图片。

这次，我将介绍如何使用Stable diffusion的预训练数据生成插画图片。

准备工作

Google账号

只需要这个。

生成步骤

打开 https://colab.research.google.com
选择左上角文件中的新建笔记本
选择编辑中的笔记本设置
将硬件加速器更改为GPU
粘贴并运行以下代码

1

!pip install diffusers==0.8.0 transformers

粘贴并运行以下代码

1

from diffusers import StableDiffusionPipeline

粘贴并运行以下代码

1
2


pipe = StableDiffusionPipeline.from_pretrained("gsdf/Counterfeit-V2.5")
pipe.to("cuda")

粘贴并运行以下代码

1
2
3
4
5


prompt = "((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field"
n_prompt = "EasyNegative, extra fingers,fewer fingers"

image = pipe(prompt, negative_prompt = n_prompt).images[0]
image

这里使用的Prompt参考了https://huggingface.co/gsdf/Counterfeit-V2.5的Prompt。

AI on kenji.blog

AI开发的壁垒

AI开发的壁垒

登到八合目之前看起来“轻而易举”

为什么会陷入僵局？

但是，存在一个悖论

🌀举个例子

到底，现在的我们能做些什么

总结：

从 C++ 调用 TinyLLaMA 的步骤（使用 llama.cpp）

✅ TinyLLaMA × C++ 设置步骤（使用 llama.cpp）

🔧 Step 1: 准备 llama.cpp

1-1. 运行环境（最低要求）

1-2. 获取并构建 llama.cpp

📦 Step 2: 下载并转换 TinyLLaMA 模型

2-1. 从 HuggingFace 获取原模型

2-2. 转换为 GGUF 格式（供 llama.cpp 使用）

2-3. 模型量化（减小体积）

🧪 Step 3: 从 C++ 调用模型（代码示例）

3-1. 简单的 C++ 代码（推理）

🧱 Step 4: 编译方法（示例）

✅ 产物结构示例（整理）

🧠 适用于用例的补充说明

📌 总结

如何使用AI (Stable Diffusion) 生成插画图片

什么是 Stable Diffusion

准备工作

生成步骤

生成结果（部分）

参考

✅ TinyLLaMA × C++ 设置步骤（使用 `llama.cpp`）

2-2. 转换为 GGUF 格式（供 `llama.cpp` 使用）