AI on kenji.blog

'AI 개발의 벽'

Sun, 20 Jul 2025 21:52:42 +0900

AI 개발의 벽

〜8부 능선까지 왔지만, 거기서부터가 지옥이었던 이야기〜

안녕하세요, kenji입니다.

최근 “AI에게 부탁했더니 앱을 만들어줬어!“라는 이야기를 엄청 자주 듣게 되었습니다. 노코드나 로우코드의 시대를 넘어, “바이브 코딩(분위기로 코드를 작성하는 것)” 같은 단계에 돌입하고 있습니다.

예를 들어, “이미지를 가공해서 SNS에 게시할 수 있는 앱 만들어줘"라고 하면, AI가 코드와 UI까지 뱉어냅니다. 대단해, 이제 사람은 필요 없는 거 아냐? 하고 생각하게 되잖아요.

하지만 말이죠, 그건 후지산의 8부 능선에 샌들을 신고 내리는 것과 같은 것 입니다.

8부 능선까지는 “식은 죽 먹기"로 보인다

AI를 통한 개발은 처음에는 정말 편합니다. 파일 IO? 일단 작동함. 네트워크? 뭐 연결됨. 데이터베이스? JSON이면 되겠지. UI? ChatGPT가 React 코드를 뱉어줬고. 결제? Stripe API 정도 복붙하면 됨.

여기서 “나, 이미 엔지니어 아닐까?“하고 착각하게 됩니다. 하지만 진짜 지옥은 여기서부터 시작됩니다.

왜 막히는 걸까?

이유는 간단한데, “AI는 그럴싸하게 만들지만, 최종 조정은 사람에게 통째로 맡기기” 때문입니다.

파일 IO에서 데이터가 날아감
DB 정규화가 어설퍼서 검색이 느림
UI가 직관적이지 않음
부하 테스트를 안 해서 접속이 몰리면 크래시
Apple/Google 심사에서 리젝(거절) 당함
법적 요건에 걸려서 염상(비난 쇄도)할 뻔함

즉, AI는 “겉보기에는 완성된 것 같은 프로토타입"을 만드는 것은 잘하지만, “실제로 세상에 내놓고 통용되는 프로덕트"로 마무리하는 것은, 지금도 여전히 사람의 일 입니다.

하지만, 역설이 있다

여기서 하나의 역설 을 깨닫게 됩니다.

장래에 AI가 정말로 전부 다 할 수 있게 된다면? 즉, “보안도, 결제도, 설계도 전부 AI가 완벽하게 처리해 주게” 된다면?

그때는, 인류가 앱을 만들 필요 자체가 없어질 지도 모릅니다.

왜냐하면, 사용자가 AI에게 직접 “이런 걸 하고 싶어"라고 말하면, 앱 없이 즉시 작업이 실행될 것이기 때문입니다.

🌀예를 들어

옛날에는 “계산을 하기 위해 계산기 앱을 실행"했었지만, 지금은 “Hey Siri, 12×32는?“이라고 말하면 끝납니다.

마찬가지로, “AI야, 사진을 가공해서 공유해 줘"라고 말하면, 앱의 UI나 API를 거치지 않고 처리 작업이 끝나 있을지도 모릅니다.

즉, “AI로 앱을 만든다"라는 목표가 실현되었을 때, 앱 자체가 필요 없는 세상이 올 지도 모른다는 것입니다.

결국, 지금 우리가 할 수 있는 일

그럼, 어떻게 하면 될까요.

지금은 아직 “8부 능선 위"가 사람의 영역이므로, 그곳을 갈고닦는다
본질적인 사용자 이해나 서비스 설계에 집중한다
“만들 수 있는 것"보다 “가치 있는 것"을 생각한다
오히려, “앱이라는 형식에 얽매이지 않는” 가치 제공의 방식을 모색한다

AI는 도구이며, 리프트이고, 때로는 경쟁자입니다. 하지만, “무엇을 만들 것인가"나 “왜 만드는가"는, 아직 우리 인간의 질문으로 남아 있습니다.

요약：

AI 개발의 벽이란, 기술이 아니라 구조의 역설이다

후지산의 8부 능선까지 누구나 갈 수 있는 시대. 하지만 거기서부터가 진짜 실전.

그리고, 산 정상에 다 올랐을 무렵에는, “산, 오를 필요가 있었나?“라고 다시 묻게 되는 미래가 기다리고 있을지도 모릅니다.

'TinyLLaMA를 C++에서 호출할 수 있게 하는 절차(llama.cpp 사용)'

Sat, 19 Jul 2025 09:40:53 +0900

✅ TinyLLaMA × C++ 설정 절차(`llama.cpp` 사용)

🔧 Step 1: llama.cpp 준비하기

1-1. 필요한 환경 (최소한)

OS: Windows / Linux / macOS
개발 환경: g++ / clang / MSVC
Git / CMake

1-2. llama.cpp 가져오기 및 빌드

1
2
3
4
5
6


git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build
cd build
cmake ..
cmake --build . --config Release

Windows라면 Visual Studio Developer Command Prompt에서 cmake --build . --config Release를 사용하면 편합니다.

📦 Step 2: TinyLLaMA 모델 다운로드 및 변환

2-1. HuggingFace에서 원본 모델 가져오기

예: TinyLLaMA-1.1B

1
2
3
4
5
6
7


# 필요에 따라 transformers를 사용하여 다운로드
pip install transformers huggingface_hub

python3 -m transformers.models.llama.convert_llama_weights_to_hf \
 --input_dir ./TinyLlama-1.1B-Chat \
 --model_size 1B \
 --output_dir ./hf_model

이는 Hugging Face 형식으로 변환하는 단계입니다.

2-2. GGUF 형식으로 변환(`llama.cpp`용)

1
2


cd llama.cpp
python3 convert.py ./hf_model --outfile tinyllama.gguf

2-3. 모델 양자화(크기 축소)

1

./quantize ./tinyllama.gguf ./tinyllama-q4.gguf q4_0

q4_0은 4bit 양자화입니다. 모델 크기가 약 350MB 내외 로 작아집니다.

🧪 Step 3: C++에서 모델 호출하기(코드 예시)

3-1. 간단한 C++ 코드(추론)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41


#include "llama.h"
#include <iostream>

int main() {
 llama_model_params model_params = llama_model_default_params();
 llama_context_params ctx_params = llama_context_default_params();

 llama_model *model = llama_load_model_from_file("tinyllama-q4.gguf", model_params);
 llama_context *ctx = llama_new_context_with_model(model, ctx_params);

 std::string prompt = "사용자가 Excel 데이터를 읽어와 필터링한 후 저장하고 싶다고 합니다. 노드 구성은?";
 llama_batch batch = llama_batch_init(512, 0, 1);
 llama_token BOS = llama_token_bos(model);
 batch.token[0] = BOS;

 // 토크나이즈
 std::vector<llama_token> tokens(prompt.size() + 8);
 int n = llama_tokenize(model, prompt.c_str(), tokens.data(), tokens.size(), true);
 tokens.resize(n);

 for (size_t i = 0; i < tokens.size(); ++i) {
 batch.token[i + 1] = tokens[i];
 }

 batch.n_tokens = tokens.size() + 1;
 llama_decode(ctx, batch);

 // 추론 결과 가져오기
 for (int i = 0; i < 50; ++i) {
 llama_token next = llama_sample_token(ctx, nullptr);
 std::cout << llama_token_to_str(model, next);
 llama_batch next_batch = llama_batch_init(1, 0, 1);
 next_batch.token[0] = next;
 next_batch.n_tokens = 1;
 llama_decode(ctx, next_batch);
 }

 llama_free(ctx);
 llama_free_model(model);
 return 0;
}

🧱 Step 4: 컴파일 방법(예시)

1

g++ -I./llama.cpp main.cpp ./llama.cpp/build/libllama.a -o tiny_infer -pthread -std=c++11

libllama.a는 빌드 후 build/ 디렉토리에 생성됩니다.

✅ 결과물 구성 예시(정리)

1
2
3
4
5
6


my_app/
├── tinyllama-q4.gguf # 양자화된 모델 (~350MB)
├── main.cpp # 위의 C++ 코드
├── llama.cpp/ # llama.cpp 본체
└── build/
 └── libllama.a # 컴파일된 라이브러리

🧠 사용 사례 적용을 위한 보충

출력을 받아 노드 템플릿을 대조 및 선정하는 코드를 C++ 내에 둠
예: “Excel”, “필터”, “저장"이 포함됨 → 해당 노드 그룹 생성
이 부분은 if 문 + JSON 템플릿 읽기와 같은 간단한 구성으로 충분함

📌 요약

항목	내용
권장 모델	TinyLLaMA-1.1B-Chat v1.0 (GGUF + 양자화)
크기	~350〜450MB (4bit 양자화)
C++ 연동	`llama.cpp`를 사용하여 가능, 외부 의존성 거의 없음
처리 능력	간단한 의도 파악 및 출력문 생성에 충분 (자연어→구성)
확장성	슬롯 채우기 및 템플릿 호출과 결합하여 노드 생성 AI로 활용 가능

'AI(StableDiffusion)를 사용하여 일러스트 이미지를 생성하는 방법'

Thu, 06 Apr 2023 00:43:19 +0900

Stable diffusion이란

Stable diffusion은 독일 뮌헨 대학교의 연구팀이 개발한, 입력된 텍스트 정보로부터 이미지를 생성하는 AI입니다. 다양한 이미지를 학습시킴으로써 실사부터 일러스트까지 다양한 이미지를 생성할 수 있습니다.

이번에는 Stable diffusion의 학습된 데이터를 사용하여 일러스트 이미지를 생성하는 방법을 소개합니다.

준비물

Google 계정

이 전부입니다.

생성 절차

https://colab.research.google.com 을 엽니다.
왼쪽 상단의 파일에서 새 노트 만들기를 선택합니다.
수정에서 노트 설정을 선택합니다.
하드웨어 가속기를 GPU로 변경합니다.
아래의 코드를 붙여넣고 실행합니다.

1

!pip install diffusers==0.8.0 transformers

아래의 코드를 붙여넣고 실행합니다.

1

from diffusers import StableDiffusionPipeline

아래의 코드를 붙여넣고 실행합니다.

1
2


pipe = StableDiffusionPipeline.from_pretrained("gsdf/Counterfeit-V2.5")
pipe.to("cuda")

아래의 코드를 붙여넣고 실행합니다.

1
2
3
4
5


prompt = "((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field"
n_prompt = "EasyNegative, extra fingers,fewer fingers"

image = pipe(prompt, negative_prompt = n_prompt).images[0]
image

여기서 사용한 Prompt는 https://huggingface.co/gsdf/Counterfeit-V2.5의 Prompt를 참고했습니다.