AI에 넣기 전에

AI에게 무엇을 물었는가보다, 무엇을 같이 넣었는가가 값을 정합니다.

같은 자료를 어떻게 주느냐로 토큰이 몇 배씩 달라집니다. 이 책의 숫자는 전부 직접 세어 본 값입니다. 43쪽입니다.

이런 것이 이 책의 내용입니다

같은 표 4행을 다섯 형식으로 만들어 토큰을 세어 봤습니다. 내용은 완전히 같습니다.

CSV 68 토큰

TSV 68 토큰

마크다운 표 95 토큰

JSON(압축) 119 토큰

JSON(들여쓰기) 183 토큰

같은 자료가 2.7배까지 벌어집니다.

로그는 더 심합니다.

로그 121줄 그대로 : 3,144 토큰

ERROR 만 남기면 : 35 토큰 (98.9% 감소)

120줄이 전부 heartbeat ok 였습니다. 필요한 것은 한 줄이었습니다.

한국어를 쓰면 두 배를 냅니다

"안녕하세요. 만나서 반갑습니다." 14 토큰

"Hello. Nice to meet you." 7 토큰 (2.0배)

"고객이 환불을 요청했습니다. 처리 절차를 알려주세요." 28 토큰

"The customer requested a refund. Tell me the process." 11 토큰 (2.5배)

바꿀 수 없는 조건입니다. 그래서 줄일 수 있는 곳에서 줄여야 합니다.

줄이는 순서 (전부 실측)

1 반복 줄 걷어내기 98.9% 감소

2 중복 문장 제거 91.9% 감소

3 필요한 부분만 고르기 47.9% 감소

4 표 형식 바꾸기 2.7배 차이

5 공백·빈 줄 정리 15.7% 감소 (PDF 는 1.9%)

X 들여쓰기 바꾸기 효과 없음 — 탭이 오히려 더 많습니다

여섯 번째 항목처럼, 흔히 알려진 것 중 실제로는 효과가 없는 것도 재서 걸러냈습니다.

목차

1장 토큰, 30분이면 됩니다 — 글자와 토큰의 차이, 어림셈, 내 단가로 계산하기

2장 조용히 새는 여덟 가지 — 표 형식, 반복, 중복, 전체 첨부, 공백, 들여쓰기, PDF 표, 엑셀 수식

3장 파일에서 텍스트 꺼내기 — PDF · 엑셀 · 워드 · CSV, 형식별 함정

4장 줄이는 법 — 효과가 큰 순서대로, 함수까지

5장 넣기 전에 지워야 할 것 — 마스킹, 점검, 되돌릴 수 있게 지우기

6장 자르는 법 — 문단·문장 기준, 실측 비교

7장 실전 레시피 7개 — 토큰 계산기, 폴더 순위, 정리기, 점검기, 엑셀→CSV, PDF 추출, 전처리

부록 A 한 장 요약 (인쇄용)

부록 B 자주 막히는 지점 10문답

이 책의 다른 점

1) 모든 숫자를 직접 세었습니다.

tiktoken 으로 실제로 인코딩해서 센 값입니다. Windows 10 / Python 3.14.2 / tiktoken 0.14.0 환경입니다.

2) 요금표가 없습니다.

모델 요금은 자주 바뀝니다. 대신 "내 단가를 넣으면 얼마인가"를 계산하는 방법을 드립니다. 토큰 수는 변하지 않고 단가만 바꿔 넣으면 됩니다.

3) 효과 없는 것도 알려드립니다.

탭 들여쓰기는 오히려 토큰이 늘어납니다(71 → 75). PDF 에서 뽑은 글은 공백을 정리해도 1.9% 밖에 안 줄어듭니다. 재보지 않으면 알 수 없는 것들입니다.

4) 개인정보를 지우는 코드가 들어 있습니다.

휴대폰·이메일·주민번호·사업자번호·카드번호·API 키를 지우는 함수를 넣고, 지운 뒤 다시 점검해서 남은 것이 없음을 확인했습니다.

이런 분께 맞습니다

· 회사 자료를 AI에 넣어 쓰는데 비용이 걱정되는 분

· "입력이 너무 깁니다"를 자주 만나는 분

· 사내 문서를 AI에 넣기 전에 무엇을 지워야 하는지 정리하고 싶은 분

· PDF·엑셀에서 자료를 꺼내 AI에 넣는 일이 잦은 분

· 파이썬을 조금 쓸 수 있는 분 (예제가 전부 파이썬입니다)

이런 분께는 맞지 않습니다 (솔직하게 적어둡니다)

· 챗GPT·클로드·제미나이 사용법을 배우고 싶은 분 — 화면 조작은 다루지 않습니다.

· 모델 성능 비교를 원하는 분 — 저는 각 서비스의 답변 품질을 실행해 비교할 수 없고, 확인 못 한 것은 쓰지 않습니다.

· 정확한 요금이 적힌 자료를 원하는 분 — 위에 쓴 이유로 가격을 넣지 않았습니다.

· 프롬프트 작성법을 원하는 분 — 이 책은 "넣기 전"만 다룹니다.

· 법적 판단 기준을 원하는 분 — 5장은 기술적으로 지우는 방법이고, 회사 규정 판단은 담당 부서의 몫입니다.

포함 파일

· PDF (A4, 43쪽) — 인쇄·PC 열람용

· EPUB — 모바일·전자책 리더용

· 읽어주세요.txt — 이용 범위 안내

이용 범위

구매하신 분의 개인적·업무적 활용과 사내 공유를 허용합니다.

부록 A의 요약표와 7장의 레시피는 출처 표기 없이 자유롭게 복사해 쓰셔도 됩니다. 팀 위키에 붙여두시라고 만든 것입니다.

재판매·무단 배포·전문 공개 게시만 금지합니다.

개정 안내

내용 중 실제와 다른 부분을 발견하시면 알려주세요. 개정판에 반영하고, 알려주신 분께는 개정판을 무상으로 보내드립니다.