업무 카톡을 AI 비서에게 맡기려고 2주 동안 밤을 새웠어요. 만드는 법이 아니라, 막힌 곳마다 어떻게 풀었는지 · 그 뒤에 숨은 원리만 정리했어요.
한눈에 보기 — ① 새 카톡 도착(맥 알림) → ② 읽기: 맥의 시각장애인용 기능 통로로 카톡 창 글자를 읽음 → ③ 판단: 판단 전용 AI(Jev)가 「급한가 · 돈 얘기인가 · 답장이 필요한가」 → ④ 초안: 글 쓰는 AI(클로드)가 앞뒤 대화를 읽고 답장 초안 → ⑤ 확인: 돈 · 약속이 걸린 건 사람에게 · 보내기는 허락 뒤에만 → ⑥ 보내기: 같은 통로로 입력칸에 쓰고 엔터 한 번
1. 첫 번째 벽 — 카톡엔 웹 버전이 없다
웹으로 쓰는 서비스는 AI가 브라우저 안에서 글자를 바로 읽을 수 있어요. 그런데 카톡은 컴퓨터 앱(PC판)뿐이에요.
- 카카오는 개인 카톡 대화를 가져오는 공식 연결 통로(API)를 주지 않아요. (가게 손님 상담용 「카카오톡 채널」은 공식 상품이 따로 있어요.)
- 카톡 서버에 몰래 직접 로그인하는 비공식 방법도 있지만, 계정이 막혔다는 보고가 있어서 쓰지 않았어요.
- 카톡이 컴퓨터에 저장한 파일을 풀어 읽는 방법도 쓰지 않았어요.
남은 길은 하나였어요. 사람이 화면을 보고 누르듯, AI가 컴퓨터를 직접 보고 누르게 하는 것.
2. 실마리 — 맥의 시각장애인용 기능
AI가 화면을 보는 방법은 크게 두 가지예요.
| 화면 사진을 찍어서 보기 | 화면 읽기 통로로 읽기 | |
|---|---|---|
| 방식 | 화면을 사진으로 찍어 AI가 그림을 보고 글자를 알아냄 | 앱이 「여기 버튼 · 여기 글자 · 여기 입력칸」 이름표를 붙여 둔 걸 그대로 읽음 |
| 느낌 | 느리고, 글자를 잘못 볼 수 있음 | 빠르고, 글자를 그대로 받음 |
맥에는 「손쉬운 사용」(접근성)이라는 기능이 있어요. 눈이 불편한 분들이 쓰는 화면 읽기 프로그램(VoiceOver)이 이 통로로 「지금 화면에 무엇이 있는지」를 읽어 소리로 들려줘요.
카톡 비서는 이 통로를 직접 써요. VoiceOver를 켜는 게 아니라, VoiceOver가 쓰는 길을 같이 쓰는 거예요.
- 읽기: 채팅 목록에서 방 이름을 찾고, 대화 창의 말풍선 글자를 읽어요.
- 알아채기: 새 메시지는 맥 알림 기록으로 알아채요.
- 사진: 손님이 보낸 사진은 원본을 저장해서 AI가 보고, 무슨 사진인지 설명 글로 바꿔요.
- 권한: 이 통로는 맥 설정에서 사용자가 「손쉬운 사용」 권한을 직접 허락해야 열려요.
3. 같은 통로로 쓰고, 누르기
읽는 통로로 누르고 쓰는 것도 돼요. 화면 읽기 프로그램을 쓰는 분이 키보드로 버튼을 누르는 것과 같은 길이에요.
- 채팅 목록에서 방 이름이 정확히 똑같은 방 하나만 찾아요. 비슷한 이름이 둘이면 열지 않아요.
- 그 방 창을 열고, 입력칸에 답장을 넣어요.
- 넣은 글이 맞는지 한 번 더 읽어 확인해요.
- 엔터를 딱 한 번 누르고, 입력칸이 비워졌는지 봐서 보내졌는지 확인해요.
보내는 몇 초 동안은 화면에 카운트다운이 뜨고, 사람의 키보드 · 마우스 입력을 잠깐 막아요. 사람 글과 AI 글이 섞이지 않게요. 급하면 Esc를 세 번 눌러 바로 멈춰요.
4. 두 번째 벽 — AI 하나로는 부족했다
처음엔 AI 하나한테 읽기부터 판단, 답장까지 통째로 맡기면 될 줄 알았어요. 결과가 만족스럽지 않았어요.
그래서 일을 둘로 나눴어요.
| 맡은 일 | 누가 | 하는 일 |
|---|---|---|
| 판단 | Jev(판단 전용 AI) | 글은 쓰지 않고, 정해 둔 질문에만 답해요. 「잡담인가 · 새 요청인가 · 견적 · 일정 얘기인가」 「답장이 필요한가」 「대표가 판단해야 하나」 |
| 글쓰기 | 클로드 | 앞뒤 대화를 읽고 요약하고, 답장 초안을 써요 |
판단은 빠르고 일정하게, 글은 자연스럽게. Jev가 답을 못 내면 클로드가 대신 판단해서 비서가 멈추지 않아요. 사진은 사진 설명 글과 바로 이어 온 글을 한 묶음으로 판단해요(소금빵 사진 + 「신메뉴도 홈페이지에 올려 주실 수 있나요?」 = 새 요청).
5. 사고를 막는 장치
자동으로 보내는 순간부터 실수 하나가 거래처와의 관계를 흔들 수 있어서, 처음부터 「사고 0」을 기준으로 만들었어요.
- 정해 둔 방만 읽어요. 그 밖의 방은 읽지도 기록하지도 않아요.
- 돈 · 할인 · 일정 확정 · 계약 조건 · 사과 · 거절은 AI가 정하지 않고 「대표 판단 필요」로 사람에게 넘겨요.
- 보내기는 사람이 허락한 뒤에만.
- 엉뚱한 방에 보내기 · 두 번 보내기 · 새 메시지를 못 본 채 낡은 답 보내기를 막는 확인을 보내기 전에 거쳐요.
6. 카톡 말고 다른 앱에도
이 원리는 카톡 전용이 아니에요. 「손쉬운 사용」 통로로 화면을 열어 둔 맥 앱이라면 같은 방식으로 읽고 누를 수 있어요. 다만 앱마다 이름표를 붙여 둔 정도가 달라서, 앱마다 직접 확인해야 해요.
꼭 알아 둘 것
카카오 운영정책은 허용되지 않은 프로그램으로 카톡을 부정하게 쓰거나, 그런 봇 · 매크로를 만들어 남에게 나눠 주는 걸 금지하고, 어기면 카톡 이용이 제한될 수 있다고 적고 있어요. 그래서 이 비서는 제 맥에서, 제 카톡으로, 정해 둔 방에서만 돌리고, 프로그램은 나눠 드리지 않아요. 여기엔 원리만 담았어요.
자주 묻는 것
- 카톡 막히지 않아요? 서버에 직접 붙는 방식은 쓰지 않고, 화면에 보이는 글자만 읽어요. 그래도 짧은 시간에 많이 보내면 이상한 사용으로 보일 수 있어서, 보내는 양을 적게 묶어 두고 사람이 허락한 것만 보내요.
- AI가 제 카톡을 다 보나요? 정해 둔 방만 읽어요.
- 윈도에서도 돼요? 저는 맥에서만 만들고 시험했어요.



