자료실 31번

💬 AI가 카톡을 읽고 보내는 원리 — 2주 동안 부딪힌 순서대로

웹 버전이 없는 카톡을, 맥의 시각장애인용 기능 통로로 AI가 읽고 · 판단하고 · 답장까지 보내는 원리예요

분류
업무 자동화
난이도
초급
걸리는 시간
5분
쓰는 도구
Claude기타
공개일
⬇ 내용 다운받기
원데이 클래스 · 하루 만에 내 AI 직원 하나수업 보기 →

업무 카톡을 AI 비서에게 맡기려고 2주 동안 밤을 새웠어요. 만드는 법이 아니라, 막힌 곳마다 어떻게 풀었는지 · 그 뒤에 숨은 원리만 정리했어요.

한눈에 보기 — ① 새 카톡 도착(맥 알림) → ② 읽기: 맥의 시각장애인용 기능 통로로 카톡 창 글자를 읽음 → ③ 판단: 판단 전용 AI(Jev)가 「급한가 · 돈 얘기인가 · 답장이 필요한가」 → ④ 초안: 글 쓰는 AI(클로드)가 앞뒤 대화를 읽고 답장 초안 → ⑤ 확인: 돈 · 약속이 걸린 건 사람에게 · 보내기는 허락 뒤에만 → ⑥ 보내기: 같은 통로로 입력칸에 쓰고 엔터 한 번

1. 첫 번째 벽 — 카톡엔 웹 버전이 없다

웹으로 쓰는 서비스는 AI가 브라우저 안에서 글자를 바로 읽을 수 있어요. 그런데 카톡은 컴퓨터 앱(PC판)뿐이에요.

  • 카카오는 개인 카톡 대화를 가져오는 공식 연결 통로(API)를 주지 않아요. (가게 손님 상담용 「카카오톡 채널」은 공식 상품이 따로 있어요.)
  • 카톡 서버에 몰래 직접 로그인하는 비공식 방법도 있지만, 계정이 막혔다는 보고가 있어서 쓰지 않았어요.
  • 카톡이 컴퓨터에 저장한 파일을 풀어 읽는 방법도 쓰지 않았어요.

남은 길은 하나였어요. 사람이 화면을 보고 누르듯, AI가 컴퓨터를 직접 보고 누르게 하는 것.

2. 실마리 — 맥의 시각장애인용 기능

AI가 화면을 보는 방법은 크게 두 가지예요.

화면 사진을 찍어서 보기화면 읽기 통로로 읽기
방식화면을 사진으로 찍어 AI가 그림을 보고 글자를 알아냄앱이 「여기 버튼 · 여기 글자 · 여기 입력칸」 이름표를 붙여 둔 걸 그대로 읽음
느낌느리고, 글자를 잘못 볼 수 있음빠르고, 글자를 그대로 받음

맥에는 「손쉬운 사용」(접근성)이라는 기능이 있어요. 눈이 불편한 분들이 쓰는 화면 읽기 프로그램(VoiceOver)이 이 통로로 「지금 화면에 무엇이 있는지」를 읽어 소리로 들려줘요.

카톡 비서는 이 통로를 직접 써요. VoiceOver를 켜는 게 아니라, VoiceOver가 쓰는 길을 같이 쓰는 거예요.

  • 읽기: 채팅 목록에서 방 이름을 찾고, 대화 창의 말풍선 글자를 읽어요.
  • 알아채기: 새 메시지는 맥 알림 기록으로 알아채요.
  • 사진: 손님이 보낸 사진은 원본을 저장해서 AI가 보고, 무슨 사진인지 설명 글로 바꿔요.
  • 권한: 이 통로는 맥 설정에서 사용자가 「손쉬운 사용」 권한을 직접 허락해야 열려요.

3. 같은 통로로 쓰고, 누르기

읽는 통로로 누르고 쓰는 것도 돼요. 화면 읽기 프로그램을 쓰는 분이 키보드로 버튼을 누르는 것과 같은 길이에요.

  1. 채팅 목록에서 방 이름이 정확히 똑같은 방 하나만 찾아요. 비슷한 이름이 둘이면 열지 않아요.
  2. 그 방 창을 열고, 입력칸에 답장을 넣어요.
  3. 넣은 글이 맞는지 한 번 더 읽어 확인해요.
  4. 엔터를 딱 한 번 누르고, 입력칸이 비워졌는지 봐서 보내졌는지 확인해요.

보내는 몇 초 동안은 화면에 카운트다운이 뜨고, 사람의 키보드 · 마우스 입력을 잠깐 막아요. 사람 글과 AI 글이 섞이지 않게요. 급하면 Esc를 세 번 눌러 바로 멈춰요.

4. 두 번째 벽 — AI 하나로는 부족했다

처음엔 AI 하나한테 읽기부터 판단, 답장까지 통째로 맡기면 될 줄 알았어요. 결과가 만족스럽지 않았어요.

그래서 일을 둘로 나눴어요.

맡은 일누가하는 일
판단Jev(판단 전용 AI)글은 쓰지 않고, 정해 둔 질문에만 답해요. 「잡담인가 · 새 요청인가 · 견적 · 일정 얘기인가」 「답장이 필요한가」 「대표가 판단해야 하나」
글쓰기클로드앞뒤 대화를 읽고 요약하고, 답장 초안을 써요

판단은 빠르고 일정하게, 글은 자연스럽게. Jev가 답을 못 내면 클로드가 대신 판단해서 비서가 멈추지 않아요. 사진은 사진 설명 글과 바로 이어 온 글을 한 묶음으로 판단해요(소금빵 사진 + 「신메뉴도 홈페이지에 올려 주실 수 있나요?」 = 새 요청).

5. 사고를 막는 장치

자동으로 보내는 순간부터 실수 하나가 거래처와의 관계를 흔들 수 있어서, 처음부터 「사고 0」을 기준으로 만들었어요.

  • 정해 둔 방만 읽어요. 그 밖의 방은 읽지도 기록하지도 않아요.
  • 돈 · 할인 · 일정 확정 · 계약 조건 · 사과 · 거절은 AI가 정하지 않고 「대표 판단 필요」로 사람에게 넘겨요.
  • 보내기는 사람이 허락한 뒤에만.
  • 엉뚱한 방에 보내기 · 두 번 보내기 · 새 메시지를 못 본 채 낡은 답 보내기를 막는 확인을 보내기 전에 거쳐요.

6. 카톡 말고 다른 앱에도

이 원리는 카톡 전용이 아니에요. 「손쉬운 사용」 통로로 화면을 열어 둔 맥 앱이라면 같은 방식으로 읽고 누를 수 있어요. 다만 앱마다 이름표를 붙여 둔 정도가 달라서, 앱마다 직접 확인해야 해요.

꼭 알아 둘 것

카카오 운영정책은 허용되지 않은 프로그램으로 카톡을 부정하게 쓰거나, 그런 봇 · 매크로를 만들어 남에게 나눠 주는 걸 금지하고, 어기면 카톡 이용이 제한될 수 있다고 적고 있어요. 그래서 이 비서는 제 맥에서, 제 카톡으로, 정해 둔 방에서만 돌리고, 프로그램은 나눠 드리지 않아요. 여기엔 원리만 담았어요.

자주 묻는 것

  • 카톡 막히지 않아요? 서버에 직접 붙는 방식은 쓰지 않고, 화면에 보이는 글자만 읽어요. 그래도 짧은 시간에 많이 보내면 이상한 사용으로 보일 수 있어서, 보내는 양을 적게 묶어 두고 사람이 허락한 것만 보내요.
  • AI가 제 카톡을 다 보나요? 정해 둔 방만 읽어요.
  • 윈도에서도 돼요? 저는 맥에서만 만들고 시험했어요.
대니의 AI 원데이 클래스 · 모집 중

이런 걸 하루 만에 직접 만들어 가는 수업

Claude Code를 한 번도 안 써 봐도 됩니다. 무엇을 만드는지 · 강사 · 하루 시간표를 먼저 보고 정하세요.

수업 내용 보기