# AI가 카톡을 읽고 보내는 원리 — 2주 동안 부딪힌 순서대로 > 웹 버전이 없는 카톡을, 맥의 시각장애인용 기능 통로로 AI가 읽고 · 판단하고 · 답장까지 보내는 원리예요 업무 카톡을 AI 비서에게 맡기려고 2주 동안 밤을 새웠어요. 만드는 법이 아니라, **막힌 곳마다 어떻게 풀었는지 · 그 뒤에 숨은 원리**만 정리했어요. > 한눈에 보기 — ① 새 카톡 도착(맥 알림) → ② **읽기**: 맥의 시각장애인용 기능 통로로 카톡 창 글자를 읽음 → ③ **판단**: 판단 전용 AI(Jev)가 「급한가 · 돈 얘기인가 · 답장이 필요한가」 → ④ **초안**: 글 쓰는 AI(클로드)가 앞뒤 대화를 읽고 답장 초안 → ⑤ **확인**: 돈 · 약속이 걸린 건 사람에게 · 보내기는 허락 뒤에만 → ⑥ **보내기**: 같은 통로로 입력칸에 쓰고 엔터 한 번 ## 1. 첫 번째 벽 — 카톡엔 웹 버전이 없다 웹으로 쓰는 서비스는 AI가 브라우저 안에서 글자를 바로 읽을 수 있어요. 그런데 카톡은 **컴퓨터 앱(PC판)뿐**이에요. - 카카오는 **개인 카톡 대화를 가져오는 공식 연결 통로(API)를 주지 않아요.** (가게 손님 상담용 「카카오톡 채널」은 공식 상품이 따로 있어요.) - 카톡 서버에 몰래 직접 로그인하는 비공식 방법도 있지만, 계정이 막혔다는 보고가 있어서 **쓰지 않았어요.** - 카톡이 컴퓨터에 저장한 파일을 풀어 읽는 방법도 **쓰지 않았어요.** 남은 길은 하나였어요. **사람이 화면을 보고 누르듯, AI가 컴퓨터를 직접 보고 누르게 하는 것.** ## 2. 실마리 — 맥의 시각장애인용 기능 AI가 화면을 보는 방법은 크게 두 가지예요. | | 화면 사진을 찍어서 보기 | 화면 읽기 통로로 읽기 | |---|---|---| | 방식 | 화면을 사진으로 찍어 AI가 그림을 보고 글자를 알아냄 | 앱이 「여기 버튼 · 여기 글자 · 여기 입력칸」 이름표를 붙여 둔 걸 그대로 읽음 | | 느낌 | 느리고, 글자를 잘못 볼 수 있음 | 빠르고, 글자를 그대로 받음 | 맥에는 **「손쉬운 사용」**(접근성)이라는 기능이 있어요. 눈이 불편한 분들이 쓰는 화면 읽기 프로그램(VoiceOver)이 이 통로로 「지금 화면에 무엇이 있는지」를 읽어 소리로 들려줘요. 카톡 비서는 이 통로를 **직접** 써요. VoiceOver를 켜는 게 아니라, VoiceOver가 쓰는 길을 같이 쓰는 거예요. - **읽기**: 채팅 목록에서 방 이름을 찾고, 대화 창의 말풍선 글자를 읽어요. - **알아채기**: 새 메시지는 맥 알림 기록으로 알아채요. - **사진**: 손님이 보낸 사진은 원본을 저장해서 AI가 보고, 무슨 사진인지 설명 글로 바꿔요. - **권한**: 이 통로는 맥 설정에서 사용자가 「손쉬운 사용」 권한을 직접 허락해야 열려요. ## 3. 같은 통로로 쓰고, 누르기 읽는 통로로 **누르고 쓰는 것**도 돼요. 화면 읽기 프로그램을 쓰는 분이 키보드로 버튼을 누르는 것과 같은 길이에요. 1. 채팅 목록에서 **방 이름이 정확히 똑같은 방 하나**만 찾아요. 비슷한 이름이 둘이면 열지 않아요. 2. 그 방 창을 열고, 입력칸에 답장을 넣어요. 3. 넣은 글이 맞는지 한 번 더 읽어 확인해요. 4. 엔터를 **딱 한 번** 누르고, 입력칸이 비워졌는지 봐서 보내졌는지 확인해요. 보내는 몇 초 동안은 화면에 카운트다운이 뜨고, 사람의 키보드 · 마우스 입력을 잠깐 막아요. 사람 글과 AI 글이 섞이지 않게요. 급하면 Esc를 세 번 눌러 바로 멈춰요. ## 4. 두 번째 벽 — AI 하나로는 부족했다 처음엔 AI 하나한테 읽기부터 판단, 답장까지 통째로 맡기면 될 줄 알았어요. 결과가 만족스럽지 않았어요. 그래서 **일을 둘로 나눴어요.** | 맡은 일 | 누가 | 하는 일 | |---|---|---| | 판단 | **Jev**(판단 전용 AI) | 글은 쓰지 않고, 정해 둔 질문에만 답해요. 「잡담인가 · 새 요청인가 · 견적 · 일정 얘기인가」 「답장이 필요한가」 「대표가 판단해야 하나」 | | 글쓰기 | **클로드** | 앞뒤 대화를 읽고 요약하고, 답장 초안을 써요 | 판단은 빠르고 일정하게, 글은 자연스럽게. Jev가 답을 못 내면 클로드가 대신 판단해서 비서가 멈추지 않아요. 사진은 사진 설명 글과 바로 이어 온 글을 **한 묶음**으로 판단해요(소금빵 사진 + 「신메뉴도 홈페이지에 올려 주실 수 있나요?」 = 새 요청). ## 5. 사고를 막는 장치 자동으로 보내는 순간부터 실수 하나가 거래처와의 관계를 흔들 수 있어서, 처음부터 「사고 0」을 기준으로 만들었어요. - **정해 둔 방만** 읽어요. 그 밖의 방은 읽지도 기록하지도 않아요. - **돈 · 할인 · 일정 확정 · 계약 조건 · 사과 · 거절**은 AI가 정하지 않고 「대표 판단 필요」로 사람에게 넘겨요. - **보내기는 사람이 허락한 뒤에만.** - 엉뚱한 방에 보내기 · 두 번 보내기 · 새 메시지를 못 본 채 낡은 답 보내기를 막는 확인을 보내기 전에 거쳐요. ## 6. 카톡 말고 다른 앱에도 이 원리는 카톡 전용이 아니에요. 「손쉬운 사용」 통로로 화면을 열어 둔 맥 앱이라면 같은 방식으로 읽고 누를 수 있어요. 다만 앱마다 이름표를 붙여 둔 정도가 달라서, 앱마다 직접 확인해야 해요. ## 꼭 알아 둘 것 카카오 운영정책은 허용되지 않은 프로그램으로 카톡을 부정하게 쓰거나, 그런 봇 · 매크로를 만들어 남에게 나눠 주는 걸 금지하고, 어기면 카톡 이용이 제한될 수 있다고 적고 있어요. 그래서 이 비서는 **제 맥에서, 제 카톡으로, 정해 둔 방에서만** 돌리고, 프로그램은 나눠 드리지 않아요. 여기엔 원리만 담았어요. ## 자주 묻는 것 - **카톡 막히지 않아요?** 서버에 직접 붙는 방식은 쓰지 않고, 화면에 보이는 글자만 읽어요. 그래도 짧은 시간에 많이 보내면 이상한 사용으로 보일 수 있어서, 보내는 양을 적게 묶어 두고 사람이 허락한 것만 보내요. - **AI가 제 카톡을 다 보나요?** 정해 둔 방만 읽어요. - **윈도에서도 돼요?** 저는 맥에서만 만들고 시험했어요. --- AI 비즈니스 스쿨 자료실 31번 · 사진·영상은 사이트에서: https://yourclass.co.kr/library/31