AI 자동화 결과물에 엉뚱한 문장이 섞여 나올 때, 프롬프트보다 먼저 봐야 할 것

AI로 뭔가를 자동으로 만들어본 적이 있다면, 결과물에 있으면 안 되는 문장이나 항목이 섞여 나온 경험이 한 번쯤 있을 것입니다. 저는 매일 자동으로 짧은 영상을 만들어 유튜브에 올리는 파이프라인을 운영하는데, 어느 날부터 영상 속 성우 목소리가 제목을 그대로 읽어버리는 문제가 생겼습니다. 처음에는 "AI가 실수했나 보다" 하고 넘어갔지만, 원인을 따라가 보니 AI의 문제가 아니라 제가 만든 구조의 문제였습니다.

자동화가 완벽하지 않다

제가 운영하는 파이프라인은 이렇게 흘러갑니다. AI가 짧은 대본을 쓰면, 그 대본으로 사진을 찾고, 사람 목소리처럼 읽어주는 음성(TTS, Text-to-Speech)을 만들고, 자막을 붙이고, 영상을 조합해서 유튜브에 자동으로 올립니다.

여기까지는 문제없이 잘 돌아갔습니다. 문제는 결과물을 다시 보면서 발견했습니다. 영상 제목으로 써야 할 문장이 성우 목소리로 그대로 읽히고, 자막에도 남아 있었던 것입니다. 시청자 입장에서는 "이 영상 제목이 왜 대사처럼 들리지?" 싶은 이상한 경험이었을 겁니다.

왜 이런 일이 생겼을까요

원인을 찾다 보니, AI에게 넘긴 대본 한 장 안에 서로 다른 용도의 문장이 전부 섞여 있었습니다.

한 장의 메모에 "사장님께 보고할 내용", "담당자만 봐야 할 작업 지시", "고객에게 보여줄 안내문"이 구분 없이 함께 적혀 있다고 생각해보면 비슷합니다. 처음 한두 번은 사람이 눈으로 보고 필요한 부분만 골라 쓸 수 있지만, 이 작업을 계속 자동으로 반복하면 언젠가는 엉뚱한 문장이 엉뚱한 곳으로 새어 나가게 됩니다.

제 파이프라인도 마찬가지였습니다. 영상 제목, 사진을 찾기 위한 검색어, 해시태그, 그리고 시청자가 실제로 들을 대사가 전부 한 덩어리의 글로 AI에게 전달되고 있었습니다. "제목은 읽지 마"라고 지시문을 한 줄 추가하면 잠깐은 해결되는 것처럼 보였지만, 다른 도구를 하나 더 연결하거나 지시문을 조금만 바꿔도 같은 문제가 다시 나타났습니다.

제목이 성우 목소리로 읽힌 건 AI가 잘못 이해해서가 아니라, 애초에 '이건 시청자용, 이건 내부용'이라고 나눠주지 않았기 때문이었습니다.

문장을 용도별로 나눴습니다

그래서 프롬프트를 더 정교하게 다듬는 대신, 문장이 만들어지는 단계에서부터 용도를 나누는 쪽을 택했습니다. 이렇게 네 가지로 구분했습니다.

• 제목 — 유튜브 화면에 노출되는 이름표입니다. 영상 안에는 절대 들어가면 안 됩니다.
• 검색어 — 영상에 넣을 사진을 찾기 위해 프로그램에게만 전달하는 명령어입니다. 사람이 볼 일이 없습니다.
• 해시태그 — 유튜브 업로드 화면에서 분류용으로만 쓰입니다.
• 내레이션 — 시청자가 실제로 듣고 자막으로도 보게 되는, 유일하게 '진짜 콘텐츠'인 문장입니다.

이 네 가지를 각각 별도의 자리에 담아두고, 음성을 만드는 프로그램에는 내레이션만, 유튜브에 올릴 때는 제목과 해시태그만 전달되도록 만들었습니다. 거창한 시스템을 새로 만들 필요는 없었습니다. 그냥 "이 글자는 어디로만 가야 하는가"라는 규칙 네 줄을 정하는 것으로 충분했습니다.

바뀐 게 정말 통할까?

규칙을 정했다고 끝난 게 아니었습니다. 실제로 지켜지는지 확인하지 않으면 다음 업데이트에서 다시 섞일 수 있기 때문입니다.

그래서 최종 자막 파일과 음성 파일을 열어서, 제목이나 해시태그에 쓰인 문장이 단 한 글자도 들어있지 않은지 하나씩 확인했습니다. 반대로 유튜브 제목과 설명란에는 원래 있어야 할 해시태그가 빠짐없이 남아 있는지도 확인했습니다. 이렇게 만든 확인 절차를 자동으로 반복 실행되게 만들어서 다음에 파이프라인을 수정하더라도 같은 실수가 반복되지 않도록 했습니다.

이 경험에서 얻은 것

이번 일로 얻은 교훈은 영상 자동화에만 해당되는 이야기는 아니라고 생각합니다. 블로그 글을 자동으로 발행하거나, AI로 이메일 초안을 만들거나, 챗봇 답변을 자동 생성하는 경우에도 비슷한 상황이 생길 수 있습니다. 내부 지시사항, 참고 메모, 실제로 사람에게 보여줄 최종 문장이 한 곳에 섞여 있다면 언젠가는 새어 나갑니다.

그래서 AI 자동화를 만들 때 결과물이 이상하면 프롬프트를 더 정교하게 고치기 전에, 먼저 이렇게 물어보면 도움이 됩니다.

"이 문장은 결국 누가 보게 되나요?"

시청자인지, 다음 단계의 프로그램인지, 아니면 플랫폼 관리자용 정보인지 답이 다르다면, 애초에 같은 문장 안에 담지 않는 것이 가장 확실한 예방입니다.

오늘은 실제로 운영 중인 자동 영상 제작 파이프라인에서 겪은 문제와, 이를 고친 실제 작업을 바탕으로 썼습니다. 사실 자동화를 테스트하긴 작업이었기 때문에 조회수는 높지 않긴합니다. 그래도 이번에 확인한 부분이 앞으로의 AI컨텐츠 제작이 도움되는 자산이되었습니다.

자주 묻는 질문

Q. AI 자동화 결과물에 제목이나 지시문 같은 게 섞여 나오는 건 왜 그런가요? A. 대부분 AI가 잘못 이해해서가 아니라, 서로 다른 용도의 문장을 하나로 묶어서 전달했기 때문입니다. 시청자용 문장과 내부 처리용 문장을 처음부터 나누지 않으면 언젠가는 섞이게 됩니다.

Q. 프롬프트에 "이건 읽지 마"라고 한 줄 추가하면 안 되나요? A. 당장은 효과가 있어 보이지만, 도구를 하나 더 연결하거나 프롬프트를 조금만 바꿔도 같은 문제가 다시 생깁니다. 문장 단계에서부터 용도를 나눠두는 편이 더 오래갑니다.

Q. 이걸 고치려면 개발 지식이 많이 필요한가요? A. 새로운 시스템을 만들기보다 "이 글자는 어디로만 가야 하는가"라는 규칙을 정하는 작업에 가깝습니다. AI 도구를 활용해 자동화를 만드는 분이라면 시도해볼 수 있는 수준입니다.

Q. 이 방법을 다른 자동화에도 적용할 수 있나요? A. 네. 영상뿐 아니라 블로그 자동 발행, 이메일 자동 발송처럼 여러 목적의 문장이 한 번에 오가는 자동화라면 비슷하게 적용할 수 있다고 봅니다.

Q. 수정 이후 실제로 문제가 재발하지 않았나요? A. 이 글을 쓰는 시점까지는 재발하지 않았습니다. 다만 장기간 운영 결과는 아니므로 지속적으로 지켜보고 있습니다.