AI 인페인팅은 사진에 실제로 무엇을 할까
MagicRemover 팀 · 2026년 8월 4일 · 7분 분량
핵심 요약
AI 지우기는 복원이 아니라 재구성입니다. 물체 뒤에 있던 빛은 카메라 센서에 닿은 적이 없으니, 그 정보는 파일에 없고 어떤 모델도 꺼낼 수 없습니다. 확산 모델이 하는 일은 주변과 그럴듯하게 어울리는 새 영역을 생성해 마스크 경계에서 섞어 넣는 것입니다. 단색 배경은 깔끔하게 사라지는데 섬세한 질감은 어딘가 어색하고, 마스크한 얼굴이 낯선 사람으로 돌아오기도 하는 이유가 바로 이것입니다.
AI 지우개 가이드는 대부분 단계별 사용법입니다. 이 글은 그 아래에 깔린 사고방식을 다룹니다. 원리를 알고 나면 이상한 버릇들이 더는 놀랍지 않고, 시도 횟수를 쓰기 전에 어떤 편집이 잘될지 미리 가늠할 수 있습니다.
Before & after
흔히 믿지만 사실이 아닌 세 가지
“가려져 있던 것을 드러내 준다”
그렇지 않습니다. 물체 뒤에 있던 장면은 애초에 카메라가 담지 못했습니다. 그 빛은 센서에 닿은 적이 없기 때문입니다. 돌아오는 건 구멍 주변 픽셀을 바탕으로 ‘여기엔 아마 이런 게 있었겠지’ 하고 새로 예측한 결과입니다.
“사진의 다른 부분에서 픽셀을 복사해 온다”
그건 예전 방식입니다. ‘내용 인식 채우기’나 패치 도구는 실제로 이미지 안에서 비슷한 영역을 찾아 이어 붙입니다. 확산 모델은 방식이 다릅니다. 주변의 통계적 특징에 맞는 새 픽셀을 합성합니다. 그래서 하늘 어디에도 없던, 그런데도 자연스러운 구름을 만들어 낼 수 있습니다.
“모델이 더 좋아지면 결국 진짜 모습을 되살릴 수 있다”
어떤 모델도 불가능합니다. 이것은 기술의 한계가 아니라 정보의 한계입니다. 승합차가 현관을 가리고 있었다면, 그 현관의 모습은 파일 안에 아예 없습니다. 더 뛰어난 모델은 더 그럴듯한 추측을 할 뿐, 더 정확한 추측을 하지는 않습니다.
[Remove] 버튼을 누르고 파일을 받기까지 벌어지는 일
- 1
지울 영역을 지정합니다
브러시로 칠한 부분은 남길 픽셀과 바꿀 픽셀을 나누는 흑백 마스크가 됩니다. 마스크 바깥은 처리 과정 내내 전혀 손대지 않기 때문에, 주인공은 찍은 그대로 남습니다.
- 2
이미지를 인코딩합니다
사진은 ‘잠재 표현’이라는 훨씬 작은 수치 데이터로 압축됩니다. 픽셀 하나하나가 아니라 구조와 질감을 담은 표현입니다. 마스크 영역은 노이즈로 바뀝니다.
- 3
모델이 노이즈를 여러 번 걷어 냅니다
모델은 여러 단계에 걸쳐 그 노이즈가 무엇이 되어야 하는지 추정합니다. 근거는 마스크 바깥의 주변 이미지, 그리고 보통은 ‘무엇을 지우는지’에 대한 짧은 텍스트 설명입니다. 단계마다 디테일이 조금씩 확정됩니다.
- 4
디코딩해서 원본에 합성합니다
잠재 표현은 다시 픽셀로 풀리고, 새로 생성된 영역은 마스크 경계에서 원본과 섞여 합성됩니다. 마스크에 여유를 두는 것이 중요한 이유가 바로 이 경계 블렌딩입니다. 경계에 깨끗한 재료가 있어야 이음새가 자연스럽습니다.
이 차이가 실제로 중요한 이유
‘드러난 게 아니라 생성된 것’이라는 말은 결정을 바꾸기 전까지는 탁상공론처럼 들립니다. 실제로 결정을 바꾸는 네 가지 경우입니다.
증거로 쓸 수 없습니다
인페인팅을 거친 사진은 그 영역에 대해서는 더 이상 ‘카메라가 본 것의 기록’이 아닙니다. 보험 청구, 보도, 법률 서류, 부동산 매물 사진처럼 깔끔하게 다듬은 이미지가 실제 상황을 왜곡할 수 있는 곳에서는 중요한 문제입니다. 여행 사진 속 쓰레기통은 마음껏 지우세요. 하지만 팔려고 내놓은 차 사진에서 긁힘과 찌그러짐을 지우지는 마세요.
반복 편집은 누적됩니다
편집할 때마다 직전 결과물을 바탕으로 다시 생성합니다. 같은 영역을 네 번 고쳤다면 실제 사진에서 네 단계 멀어진 셈입니다. 대부분은 티가 안 나지만, 가끔은 이상한 방향으로 흘러갑니다. 중요한 사진이라면 원본으로 돌아가 더 적은 횟수로, 더 잘 계획해서 작업하는 편이 낫습니다.
얼굴과 글자는 위험 구역
모델은 ‘사실’이 아니라 ‘그럴듯한 것’을 만들어 냅니다. 그래서 절반쯤 가린 얼굴이 다른 사람 얼굴로 돌아오기도 하고, 마스크한 글자가 그럴싸한 의미 없는 문자열로 돌아오기도 합니다. 버그가 아닙니다. ‘그럴듯함’과 ‘정확함’이 일치하지 않는 입력에서 설계대로 작동한 결과입니다.
출처 정보는 건드리지 않습니다
SynthID 같은 비가시 워터마크와 C2PA 콘텐츠 자격 증명은 브러시가 닿는 눈에 보이는 픽셀 바깥에 있습니다. 인페인팅은 이것들을 대상으로 하지 않으며, 저희도 제거하려 하지 않습니다.
그래서 정말 잘하는 일
위의 내용은 도구를 불신할 이유가 아니라, 제대로 겨냥해서 쓸 이유입니다. 솔직한 목표가 ‘방해물이 애초에 없었던 것처럼 보이게’이고 아무도 그 영역을 기록으로 삼지 않는다면, 생성형 인페인팅은 탁월합니다. 여행 사진 구석의 낯선 사람, 풍경 앞에 선 쓰레기 수거차, 스캔한 인화 사진의 날짜 표시, 내 포트폴리오 이미지에 넣은 내 워터마크, 촬영 중인 상품 포장의 스티커 같은 경우입니다.
이 모든 경우에 만들어진 픽셀은 무언가를 기록하는 척하지 않습니다. 아무도 볼 필요가 없던 배경을 채울 뿐입니다. 이 기술은 바로 그런 일을 위해 존재합니다.