MSA를 도입한 팀이 AI 기능을 붙이기 시작하면, 곧 한 가지 질문을 하게 됩니다. 기존 서비스 안에 AI 기능을 같이 둘 것인지, 아니면 AI 마이크로서비스를 별도로 분리할 것인지에 대한 판단입니다. MSA 구조에서 AI 마이크로서비스를 독립시키는 이유와 장단점을 아키텍처 관점에서 정리해보겠습니다.MSA 구조에서 AI 마이크로서비스를 독립시키는 이유MSA 구조에서 AI 마이크로서비스를 독립시키는 이유는 단순히 유행하는 설계를 따라가기 위해서가 아닙니다. 일반적인 비즈니스 서비스와 AI 기능은 개발 방식, 배포 주기, 의존성, 테스트 관점이 다르기 때문에 한 프로세스 안에 묶어두면 점점 관리 포인트가 어긋나는 경우가 많습니다.예를 들어 주문, 결제, 회원 같은 서비스는 보통 입력과 출력이 명확하고, ..
PDF와 이미지는 사람이 보기에는 익숙하지만, 시스템이 그대로 다루기에는 꽤 불편한 입력입니다. 실무에서는 단순 OCR 한 번으로 끝내기보다, 문서 분류부터 추출, 정규화, 검증, 보정, 적재까지 이어지는 파이프라인으로 설계해야 나중에 유지보수가 편해집니다.비정형 데이터(PDF, 이미지)를 구조화된 데이터로 바꾸는 파이프라인이 필요한 이유비정형 데이터 파이프라인은 PDF, 스캔 이미지, 영수증, 신청서, 계약서처럼 포맷이 제각각인 입력을 받아서, 애플리케이션이 바로 사용할 수 있는 JSON, 테이블 레코드, 검색 인덱스 형태로 바꾸는 흐름입니다. 여기서 핵심은 “텍스트를 읽는 것” 자체보다 “어떤 필드를 어떤 기준으로 안정적으로 뽑아낼 것인가”에 있습니다.실무에서는 이 문제를 자주 오해합니다. OCR만 ..
프런트엔드에서 생성형 응답을 붙일 때 사용자가 먼저 체감하는 것은 모델 성능보다도 화면의 태도입니다. 기다리는 동안 아무 일도 일어나지 않는 것처럼 보이면 답변이 늦는 것보다 더 답답하게 느껴지고, 반대로 스켈레톤 UI와 스트리밍 응답이 서로 역할을 잘 나누면 같은 처리 시간이어도 훨씬 안정적이고 자연스러운 경험으로 받아들여집니다.프런트엔드에서의 AI 경험, 왜 스켈레톤 UI와 스트리밍 응답을 같이 봐야 할까프런트엔드에서의 AI 경험을 이야기할 때 스켈레톤 UI와 스트리밍 응답은 따로 떼어 보기 어렵습니다. 스켈레톤 UI는 “무언가 준비 중이다”라는 구조적 신호를 먼저 주고, 스트리밍 응답은 “실제로 내용이 들어오고 있다”는 진행 신호를 이어서 전달합니다. React의 Suspense는 준비되지 않은 구..
멀티 모달 서비스를 만들기 시작하면 많은 팀이 먼저 모델 성능부터 보게 됩니다. 그런데 실제 구축 단계에서는 Vision, Audio 입력이 들어오는 방식이 서로 다르고, 실시간 처리와 비동기 처리를 구분해야 하며, 저장소와 스트리밍 계층까지 함께 설계해야 서비스가 안정적으로 굴러갑니다. 멀티모달 AI 서비스에서 인프라 관점이 먼저 중요한 이유멀티모달, AI, 인프라라는 키워드를 함께 놓고 보면 핵심은 모델 종류가 늘어난다는 데 있지 않습니다. 입력 형태가 늘어나면서 처리 경로가 달라지고, 응답 방식도 동기형 요청 응답, 스트리밍, 배치 처리로 나뉘기 시작한다는 점이 더 중요합니다. 최근 모델 플랫폼들도 텍스트 중심 구조에서 이미지, 오디오, 비디오까지 함께 다루는 흐름으로 확장되고 있고, 실시간 음성 ..
LLM 기능을 서비스에 붙일 때 많은 팀이 가장 먼저 부딪히는 질문은 모델 성능보다 전략 선택입니다. 파인튜닝을 해야 하는지, 아니면 인컨텍스트 러닝(ICL)만으로도 충분한지 헷갈리는 경우가 많습니다. 이 글에서는 두 방식을 개념부터 적용 기준까지 나눠서 정리하겠습니다. 파인튜닝 vs 인컨텍스트 러닝(ICL), 왜 이 비교가 중요한가파인튜닝과 인컨텍스트 러닝은 둘 다 모델을 내 서비스에 맞게 보정하는 방법처럼 보이지만, 실제로는 접근 방식이 완전히 다릅니다. 파인튜닝은 모델 내부 가중치 자체를 조정하는 방식이고, 인컨텍스트 러닝은 프롬프트 안에 지시문과 예시를 넣어 그 순간의 응답을 유도하는 방식입니다.실무에서는 이 둘을 같은 층위에서 비교하다가 판단이 꼬이는 경우가 많습니다. 예를 들어 “우리 서비스 ..
Text-to-SQL은 데모에서는 꽤 그럴듯하게 보이지만, 실제 서비스에 붙이는 순간 질문이 하나로 모입니다. 정말 안전한가, 그리고 생성된 SQL을 믿어도 되는가입니다. 실무에서는 이 두 가지를 분리해서 보지 않고, 보안 제어와 정확도 보정을 하나의 파이프라인으로 묶어서 설계하는 편이 낫습니다.SQL 생성 AI(Text-to-SQL)에서 보안과 정확도를 함께 봐야 하는 이유SQL 생성 AI는 사용자의 자연어를 받아 DB 질의로 바꾸는 방식이라서, 겉으로는 편의 기능처럼 보이지만 내부적으로는 권한, 스키마 노출, 쿼리 실행 범위, 결과 해석까지 모두 연결됩니다. 그래서 이 문제는 단순 프롬프트 작성 문제가 아니라 DB 접근 제어와 질의 검증 체계를 포함한 설계 문제로 보는 편이 맞습니다. Google C..
