Function Calling은 LLM이 외부 API를 호출할 수 있게 만드는 기능 그 자체보다, 어떤 조건에서 어떤 도구를 어떻게 선택하고 그 결과를 어디까지 신뢰할지 정리하는 인터페이스에 가깝습니다. 기능만 붙이면 금방 될 것처럼 보이지만, 실제로는 권한 경계, 입력 검증, 재시도 기준, 실패 처리, 감사 로그까지 함께 설계해야 안정적으로 운영할 수 있습니다.Function Calling이 필요한 이유: LLM과 외부 API를 직접 붙이면 생기는 문제function calling은 LLM이 자연어를 이해하는 역할과, 실제 시스템이 동작을 수행하는 역할을 분리하기 위해 사용합니다. 질문에 답하는 것과 결제를 승인하거나 고객 정보를 조회하는 일은 성격이 완전히 다르기 때문입니다.처음 접하면 “모델이 알아..
단순히 질문에 답하는 수준의 도구와, 목표를 받아 스스로 단계와 실행 흐름을 구성하는 시스템은 생각보다 차이가 큽니다. 에이전트 아키텍처는 그 차이를 구조로 만드는 방식입니다. 챗창 안에서만 반응하는 형태를 넘어서, 계획하고 호출하고 검증하는 흐름까지 포함해야 비로소 스스로 일하는 구조에 가까워집니다.에이전트 아키텍처란 무엇인가: 단순 챗봇과의 차이에이전트 아키텍처는 입력 문장을 한 번 처리하고 끝나는 구조가 아니라, 목표를 기준으로 여러 단계를 나누고 필요한 작업을 이어서 수행하는 구조를 말합니다. 흔히 ai 기능을 붙였다고 해서 모두 에이전트가 되는 것은 아닙니다. 질문에 답하는 것과 일을 처리하는 것은 구조 자체가 다르다고 이해하면 됩니다.단순 챗봇은 보통 사용자의 질문을 받아 답변을 생성하는 데 ..
AI 가드레일은 모델 하나에 규칙 몇 개를 붙이는 설정이 아니라, 입력부터 출력 이후 처리까지 여러 단계를 나눠서 통제하는 구조로 보는 편이 맞습니다. 서비스에 붙여보면 금지어 차단만으로는 부족하고, 문맥 판단, 정책 분류, 후처리 검증, 운영 기준까지 함께 설계해야 안정적으로 다룰 수 있습니다. AI 가드레일이 필요한 이유ai 가드레일은 부적절한 답변을 막기 위한 보조 기능이 아니라, 서비스가 어떤 응답을 허용하고 어떤 응답을 제한할지 결정하는 정책 실행 계층입니다. 모델 성능이 좋아질수록 모든 질문에 더 그럴듯하게 답하려는 경향도 함께 커지기 때문에, 통제 계층 없이 바로 노출하면 의도와 다른 답변이 나오기 쉽습니다.실무에서는 특히 세 가지 상황에서 가드레일 필요성이 분명하게 드러납니다. 민감한 질문..
LLM 기능을 붙일 때 가장 먼저 정리해야 하는 것은 모델 품질보다 데이터 경계입니다. 특히 이름, 전화번호, 이메일, 계좌번호, 주민등록번호처럼 민감한 값이 프롬프트에 그대로 들어가면 보안, 컴플라이언스, 운영 정책이 한 번에 엮이기 시작합니다. 이 글에서는 개인정보 필터링을 단순한 정규식 처리로 보지 않고, 입력 단계부터 저장, 로그, 마스킹, 재식별 통제까지 어떻게 설계하는지 정리해보겠습니다.개인정보 필터링이 왜 LLM 시스템의 기본 설계가 되는가개인정보 필터링은 출력 품질을 위한 보조 기능이 아니라, LLM 시스템에 데이터를 넘기기 전에 반드시 정의해야 하는 경계 조건입니다. OWASP의 생성형 보안 가이드에서도 민감 정보 노출을 주요 위험으로 다루고 있고, 입력과 출력 모두에 대해 필터링과 검증..
LLM 기능을 붙이기 시작하면 많은 팀이 모델 품질, 프롬프트 길이, 응답 속도부터 먼저 보게 됩니다. 그런데 실제로 서비스에 넣고 나면 더 먼저 정리해야 하는 문제는 따로 있습니다. 바로 프롬프트 인젝션 Prompt Injection 방어입니다. 이 부분을 애매하게 이해한 채 기능만 연결하면, 시스템 프롬프트가 의도한 제약이 쉽게 흔들리고, 검색 도구나 외부 액션까지 예상과 다르게 호출될 수 있습니다.프롬프트 인젝션 Prompt Injection이 왜 중요한가프롬프트 인젝션은 사용자가 입력한 문장이나 외부 문서 안에 숨겨진 지시가 원래 시스템 프롬프트보다 더 강하게 작동하도록 유도하는 공격 방식입니다. 쉽게 말하면, 모델이 따라야 할 내부 규칙이 있는데 그 위에 새로운 지시를 덮어씌우려는 시도라고 보면..
대규모 트래픽에서 LLM rate limit 문제는 단순히 429를 몇 번 재시도해서 끝나는 이슈가 아닙니다. 요청 수, 토큰 수, 사용 티어, 순간 버스트, 공급자별 예외 처리 방식이 서로 다르기 때문에, 애플리케이션 구조 자체를 rate limit 친화적으로 바꿔야 안정적으로 운영할 수 있습니다. 대규모 트래픽에서의 LLM Rate Limit, 왜 자꾸 운영 이슈로 번지는가대규모 트래픽, LLM rate limit 이 조합이 어려운 이유는 제한 기준이 하나가 아니기 때문입니다. 공급자들은 보통 요청 수 기준만 두지 않고, 토큰 기준 제한이나 사용 티어별 제한도 함께 둡니다. OpenAI는 프로젝트 단위 rate limit 관리 기능과 usage tier 개념을 제공하고, Anthropic은 월 지출 ..
