Cloudflare가 1.1.1.1 DNS 캐시의 엔트리 구조를 바꿔 메모리 100TB를 줄이면서 처리 성능까지 높인 과정을 정리한다.

모델 타입에 따라 분기되던 벡터 저장소를 Milvus로 통일하고, 파일 타입별 처리와 경량/심화 파싱을 구분하여 일관된 파일 처리 파이프라인 구축

MongoDB 트랜잭션으로 User 삭제 시 모든 연관 리소스를 원자적으로 삭제하고, MinIO/Vector DB 정리는 트랜잭션 외부에서 처리하는 설계

User Configuration을 기반으로 Agent Configuration이 생성되고, Session Configuration이 Agent를 상속받는 계층적 설정 관리 구조 설계

MongoDB 메타데이터와 MinIO 저장소 간의 파일명 불일치를 해결하고, DRM 처리된 파일과 원본 파일을 일관되게 관리하는 설계

User Configuration toggle이 Agent Collection을 직접 수정하는 버그를 해결하고, 두 개념을 명확히 분리하여 데이터 일관성을 보장한 설계 개선

동적 권한 체크의 복잡성을 해결하고, 권한 부여/회수를 명시적으로 관리하여 권한 체계의 투명성과 추적성을 확보한 설계 개선

중복 컬렉션 제거, fullpath/level 자동 업데이트, 고아 팀 관리로 팀 계층 구조의 일관성을 보장하는 설계 개선 경험

팀장/조직장 승급/강등 시 권한 부여/회수를 MongoDB 트랜잭션으로 처리하여 데이터 정합성을 보장하는 설계

동시 파일 업로드 시 발생하는 MongoDB WriteConflict를 Redis 분산 락과 트랜잭션 재시도로 해결하고, 파일 크기별 락 세분화로 대용량 파일이 소용량 파일을 차단하지 않도록 개선한 경험