반응형 전체 글602 [LLM 서빙 최적화] 가중치 스트리밍 로딩 가이드: 콜드스타트 5분에서 10초로 줄이기 Ⅰ. 가중치 스트리밍 로딩 기술이란?트래픽 스파이크로 인해 파드(Pod)가 스케일아웃되었으나 모델 기동에 5분이 걸려 이미 트래픽이 끝났거나, 스팟 GPU 노드를 섞어 썼더니 회수 시 대체 파드가 뜨는 시간 동안 가용성에 구멍이 뚫리는 경험은 LLM 서빙의 흔한 장벽입니다. 가중치를 이미지에 구워 넣으면 레지스트리 병목이 생깁니다. 이 문제들의 뿌리는 "모델 가중치를 로컬 디스크로 전부 다운로드한 뒤, 텐서를 순서대로 하나씩 GPU로 올리는 동기(Sync) 방식의 기본 로더"에 있습니다. 가중치 스트리밍 로딩(Weight Streaming Loading)은 이 전제를 깹니다. safetensors 파일의 헤더(오프셋)를 미리 해석해 파일을 수십 개의 청크로 쪼개고, 다수의 스레드가 동시에 읽어 CPU 버.. 2026. 10. 9. [리눅스 커널 튜닝] HugePages 가이드: TLB 미스 최소화부터 THP 트러블슈팅까지 Ⅰ. HugePages 기술이란?충분한 물리 메모리, 여유 있는 CPU와 디스크 상황에서도 데이터베이스나 인메모리 캐시의 처리량(Throughput)이 오르지 않는다면 가상 주소를 물리 주소로 변환하는 비용을 의심해야 합니다. x86_64 리눅스의 기본 메모리 페이지 크기는 4KiB입니다. 64GiB의 공유 메모리를 쓴다면 약 1,677만 개의 페이지가 생성되며, 커널은 이를 4~5단계의 복잡한 페이지 테이블로 관리합니다. CPU 내부의 주소 변환 캐시인 **TLB(Translation Lookaside Buffer)**는 수백 개 수준에 불과하므로 극심한 'TLB 미스'가 발생하고, 이는 성능 저하로 직결됩니다.HugePages는 이 페이지 크기를 2MiB 또는 1GiB로 대폭 키워 페이지 테이블 크기.. 2026. 10. 8. MSSQL 메모리 최적화 가이드: Min/Max Server Memory Ⅰ. MSSQL 메모리 아키텍처와 동작 원리SQL Server 데이터베이스 엔진은 디스크 I/O를 최소화하기 위해 필요한 메모리를 동적으로 확보하고 반환하는 고도의 메모리 관리 체계를 갖추고 있습니다.주요 메모리 점유 영역Buffer Pool (데이터 캐시): 가장 큰 비중을 차지하며, 데이터 페이지를 메모리에 올려 디스크 읽기를 방지합니다.Plan Cache (프로시저 캐시): 한 번 실행된 쿼리의 실행 계획을 저장하여 CPU 컴파일 비용을 줄입니다.Query Memory Grant: 정렬(Sort)이나 해시(Hash) 조인 등 복잡한 쿼리 실행 시 할당되는 작업용 메모리입니다.In-Memory OLTP / Columnstore: 메모리 최적화 테이블 및 열 기반 인덱스 처리 영역입니다.SQL Serv.. 2026. 10. 7. systemd-sysupdate란? Linux OS 이미지 기반 업데이트와 자동 롤백 이해하기 Ⅰ. systemd-sysupdate 란? 새벽에 dnf upgrade 를 걸어 둔 장비 한 대가 아침에 이상하게 동작합니다. 부팅은 됐는데 특정 서비스만 라이브러리를 못 찾습니다. 로그를 보니 업데이트 도중 저장소 연결이 끊겼고, 패키지 1,340개 중 절반쯤이 새 버전으로 바뀐 상태에서 멈췄습니다. 이 장비는 지금 새 버전도 아니고 옛 버전도 아닌, 어느 배포판에도 존재한 적 없는 조합입니다. 여기서 진짜 문제는 복구 방법이 마땅치 않다는 점입니다. dnf history undo 는 패키지 파일은 되돌리지만 설치 스크립트가 만든 부산물까지 되돌리지는 못합니다. 데비안 계열에는 그에 해당하는 기능조차 없습니다. 파일시스템 스냅샷을 찍어 뒀다 해도, 커널·initrd·부트로더 항목은 보통 스냅샷 경계 밖.. 2026. 10. 6. 윈도우 이벤트 로그 중앙 수집 Windows Event Forwarding Windows Event Forwarding 은 여러 윈도우 서버와 PC 의 이벤트 로그를 한 대의 수집 서버로 모으는 윈도우 기본 기능입니다. 줄여서 WEF 라고 부르고, 수집 쪽 서비스 이름을 따서 WEC(Windows Event Collector) 라고 부르기도 합니다. 별도의 에이전트를 설치하지 않고 운영체제에 이미 들어 있는 WinRM 과 이벤트 수집기 서비스만으로 동작한다는 점이 특징입니다. 아래 내용은 2026년 9월 기준이며 Windows Server 2019 이상을 기준으로 정리했습니다. 버전에 따라 기본값이 다른 부분은 따로 표시했습니다.Ⅰ. Windows Event Forwarding 이란? 윈도우 서버 서른 대를 운영하고 있다고 하겠습니다. 어느 날 특정 계정으로 로그인 실패가 반복.. 2026. 10. 5. SSO(Single Sign-On, 통합 로그인)와 SLO(Single Logout, 통합 로그아웃)를 비교해서 알아보겠습니다. Ⅰ. SSO(Single Sign-On) 및 SLO(Single Logout) 이란? SSO(Single Sign-On, 통합 로그인)는 사용자가 단 한 번의 인증(로그인)만 거치면, 독립적으로 운영되는 여러 개의 애플리케이션이나 패밀리 사이트에 별도의 추가 로그인 없이 자동으로 접속할 수 있게 해주는 기술입니다. 반대로 **SLO(Single Logout, 통합 로그아웃)**는 사용자가 하나의 애플리케이션에서 로그아웃을 수행했을 때, 중앙 인증 서버(IdP)를 통해 현재 로그인되어 있는 다른 모든 연동 애플리케이션의 세션까지 한꺼번에 완전히 종료시켜 주는 기술입니다. Ⅱ. SSO(Single Sign-On) 및 SLO(Single Logout) 특징ⅰ. 중앙 집중식 인증 관리: 각 애플리케이션이 개별적.. 2026. 9. 28. 이전 1 2 3 4 ··· 101 다음 반응형