For Engineering

부제: 캐시를 살리려고 시스템 프롬프트를 통째로 고정한 이야기이 프로젝트는 Gemini를 기준으로 만들었다. Gemini는 다른 모델과 다른 구석이 몇 있는데, 그중 캐싱과 시스템 프롬프트 다루는 방식이 설계를 꽤 바꿔놨다. 그 얘기다.Gemini 캐시는 접두사로 동작한다Gemini의 implicit caching은 요청의 앞에서부터(prefix) 같은 부분을 찾아 재사용한다. 순서는 대략 system_instruction → tools → 대화 내용 이다.여기서 중요한 성질이 하나 있다. 앞쪽이 1바이트라도 바뀌면 그 뒤 전체가 캐시 미스다. 접두사 매칭이니 처음 달라지는 지점부터는 전부 새로 계산한다.그러니 캐시를 살리고 싶으면 맨 앞의 system_instruction을 절대 건드리면 안 된다.처음..

부제: 그럴듯한 우회로 때우다 진짜 원인을 놓칠 뻔한 이야기관측용으로 Langfuse를 쓰고, 그 뒤에서 ClickHouse가 트레이스를 저장한다. 어느 날 이 ClickHouse가 12시간 동안 먹통이 됐다. 사고를 어떻게 잘못 짚었다가 바로잡았는지 적어둔다.증상프로세스는 살아 있었다. 크래시도 OOM도 아니었다. 그런데 모든 쿼리가 멈췄다. 헬스체크로 날리는 SELECT 1조차 응답을 못 했다. 타임아웃을 60초로 걸어 뒀는데, 그 한 줄짜리 쿼리가 로그상 75분 넘게 슬롯을 붙들고 있었다. 설정한 타임아웃이 그냥 무시된 거다. host swap도 9 GiB 가까이 올라 있었다.그럴듯했던 오답사고 직전에 서버가 PDF를 잔뜩 처리하던 참이었다. 그 과정에서 14MB짜리 base64 데이터가 트레이스에..

앞 명령어 출력을 뒤 명령어로 넘기기ps aux | grep nginx # 프로세스 목록에서 nginx만du -sh * | sort -h # 폴더 용량을 크기순으로 |(파이프)는 앞 명령어의 출력을 뒤 명령어의 입력으로 넘긴다.그래서 ps aux(전체 목록) → grep nginx(원하는 줄만)처럼 이어 쓴다. 여러 개도 연결된다: ... | sort | head.참고로 맨 아래 grep 자기 자신이 같이 잡히는 건 정상이다.

아무 명령어든 실시간 모니터로 바꾸기watch -n 1 nvidia-smi # 1초마다 nvidia-smi 를 다시 실행 -n 1은 1초 간격. 종료는 Ctrl + C. 어떤 명령어든 앞에 watch를 붙이면 실시간 모니터가 된다.watch df -h(디스크 차오르는지), watch -n 1 'ss -tulpn'(포트 변화)처럼 활용한다.

어떤 포트가 열려 있고 무슨 프로세스가 물고 있나ss -tulpn # 프로세스(PID)까지 보려면 sudo ss -tulpn 옵션은 이렇게 읽는다: t TCP · u UDP · l 리스닝만 · p 프로세스 표시 · n 포트를 숫자로.PID/프로세스 이름을 보려면 권한이 필요해서 sudo를 붙인다. 예전 netstat을 대체하는 현행 명령이다.

CPU 코어 몇 개인지, 스펙은 어떤지nproc # 코어 수만 빠르게lscpu # CPU 상세 정보 nproc는 사용할 수 있는 코어 수만 숫자로 딱 준다.이 값은 uptime의 load average를 해석하는 기준이 된다(코어 수보다 load가 크면 대기 발생).더 자세한 모델·소켓·코어 구성은 lscpu로 본다.

서버가 지금 바쁜지 한 줄로 확인uptime 맨 끝 load average는 각각 최근 1분·5분·15분 평균 대기 부하다.이 숫자를 CPU 코어 수(nproc)와 비교한다. 코어 수보다 크면 처리 대기가 쌓이는 중이고, 세 값이 오르는 추세면 부하가 커지는 것이다.

메모리 잡아먹는 프로세스 한 번에 추리기ps aux --sort=-%mem | head --sort=-%mem은 메모리 많이 쓰는 순.-%cpu로 바꾸면 CPU순으로 정렬된다. top이 실시간이라면 ps는 그 순간의 한 장 스냅샷이다.'| head'로 상위 몇 줄만 잘라 본다.

지금 CPU·메모리 누가 먹고 있나 실시간으로 top 실시간으로 계속 갱신된다. 화면 안에서 쓰는 키:M 메모리순 정렬 · P CPU순 정렬 · q 종료맨 위 한 줄의 load average만 봐도 서버가 바쁜지 감이 온다. 한 장 스냅샷만 필요하면 ps를 쓴다.

어느 폴더가 용량을 먹는지 찾기du -sh * # 현재 폴더 항목별 용량du -sh * | sort -h # 작은 것부터 정렬 예시 출력:$ du -sh * | sort -h4.0K README.md1.2M logs340M node_modules2.1G data -s는 합계만,-h는 사람이 읽는 단위. df로 "디스크가 찼다"를 알고, du로 "어디가 범인인지"를 찾는다.'| sort -h'를 붙이면 용량 큰 게 아래로 와서 바로 눈에 띈다.