For Engineering

TL;DRLangfuse v3 셀프호스팅 환경에서 ClickHouse의 시스템 로그 테이블이 무한 증가하며 CPU 107%, 메모리 OOM, 디스크 I/O 폭증을 유발했다. Langfuse 공식 문서와 AWS Terraform 옵션을 참고하여 시스템 로그 비활성화, 백그라운드 스레드 축소, 메모리 제한 조정으로 CPU를 107%에서 5%로 낮췄다. 환경GCP Compute Engine: 8 vCPU, 8GB RAM, 100GB DiskLangfuse v3 (Docker Compose, 단일 노드)ClickHouse 24.10.2 (clickhouse/clickhouse-server:24-alpine)PostgreSQL 17 + pgvector, Redis 7, MinIO, Nginx1. 증상: 서버가 반..

이 글은 proxmox 구축 전 상태에서 Gemini와 검토한 자료입니다. 추후 테스트 후 업데이트 예정입니다.1. 아키텍처 개요 (Architecture)목표운영/개발 서버(Proxmox)가 랜섬웨어에 의해 모든 데이터가 암호화되더라도 서비스 정상화.백업 서버(PBS) 자체가 공격당해도 시놀로지 계층에서 방어.구성도Source: Proxmox VE (운영/개발 VM + 호스트 설정)Backup Server: Synology NAS VMM(Virtual Machine Manager) 위에 설치된 Proxmox Backup Server (PBS)Last Line of Defense: Synology Snapshot Replication (PBS VM 이미지를 보호) Proxmox는 PBS에 백업을 Push..

이 글은 아직 Proxmox 구축 전 단계에서 Gemini와 대화하며 구성된 자료입니다. 추후 테스트 후 수정 예정입니다.준비 사항서버 상태: Proxmox가 SSD 2개에 ZFS RAID 1(Mirror)로 설치되어 있어야 합니다.마음가짐: "나는 지금 이 서버를 고장 낼 것이다."1단계: 정상 상태 확인 (Baseline)먼저 서버가 건강한지 확인하고, 디스크의 시리얼 넘버나 ID를 기록해둡니다.상태 확인:state: ONLINE 확인.rpool 아래에 두 개의 디스크가 보일 것입니다.zpool status -v디스크 ID 확인 (중요):어떤 게 sda이고 sdb인지, 실제 모델명과 시리얼 번호를 메모해둡니다.ls -l /dev/disk/by-id/2단계: 장애 발생 시뮬레이션 (물리적 제거)가장 확..

https://medium.com/@elliot_77861/open-webui-adding-anthropic-models-979318f0d78f 단일 실행# open-webuisudo docker run -d -p 80:8080 -e OPENAI_API_KEY=OPENAI_API_KEY -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main# pipelinesdocker run -d -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restar..

영어import nltkfrom nltk.tokenize import word_tokenizefrom rank_bm25 import BM25Okapi# NLTK의 punkt 리소스를 다운로드합니다.nltk.download('punkt')# 문서 집합을 정의합니다.documents = [ "The cat sat on the mat.", "Dogs are great pets.", "Cats and dogs can be friends.", "The quick brown fox jumps over the lazy dog."]# 문서 토큰화tokenized_documents = [word_tokenize(doc.lower()) for doc in documents]# BM25 모델 초기화bm..

KoBERT 임베딩 모델을 활요한 Chromadb 사용 예시 import torchimport numpy as npfrom transformers import BertTokenizer, BertModelimport chromadbfrom chromadb.api.types import Documents, EmbeddingFunctionclass KoBERTEmbeddingFunction(EmbeddingFunction[Documents]): def __init__(self): self.tokenizer = BertTokenizer.from_pretrained('monologg/kobert') self.model = BertModel.from_pretrained('monolog..

Windwos pro 버전만 gpedit.msc 지원된다. 아래 코드를 bat 파일로 작성 후 관리자 권한 실행.@echo offpushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >List.txtdir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum >>List.txtfor /f %%i in ('findstr /i . List.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRo..

출처 : www.boostcourse.org/ai251 # 선형변환(사상)의 설명이다. 전사함수 ONTO ONTO : 전사 = 전체에 사형(mapping)을 시켰다. 전체가 이미지, 함수의 값이다. 모든 공의역(codomain)이 정의역(domain)에게 최소 하나 이상의(at least) 화살을 맞아야 한다. 공의역(domain) == 치역(range) 딥러닝에서 의미 공의역 == span 2차원 -> 3차원 ONTO일 수 없다. 3차원 -> 2차원 항상 ONTO이진 않다. 디코더 역할(내용 보완 필요) 인코딩 된 2차원 벡터를 다시 3차원으로 복원하는 디코딩 과정을 생각하자. 이미지의 픽셀 전체(3차원) == 공의역(Domain) 학습된 선형변형의 의한 치역이 생성됨. (치역 == 공의역) 2차원으로..

출처 : www.boostcourse.org/ai251 Transformation Domain : 정의역. x가 될수 있는 수의 집합.(백터라고 생각) Co-domain : 공의역. y가 될수 있는 수의 집합.(백터라고 생각) Image : 함수의 상. 함수의 output. x에 의한 y의 값 Range : 치역. Image의 집합. 실제 y의 값 집합 그 외 함수의 특징 : x는 모두 사용되어야 하고 하나의 x에 대한 결과는 하나의 y이다. 등등 Linear Transformation(or mapping) 선형 변환(or 사상) (행렬이 아닌 선형이라고 표현하는 이유) 선형변환 𝑇 의 조건 : 𝑇(𝑐𝐮 + 𝑑𝐯) = 𝑐𝑇(𝐮) + 𝑑𝑇(𝐯) for all 𝐮, 𝐯 in the domain of 𝑇 an..

출처 : www.boostcourse.org/ai251 Span and Subspace subset : 부분집합 subspace : 부분공간 = 부분집합 + 선형 결합 아래에 닫혀있다.(:= span) 닫혀있다(closed under) '곱셈에 닫혀있다' : 집합의 원소를 뽑아 곱셈을 하였을 때 결과값이 집합에 있다. '선형결합에 닫혀있다' : 선형결합을 해도 기존 벡터에 포함되어 있다.(:= span) Basis of a Subspace Basis : 기저 벡터 조건1 : Fully spans the given subspace H (Span에 포함되어 있다) 조건2 : Linearly independent (선형 독립) where 𝐻 = Span {𝐯1, 𝐯2, 𝐯3}, Span {𝐯1, 𝐯2} for..