티스토리

For Engineering

검색하기

블로그 홈

For Engineering

forcloud.tistory.com/m

초보 엔지니어의 흔적

구독자: 5

방명록 방문하기

주요 글 목록

[open-webui] OpenAI + Anthropic Models https://medium.com/@elliot_77861/open-webui-adding-anthropic-models-979318f0d78f 단일 실행# open-webuisudo docker run -d -p 80:8080 -e OPENAI_API_KEY=OPENAI_API_KEY -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main# pipelinesdocker run -d -p 9099:9099 --add-host=host.docker.internal:host-gateway -v pipelines:/app/pipelines --name pipelines --restar.. 공감수 0 댓글수 0 2024. 11. 20.
[BM25] 사용 예제 영어import nltkfrom nltk.tokenize import word_tokenizefrom rank_bm25 import BM25Okapi# NLTK의 punkt 리소스를 다운로드합니다.nltk.download('punkt')# 문서 집합을 정의합니다.documents = [ "The cat sat on the mat.", "Dogs are great pets.", "Cats and dogs can be friends.", "The quick brown fox jumps over the lazy dog."]# 문서 토큰화tokenized_documents = [word_tokenize(doc.lower()) for doc in documents]# BM25 모델 초기화bm.. 공감수 3 댓글수 3 2024. 11. 5.
[KoBERT] ChromaDB 사용 예제 KoBERT 임베딩 모델을 활요한 Chromadb 사용 예시 import torchimport numpy as npfrom transformers import BertTokenizer, BertModelimport chromadbfrom chromadb.api.types import Documents, EmbeddingFunctionclass KoBERTEmbeddingFunction(EmbeddingFunction[Documents]): def __init__(self): self.tokenizer = BertTokenizer.from_pretrained('monologg/kobert') self.model = BertModel.from_pretrained('monolog.. 공감수 2 댓글수 0 2024. 11. 5.
[Windows] gpedit.msc 활성화 Windwos pro 버전만 gpedit.msc 지원된다. 아래 코드를 bat 파일로 작성 후 관리자 권한 실행.@echo offpushd "%~dp0"dir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientExtensions-Package~3*.mum >List.txtdir /b %SystemRoot%\servicing\Packages\Microsoft-Windows-GroupPolicy-ClientTools-Package~3*.mum >>List.txtfor /f %%i in ('findstr /i . List.txt 2^>nul') do dism /online /norestart /add-package:"%SystemRo.. 공감수 0 댓글수 0 2024. 6. 19.
[선형대수] 전사함수와 일대일함수: ONTO and ONE-TO-ONE 출처 : www.boostcourse.org/ai251 # 선형변환(사상)의 설명이다. 전사함수 ONTO ONTO : 전사 = 전체에 사형(mapping)을 시켰다. 전체가 이미지, 함수의 값이다. 모든 공의역(codomain)이 정의역(domain)에게 최소 하나 이상의(at least) 화살을 맞아야 한다. 공의역(domain) == 치역(range) 딥러닝에서 의미 공의역 == span 2차원 -> 3차원 ONTO일 수 없다. 3차원 -> 2차원 항상 ONTO이진 않다. 디코더 역할(내용 보완 필요) 인코딩 된 2차원 벡터를 다시 3차원으로 복원하는 디코딩 과정을 생각하자. 이미지의 픽셀 전체(3차원) == 공의역(Domain) 학습된 선형변형의 의한 치역이 생성됨. (치역 == 공의역) 2차원으로.. 공감수 0 댓글수 0 2024. 3. 25.
[선형대수] 선형변환 Linear Transformation (with Neural Networks) 출처 : www.boostcourse.org/ai251 Transformation Domain : 정의역. x가 될수 있는 수의 집합.(백터라고 생각) Co-domain : 공의역. y가 될수 있는 수의 집합.(백터라고 생각) Image : 함수의 상. 함수의 output. x에 의한 y의 값 Range : 치역. Image의 집합. 실제 y의 값 집합 그 외 함수의 특징 : x는 모두 사용되어야 하고 하나의 x에 대한 결과는 하나의 y이다. 등등 Linear Transformation(or mapping) 선형 변환(or 사상) (행렬이 아닌 선형이라고 표현하는 이유) 선형변환 𝑇 의 조건 : 𝑇(𝑐𝐮 + 𝑑𝐯) = 𝑐𝑇(𝐮) + 𝑑𝑇(𝐯) for all 𝐮, 𝐯 in the domain of 𝑇 an.. 공감수 0 댓글수 0 2024. 3. 24.
[선형대수] 부분공간(Subspace)의 기저(Basis)와 차원(Dimension) 그리고 행렬의 계수(Rank) 출처 : www.boostcourse.org/ai251 Span and Subspace subset : 부분집합 subspace : 부분공간 = 부분집합 + 선형 결합 아래에 닫혀있다.(:= span) 닫혀있다(closed under) '곱셈에 닫혀있다' : 집합의 원소를 뽑아 곱셈을 하였을 때 결과값이 집합에 있다. '선형결합에 닫혀있다' : 선형결합을 해도 기존 벡터에 포함되어 있다.(:= span) Basis of a Subspace Basis : 기저 벡터 조건1 : Fully spans the given subspace H (Span에 포함되어 있다) 조건2 : Linearly independent (선형 독립) where 𝐻 = Span {𝐯1, 𝐯2, 𝐯3}, Span {𝐯1, 𝐯2} for.. 공감수 0 댓글수 0 2024. 3. 24.
[Transformer] Attention, Self-Attention 설명 출처: https://www.youtube.com/watch?v=kyIw0nHoG9w 출처: https://www.youtube.com/watch?v=6s69XY025MU Attention 개요 RNN의 단점 Encoder의 마지막 Hidden state 벡터 정보만 넘어간다. 예를들어 '오늘은' '금요일' '입니다.'에서 마지막 '입니다.'의 hidden state vector가 넘어간다. Attention 구조 여기서 Attention 제안됨 Encoder 부분에서 생성되는 각 단어에 대한 hidden state 정보를 모두 decoder로 전달 각각의 hidden state가 5차원일 경우 3*5 행렬인 [h0, h1, h2] 로 decoder로 전달 Decoder에서 'Today is Fri.. 공감수 0 댓글수 0 2024. 3. 8.
[선형대수] 선형결합, 선형독립과 선형종속 Linear Independence (Practical) Definition 방정식의 해가 없거나 하나 이상인가? 백터로 span이 확장되는가 기존 span에 포함되는가? 백터를 기존의 백터로 표현이 안되는가 가능한가? (선형 결합(linear combination)으로 표현이 되는가?) linearly independence : 선형 독립 - 해가 하나 이상 존재한다. linearly dependence : 선형 의존 - 해가 없다. (Formal) Definition trivial solution(하찮은 해) : 해가 0인 경우. (𝐴𝐱 = 𝐛) 상수 𝐛 가 0으로 이루어진 영백터인 경우. linearly independence : trivial solution 만 존재 할 경우 linearly de.. 공감수 0 댓글수 0 2024. 3. 7.
[선형대수] 선형방정식과 선형시스템 학습 자료 : www.boostcourse.org/ai251 Scalar, Vector, and Matrix 스칼라 - 일반 숫자 Vector(백터) - 열백터를 기본으로 한다. 행백터는 열백터의 transpose 된 형태이다. Set - 순서가 없는 리스트 Matrix(행렬) - two-dimensional array of numbers Matrix Notations square matrix - 정방행렬. rows == columns rectangular matrix - 직사각형 행렬 transpose of matrix - 행/열 변환 2x3 -> 3x2 Vector/Matrix Additions and Multiplications element-wise addition A + B = B + A sca.. 공감수 0 댓글수 0 2024. 3. 5.
[llama.cpp] quantize: 양자화 예시 환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1.. 공감수 1 댓글수 0 2024. 1. 4.
[Streamlit] Nginx proxy_pass nginx -> streamlit 프록시 설정. 추후 streamlit 서버를 도커로 올리고, k8s에서까지 구동 되도록... 노력할 예정... 최상단?에 있는 nginx 정방향 프록시 설정 server { listen 80; server_name llama.sample.site; # HTTP에서 HTTPS로 리다이렉션 return 301 https://$host$request_uri; } server { listen 443 ssl; server_name llama.sample.site; ssl_certificate /etc/letsencrypt/live/sample.site/fullchain.pem; ssl_certificate_key /etc/letsencrypt/sample.site/privkey... 공감수 0 댓글수 0 2023. 12. 22.
[Proxmox] GPU Passthrough 참고글: https://zsoo.net/post/2022-05-16-proxmox-gpu-passthrough.html공식링크 : https://pve.proxmox.com/wiki/PCI_Passthroughhttps://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/ PVE 설정# vi /etc/default/grubGRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on intel_iommu=pt pcie_acs_override=downstream,multifunction nofb video=efifb:off vga=off"# amdGRUB_CMDLINE_L.. 공감수 0 댓글수 0 2023. 12. 9.
[Github] Organization github에 colab 사본 저장하기 개인 메모장... colab에서 개인 리포에 사본 저장하는건 쉽다. Organization 에 사본 저장하는건 자료가 많지 않다. 순서 : Organization - Setting - Applications - Authorized OAuth Apps 공감수 0 댓글수 0 2023. 12. 8.
[CUDA] windows 11 설치 : torch.cuda.is_available() 대상 : NVIDIA GeForce GTX 1650 python & conda : https://www.anaconda.com/download # python 실행시 MS WindowsApps 으로 실행되어 환경변수 WindosApps 의 순서를 맨 아래로 변경. CUDA : https://developer.nvidia.com/cuda-downloads cuDNN : https://developer.nvidia.com/rdp/cudnn-archive CUDA install 가이드 : https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html 이해도가 낮아 'CUDA', 'cuDNN' 설치 후 가이드로 진행함. # ht.. 공감수 0 댓글수 1 2023. 12. 1.
[가상모니터] AnyDesk 모니터 없이 연결하기 https://www.amyuni.com/forum/viewtopic.php?t=3030 AnyDesk 는 모니터가 연결되어 있어야 연결 가능하다. DP케이블로 연결된 모니터가 전원이 끈 경우 디스플레이 연결이 끊긴 걸로 인식된다. (HDMI 쓰자..) 가상 모니터를 생성하여 AnyDesk 연결이 가능하게 한다. 가상 모니터 생성 1. 다운로드 : https://www.amyuni.com/downloads/usbmmidd_v2.zip 2. 폴더이동 : 삭제될 위험이 없는 곳. 예시) c:\temp\usbmmidd_v2 3. 설치 : 관리자 권한 - c:\temp\usbmmidd_v2 4. (선택사항)예약스케줄러 등록 4-1. taskschd.msc 4-2. 기본 작업 만들기 4-3. '사용자의 로그온 여.. 공감수 2 댓글수 1 2023. 12. 1.
[VSC] SSH 원격 : AnyDesk TCP tunneling # 진행중 windows10 openssh : https://learn.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse?tabs=gui AnyDesk : https://support.anydesk.com/ko/knowledge/tcp-tunneling 고려사항 TCP 터널링은 SMB 인증 프로토콜에 따라 다릅니다. -> 한국통신사에서 SMB 프로토콜 통신을 차단한다. 외부네트워크를 이용할 경우 테스트 필요. 목표 로컬 -> 원격 ssh 로그인 및 vscode 원격 접속 원격 호스트의 네트워크 관리자 권한이 없어 포트포워딩 사용 불가. 원격 호스트 : Windows10 로컬 호스트 : MacOS 설정 1. .. 공감수 0 댓글수 0 2023. 11. 30.
[SSL] certbot ssl 발급 : nginx forward proxy 설정까지 환경 및 설치 환경: ubuntu 22.04, 관리자권한 apt install certbot add-apt-repository ppa:certbot/certbot apt install python3-certbot-nginx 인증서 발급 certbot certonly --nginx -d mysite.site -d www.mysite.site -d kubeflow.mysite.site 다수 도메인 사용 가능 nginx 설정 nginx 설정 참고 : http://nginx.org/en/docs/http/ngx_http_core_module.html server_name : 모든 $host 는 k8s에서 운영중이므로 명시하지 않음 resolver: 'no resolver defined to resolve' 등.. 공감수 0 댓글수 0 2023. 11. 29.
[Pytorch] GoogLeNet : 구현 연습 ConvBlock import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, padding=0, stride=1): super(ConvBlock, self).__init__() self.layers = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, padding=padding, stride=stride), nn.ReLU() ) def __call__(self, x): x = self.layers(x) return .. 공감수 0 댓글수 0 2023. 11. 29.
[Pytorch] VGG11 논문 구현 코드 참고자료 : https://pytorch.kr/hub/pytorch_vision_vgg/ 모델 구성 class VGG11(nn.Module): def __init__(self): super(VGG11, self).__init__() self.conv1 = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=64, padding=1, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2, padding=0, stride=2) ) self.conv2 = nn.Sequential( nn.Conv2d(in_channels=64, out_channels=128, padding=1, kernel_size=3), nn.ReLU(),.. 공감수 0 댓글수 0 2023. 11. 27.
[k8s] 모니터링 : Prometheus & Grafana (nginx ingress 설정까지) https://artifacthub.io/packages/helm/prometheus-community/kube-prometheus-stack # helm repo 설정 helm repo add prometheus-community https://prometheus-community.github.io/helm-charts helm repo update # 바로 설치 : helm install prom-stack prometheus-community/kube-prometheus-stack # 설치 옵션 설정 helm pull prometheus-community/kube-prometheus-stack tar xf kube-prometheus-stack-54.2.1.tgz cd kube-prometheus-.. 공감수 1 댓글수 1 2023. 11. 26.
[k8s] Nginx ingress : Bare metal clusters 설치 https://kubernetes.github.io/ingress-nginx/deploy/#bare-metal-clusters wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/controller-v1.8.2/deploy/static/provider/baremetal/deploy.yaml vi deploy.yaml # nodePort 고정 nodePort: 30080 # 추가 nodePort: 30443 # 추가 kubectl apply -f deploy.yaml kubectl get ingressclass -o json 공감수 1 댓글수 1 2023. 11. 24.
[Pytorch] Multiclass Classification : 임의의 클러스터 학습 model import torch.nn as nn class Classifier(nn.Module): def __init__(self): super(Classifier, self).__init__() self.fc1 = nn.Linear(in_features=2, out_features=16) self.fc_act1 = nn.ReLU() self.fc2 = nn.Linear(in_features=16, out_features=32) self.fc_act2 = nn.ReLU() self.fc3 = nn.Linear(in_features=32, out_features=4) def forward(self, x): x = self.fc1(x) x = self.fc_act1(x) x = self.fc2(x) x .. 공감수 0 댓글수 1 2023. 11. 21.
[Pytorch] XOR 학습 환경 : colab model import torch.nn as nn class XorModel(nn.Module): def __init__(self, n1=3): super(XorModel, self).__init__() self.fc1 = nn.Linear(in_features=2, out_features=n1) self.fc_act1 = nn.Sigmoid() self.fc2 = nn.Linear(in_features=n1, out_features=1) self.fc_act2 = nn.Sigmoid() def forward(self, x): x = self.fc1(x) x = self.fc_act1(x) x = self.fc2(x) x = self.fc_act2(x) x = x.view(-1) re.. 공감수 0 댓글수 0 2023. 11. 20.
[k8s] kubeflow install : 진행중 kustomize : https://kubectl.docs.kubernetes.io/installation/kustomize/binaries/ storageclass : https://forcloud.tistory.com/202 kubeflow : https://github.com/kubeflow/manifests#install-with-a-single-command git clone https://github.com/kubeflow/manifests.git && cd manifests 설치 : while ! kustomize build example | kubectl apply -f -; do echo "Retrying to apply resources"; sleep 10; done 삭제 : kusto.. 공감수 0 댓글수 0 2023. 11. 19.
[k8s] NFS Provider - Persistent Volumes 구성 쿠버네티스 모든 노드에 nfs client 설치가 필요하다. 이거 때문에 주말을 날렸다.. 요약 # install nfs-server sudo apt update && sudo apt install nfs-kernel-server sudo mkdir -p /nfs sudo chmod 777 /nfs # 검토 필요 sudo chown -R nobody:nogroup /nfs sudo echo '/nfs 10.0.0.0/24(rw,sync,no_subtree_check)' >> /etc/exports sudo exportfs -a sudo systemctl restart nfs-kernel-server # client nfs test sudo apt update && sudo apt install nfs-.. 공감수 0 댓글수 0 2023. 11. 19.
[명령어] 백그라운드 실행 : nohup <명령어> & 백그라운드 실행 : nohup & 예시 : nohup python3 app.py & 공감수 0 댓글수 0 2023. 11. 16.
[k8s] Nginx Ingress : Rewrite Target 너무 감사한 블로그 https://thekoguryo.github.io/oracle-cloudnative/oss/ingress-controller/2.nginx-ingress-path/ 공식 문서: https://kubernetes.github.io/ingress-nginx/examples/rewrite/ URL예시 : localhost/project 파드까지 통신확인 했으나 'http://localhost/project/index.html'을 벗어나질 못했다. rewrite로 'project' 후의 파라미터도 던져줘야한다. apiVersion: networking.k8s.io/v1 kind: Ingress metadata: annotations: nginx.ingress.kubernetes.io/rew.. 공감수 0 댓글수 0 2023. 11. 16.
[회고] SE : Hangup 원인 분석 (feat.이벤트뷰어) 회고보단 썰에 가깝다. 기 : 타부서 서버 행업 -> 기술지원팀으로 원인 분석 요청 -> (뇌피셜 시작)짬으로 거절 불가 -> 상사 본인이 잠깐 봤지만 로그 없어 분석 불가(뇌피셜 종료) 승: 이사원 업무 지시 -> 로그 없어 분석 실패 -> 김대리 토스 -> 김대리도 로그 없어 분석 실패 판단 전: 2주(대략) 시간 요청 -> 보고 전날까지 분석 실패 -> 퇴근 후 밤새 분석 성공 메일 전송 결: 출근 후 구두 보고 -> 약간 아쉬운 보고 -> 상황 종료 마무리: 주어진 일만 잘하면 사원/대리 그 이상 올라갈 수 없다. 시스템 엔지니어에게 공포 그 자체인 행업. 1. 기: 상황 발생 상사: 김대리. 서버 정보 줄테니까 행업 원인 분석 해줘. 이사원은 해결 못했으니 같이 해. 사원: 대리님.. 죄송해요.. 공감수 0 댓글수 0 2023. 11. 16.
[Python] ANN : XOR - 2 layer 구현하기 모델의 Forward, Backward 구현 import numpy as np class AffineFunction: def __init__(self): self.w = np.random.randn(2) self.b = np.random.randn() def forward(self, x): self.x = x z = np.dot(self.w, x) + self.b return z def backward(self, dJ_dz, LR): dz_dw = self.x dz_db = 1 dJ_dw = dJ_dz * dz_dw dJ_db = dJ_dz * dz_db self.w -= dJ_dw * LR self.b -= dJ_db * LR return dJ_dw class Sigmoid: def forward(se.. 공감수 0 댓글수 0 2023. 11. 16.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.