For Engineering

환경 OS: Ubuntu server 22.04 GPU: 4060ti 16gb Get the Code git clone https://github.com/ggerganov/llama.cpp.git; cd llama.cpp Build 상세 내용: https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build make LLAMA_OPENBLAS=1 CLI로 로컬에 다운로드 모델 다운로드: https://huggingface.co/docs/huggingface_hub/ko/guides/download#download-from-the-cli 굵은 글씨는 수정해서 사용. huggingface-cli download yanolja/KoSOLAR-10.7B-v0.1..

nginx -> streamlit 프록시 설정. 추후 streamlit 서버를 도커로 올리고, k8s에서까지 구동 되도록... 노력할 예정... 최상단?에 있는 nginx 정방향 프록시 설정 server { listen 80; server_name llama.sample.site; # HTTP에서 HTTPS로 리다이렉션 return 301 https://$host$request_uri; } server { listen 443 ssl; server_name llama.sample.site; ssl_certificate /etc/letsencrypt/live/sample.site/fullchain.pem; ssl_certificate_key /etc/letsencrypt/sample.site/privkey...

참고글: https://zsoo.net/post/2022-05-16-proxmox-gpu-passthrough.html공식링크 : https://pve.proxmox.com/wiki/PCI_Passthroughhttps://blog.quindorian.org/2018/03/building-a-2u-amd-ryzen-server-proxmox-gpu-passthrough.html/  PVE 설정# vi /etc/default/grubGRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on intel_iommu=pt pcie_acs_override=downstream,multifunction nofb video=efifb:off vga=off"# amdGRUB_CMDLINE_L..

개인 메모장... colab에서 개인 리포에 사본 저장하는건 쉽다. Organization 에 사본 저장하는건 자료가 많지 않다. 순서 : Organization - Setting - Applications - Authorized OAuth Apps

대상 : NVIDIA GeForce GTX 1650 python & conda : https://www.anaconda.com/download # python 실행시 MS WindowsApps 으로 실행되어 환경변수 WindosApps 의 순서를 맨 아래로 변경. CUDA : https://developer.nvidia.com/cuda-downloads cuDNN : https://developer.nvidia.com/rdp/cudnn-archive CUDA install 가이드 : https://docs.nvidia.com/cuda/cuda-installation-guide-microsoft-windows/index.html 이해도가 낮아 'CUDA', 'cuDNN' 설치 후 가이드로 진행함. # ht..

https://www.amyuni.com/forum/viewtopic.php?t=3030 AnyDesk 는 모니터가 연결되어 있어야 연결 가능하다. DP케이블로 연결된 모니터가 전원이 끈 경우 디스플레이 연결이 끊긴 걸로 인식된다. (HDMI 쓰자..) 가상 모니터를 생성하여 AnyDesk 연결이 가능하게 한다. 가상 모니터 생성 1. 다운로드 : https://www.amyuni.com/downloads/usbmmidd_v2.zip 2. 폴더이동 : 삭제될 위험이 없는 곳. 예시) c:\temp\usbmmidd_v2 3. 설치 : 관리자 권한 - c:\temp\usbmmidd_v2 4. (선택사항)예약스케줄러 등록 4-1. taskschd.msc 4-2. 기본 작업 만들기 4-3. '사용자의 로그온 여..

# 진행중 windows10 openssh : https://learn.microsoft.com/ko-kr/windows-server/administration/openssh/openssh_install_firstuse?tabs=gui AnyDesk : https://support.anydesk.com/ko/knowledge/tcp-tunneling 고려사항 TCP 터널링은 SMB 인증 프로토콜에 따라 다릅니다. -> 한국통신사에서 SMB 프로토콜 통신을 차단한다. 외부네트워크를 이용할 경우 테스트 필요. 목표 로컬 -> 원격 ssh 로그인 및 vscode 원격 접속 원격 호스트의 네트워크 관리자 권한이 없어 포트포워딩 사용 불가. 원격 호스트 : Windows10 로컬 호스트 : MacOS 설정 1. ..

환경 및 설치 환경: ubuntu 22.04, 관리자권한 apt install certbot add-apt-repository ppa:certbot/certbot apt install python3-certbot-nginx 인증서 발급 certbot certonly --nginx -d mysite.site -d www.mysite.site -d kubeflow.mysite.site 다수 도메인 사용 가능 nginx 설정 nginx 설정 참고 : http://nginx.org/en/docs/http/ngx_http_core_module.html server_name : 모든 $host 는 k8s에서 운영중이므로 명시하지 않음 resolver: 'no resolver defined to resolve' 등..

ConvBlock import torch import torch.nn as nn class ConvBlock(nn.Module): def __init__(self, in_channels, out_channels, kernel_size, padding=0, stride=1): super(ConvBlock, self).__init__() self.layers = nn.Sequential( nn.Conv2d(in_channels=in_channels, out_channels=out_channels, kernel_size=kernel_size, padding=padding, stride=stride), nn.ReLU() ) def __call__(self, x): x = self.layers(x) return ..

참고자료 : https://pytorch.kr/hub/pytorch_vision_vgg/ 모델 구성 class VGG11(nn.Module): def __init__(self): super(VGG11, self).__init__() self.conv1 = nn.Sequential( nn.Conv2d(in_channels=3, out_channels=64, padding=1, kernel_size=3), nn.ReLU(), nn.MaxPool2d(kernel_size=2, padding=0, stride=2) ) self.conv2 = nn.Sequential( nn.Conv2d(in_channels=64, out_channels=128, padding=1, kernel_size=3), nn.ReLU(),..