For Engineering

!pip install AutoViz !pip install xlrd import warnings warnings.filterwarnings('ignore') import pandas as pd from autoviz.AutoViz_Class import AutoViz_Class AV = AutoViz_Class() # 데이터 불러오기 file = "csv 파일" df = pd.read_pickle(file) df.head() # AutoViz 실행 save_viz_dir = 'eda_viz' # 폴더 이름. chart_format 형식으로 저장될 파일 위치. dftc = AV.AutoViz(filename='', sep=',' , depVar='Attrition_Flag', # 타겟 데이터 컬럼명 df..

맥북 리소스 모니터링 툴이 많지만 이걸 선택 했다. 선택 이유 : 무료, 메뉴 막대에서 리소스 확인, 커스텀, 자동시작(?)... 사용 예시 https://github.com/exelban/stats/releases 설치방법 : Stats.dmg 다운로드&설치

swap 초기화 : swapoff -a && swapon -a 1. swapoff -a # swap에 데이터를 메모리로 옮기는 작업으로 다소 시간 소요됨 2. swapon -a 1번 성공 후 2번 진행 : swapoff -a && swapon -a

# root 진행 # swap 추가 설정 mkdir /swap dd if=/dev/zero of=/swap/swapfile count=8192 bs=1M # 파일 생성에 다소 시간 소요됨 chmod 600 /swap/swapfile mkswap /swap/swapfile swapon /swap/swapfile echo -e "/swap/swapfile swap swap defaults 0 0" >> /etc/fstab # swap off swapoff -a # 전체 swapoff /swap/swapfile # 파일명 지정 # swap 파일 삭제 # sudo cp /etc/fstab ~/fstab_bak # 백업 rm -rf /swap/swapfile sed -i -e '/swapfile/d' /etc/f..

리눅스 서버 캐시 비우기 : sudo sync && sudo sysctl -w vm.drop_caches=2 1. 캐시 비우기 전 동기화 작업 : sudo sync 2. 캐시비우기 : sudo sysctl -w vm.drop_caches=2 1번 성공 후 2번 진행 : sudo sync && sudo sysctl -w vm.drop_caches=2 drop_caches 옵션 상세 설명 링크 : https://www.kernel.org/doc/Documentation/sysctl/vm.txt drop_caches Writing to this will cause the kernel to drop clean caches, as well as reclaimable slab objects like dentries..

# 개인 메모장이므로 소스 버전과 사설IP 등 수정이 필요합니다.# 환경 : proxmox, VM(ubuntu 22.04.3)# 매우 의존한 자료... : https://tech.hostway.co.kr/2022/08/30/1374/ # OS 세팅# VM 생성 과정에 사용자를 'worker' 생성# 사용자(worker) sudo NOPASSWD 권한추가echo 'worker  ALL=(ALL) NOPASSWD:ALL' | sudo tee -a /etc/sudoers > /dev/null# 초기 패키지 설치sudo apt-get updatesudo apt-get install -y net-tools gcc vim sysstat ca-certificates curl gnupg apt-transport-htt..

출처 : 패캠 gitops Docs : https://docs.docker.com/engine/swarm/ 실습 환경 : https://training.play-with-docker.com/swarm-mode-intro/ Docker Swarm : kubernetes 와 같은 오케스트레이션이다. 추가 설치가 필요한게 아니라 도커 엔진의 swarm 모드 활성화로 구성 가능하다. docker info |grep Swarm # 활성화 조회 -> Swarm: inactive 학습 보류. 서비스 개발 후 돌아올 예정.

출처 : 패캠 gitops docker repo 설정 : https://docs.docker.com/engine/install/ubuntu/#install-using-the-repository compose plugin 설치 : https://docs.docker.com/compose/install/linux/ 패키지 설치 명령어 : sudo apt-get install docker-compose-plugin 수동 설치 : https://docs.docker.com/compose/install/linux/#install-the-plugin-manually 튜토리얼 : https://docs.docker.com/compose/gettingstarted/ environment variable : https:..

출처 : 패캠 gitops Dockerfile 기초 Dockerfile 정의 : 컨테이너의 구성정보를 프로비저닝한 텍스트 template 파일 Dockerfile 흐름 : Dockerfile -> docker build -> image registry(dockerhub) -> deploy docker image Dockerfile 명령어 : https://docs.docker.com/engine/reference/builder/ 빌드 명령어 : docker build -t IMAGE_NAME:TAG [-f DOCKERFILE_NAME] DOCKERFILE_LOCATION Dockerfile 최적화 : 경량의 컨테이너 서비스 제공 dockerfile 작성 고려 사항 : https://docs.docker...

출처 : 패캠 gitops https://docs.docker.com/storage/volumes/ 1. Bind mount 호스트에서 직접적인 관리된다. docker run ~~ -v /host-volume:/app ~~ docker run ~~ --mount type=bind,source=/host-volume ~~ # 리눅스 mount와 유사 예시1 : redis 설치에 config 파일에 패스워드를 설정하여 그 파일을 바인트 마운트 한다. 예시2 : 파일 투 파일로 연동. 시간동기화: /etc/localtime (Dockerfile로 설정이 편하긴함) 2. docker volume 도커의 볼륨 드라이버로 도커가 관리함.(도커에서 권장하는 방법) docker volume create my-volum..