TechY

참조- chatgpt- https://gmlwjd9405.github.io/2018/09/14/process-vs-thread.html- https://ivdevlog.tistory.com/3- https://hhj6212.github.io/programming/python/2021/04/18/python-multi.html- https://velog.io/@wonhee010/%EB%8F%99%EA%B8%B0vs%EB%B9%84%EB%8F%99%EA%B8%B0-feat.-blocking-vs-non-blocking배우는 중이라 틀린 정보가 있을 수 있는데, 업데이트되는 공부 내용이 있으면 계속 고치겠습니다. 교정해주시면 감사하겠습니다..! (_ _) 목록1. CPU2. Core3. Process4. Th..

이번엔 도커 네트워크에 대해 정리해보려 한다. 도커 공식 docs와 블로그를 참고하였다. 도커 컨테이너는 서로 격리된 프로세스이기 때문에, 컨테이너 간 통신을 위해서는 docker network 옵션을 고려해야 한다. 도커 네트워크 드라이버는 아래와 같이 5가지가 존재한다. bridge : 하나의 호스트에서 여러 컨테이너가 통신 host : 컨테이너가 호스트의 네트워크 내에서 실행 (격리 x) overlay : 여러 호스트에서 분산되어 돌아가는 컨테이너 간 통신 macvlan : 컨테이너에 MAC 주소를 할당하여, 물리적 장치로 인식하게 함 none : 네트워크 완전 격리 이 중에서 default값이자 가장 많이 사용된다는 bridge driver 만 다뤄보도록 하겠다. 제일 처음으로 docker 의 d..

참고 자료 : https://forecasters.org/wp-content/uploads/gravity_forms/7-c6dd08fee7f0065037affb5b74fec20a/2017/07/Laptev_Nikolay_ISF2017.pdf https://eng.uber.com/monitoring-data-quality-at-scale/ https://eng.uber.com/neural-networks/ http://www.cs.columbia.edu/~lierranli/publications/TSW2017_paper.pdf 이번 포스팅에서는 파이프라인을 구축하기 위한 엔지니어링 요소보다는, 모델링에 대한 것을 다루려 한다. 두 가지 목적에 따른, 두 가지 모델에 대해서 이야기할 것이고 각각의 테스크는 ..

MlOps 에 관심을 가지게 된지 얼마 안된터라, 이분야가 대체 어떤 것이고 뭐부터 공부해야 할지 막막했던 차에, 구세주를 찾았으니 바로 Uber Engineering Blog 이다. 서비스를 제공하면서 그 과정에서 가졌던 이슈들과 프레임워크들을 공유해주는데, 실무에서 사용되는 다양한 기술들과 주요 이슈들을 체크하기에 너무 좋은 자료들이라 정리하려 한다. 정리는 한 source posting 당 또는 source posting의 주제를 나름대로 묶어서, 하나의 포스트로 짧게 정리해 가볍게 진행한다. Meet Michelangelo: Uber’s Machine Learning Platform [원글] 데이터 관리 파이프라인 요구 사항: 확장 가능 성능 우수 데이터 플로우와 품질 모니터링 지원 온라인, 오프..

첫 번째 정리에 이어서 두 번째 정리로 도커가 데이터를 관리하는 방법에 대해서 정리해보려 한다. 참고한 소스는 도커 공식 홈페이지의 docs를 보고 정리하였다. 기본적으로, 도커는 데이터를 writable layer 에 저장하기 때문에, container가 사라지면, 그 안에 있는 데이터도 함께 없어진다. 따라서, container 에서 저장한 데이터를 도커 호스트에 가져오기 위해서는, 마운트 옵션을 사용해야 하며, 이에 대한 유형은 아래와 같다. volume bind mount tmpfs mount 1. Volume 권장되는 마운트 유형으로, 위의 그림에서 보는 것과 같이, 호스트 파일 시스템에 도커 볼륨을 위한 경로가 따로 존재한다. 리눅스의 경우에는 "/var/lib/docker/volumes/" ..

mlops 를 키워드로 검색하면 가장 처음에 그리고 공통적으로 등장하는 친구가 있는데, 바로 도커이다. 도커가 뭘까 해서 설치해서 이것저것 해보다가, 좀 제대로 정리해야겠다 싶어서, 유튜브 freeCodeCamp.org 채널에 있는 도커 2시간 강의를 듣고 이해한 내용을 정리해본다. 추가적으로 글로 잘 정리된 블로그를 참고하였다. 도커는 컨테이너 기반의 오픈소스 가상화 플랫폼이다. 프로그램 별 독립된 환경을 제공해주고 이를 이미지화하여 어디든 옮기고 실행할 수 있게 하면서, 동일한 실행 환경을 보장한다. 비교 대상인 VM(virtual machine)과 비교하면서 좀 더 이해해보도록 하자. Share the underlying OS Kernel 운영 체제 OS 는 OS kernel (ex. Linux) ..