목록[개발 정리]/[data engineering] (3)
TechY
1. 함수 (Function)주요 목적: 값을 계산하고 반환특징:반드시 값을 반환해야 함SELECT 문 안에서 사용 가능데이터 수정 불가 (읽기만 가능)사용 시기 : 계산이 필요할 때SELECT 문에서 값을 변환할 때예: 환율 계산, 나이 계산-- 나이 계산 함수 예시CREATE FUNCTION fn_calculate_age(@birthDate DATE)RETURNS intASBEGIN RETURN DATEDIFF(YEAR, @birthDate, GETDATE())END-- 사용 예시SELECT dbo.fn_calculate_age('1990-01-01') as 나이2. 저장 프로시저 (Stored Procedure)주요 목적: 여러 작업을 수행하는 프로그램특징:값 반환이 선택적EXECUTE 또는 ..
참고 자료 : https://forecasters.org/wp-content/uploads/gravity_forms/7-c6dd08fee7f0065037affb5b74fec20a/2017/07/Laptev_Nikolay_ISF2017.pdf https://eng.uber.com/monitoring-data-quality-at-scale/ https://eng.uber.com/neural-networks/ http://www.cs.columbia.edu/~lierranli/publications/TSW2017_paper.pdf 이번 포스팅에서는 파이프라인을 구축하기 위한 엔지니어링 요소보다는, 모델링에 대한 것을 다루려 한다. 두 가지 목적에 따른, 두 가지 모델에 대해서 이야기할 것이고 각각의 테스크는 ..
MlOps 에 관심을 가지게 된지 얼마 안된터라, 이분야가 대체 어떤 것이고 뭐부터 공부해야 할지 막막했던 차에, 구세주를 찾았으니 바로 Uber Engineering Blog 이다. 서비스를 제공하면서 그 과정에서 가졌던 이슈들과 프레임워크들을 공유해주는데, 실무에서 사용되는 다양한 기술들과 주요 이슈들을 체크하기에 너무 좋은 자료들이라 정리하려 한다. 정리는 한 source posting 당 또는 source posting의 주제를 나름대로 묶어서, 하나의 포스트로 짧게 정리해 가볍게 진행한다. Meet Michelangelo: Uber’s Machine Learning Platform [원글] 데이터 관리 파이프라인 요구 사항: 확장 가능 성능 우수 데이터 플로우와 품질 모니터링 지원 온라인, 오프..