본문 바로가기

분류 전체보기101

[ML / Time series] Exponential Smoothing Forecasting principlaes and practice을 참조하여 작성하였다. 한 줄로 설명해보기 exponential smoothing: 미래 시계열 값을 이전 시계열 값들의 exponential weighted sum으로 표현하는 알고리즘이다. simple exponential smoothing: 트랜드와 계절성이 없는 시계열에 대해, 미래 시점의 모든 시계열을 현재 시점의 추정된 level로 동일하게 예측하는 알고리즘이다. holt's linear trend method: 계절성은 없고 트랜드가 있는 시계열에 대해, 미래 시점의 시계열을 시점이 멀어짐에 따라서 선형적으로 증가하는 형태로 예측하는 알고리즘이다. holt's saeasonal method: 계절성과 트랜드가 모두 있는 시계열.. 2023. 1. 2.
[Time series / Anomaly Detection / survey paper review] ANOMALY DETECTION IN UNIVARIATE TIME-SERIES: ASURVEY ON THE STATE-OF-THE-ART https://arxiv.org/pdf/2004.00433.pdf 서베이 페이퍼에 나온 방법론 통계모형 AR MA ARMA ARIMA SES DES/TES PCI ML K-Means clustering DBSCAN LOF Isolation forest One class support vector machine XGBoost DL MLP CNN Resnet Wavenet LSTM GRU Autoencoder 논문 구성 Basics 시계열 데이터에서 이상치를 탐지하는 것에 대한 개념이 다루어진다. 기초적인 내용을 단단히하는 과정이다. Selected anomaly detection approaches for time series 통계 방법 / ml / dl 카테고리를 대표하는 방법론들을 소개한다. Appr.. 2022. 12. 30.
[uber/anomaly detection] Implementing Model-Agnosticism in uber's real-time Anomaly detection platform https://www.uber.com/en-KR/blog/anomaly-detection/ Implementing Model-Agnosticism in Uber’s Real-Time Anomaly Detection Platform Uber Engineering extended our anomaly detection platform's ability to integrate new forecast models, allowing this critical on-call service to scale to meet more complex use cases. www.uber.com 개발 배경 기존에 uber에서는 argos라는 anomaly detection platform이 있었다. 처음에는 하나의 단일 모델을 .. 2022. 12. 7.
[Fluent Bit] #2 docker container을 활용한 INPUT 예시 https://steady-programming.tistory.com/26 [Fluent Bit] #1 Fluent Bit란? (feat. Fluentd 동생) 정리배경 입사 후 담당하게 된 두번째 프로젝트가 팀에서 사용하는 로깅 (Logging) 파이프라인을 재구성하는 것이었다. 사내에서 사용하는 로깅 시스템이 있었지만 아래 이유 때문에 재구성의 필 steady-programming.tistory.com 이전 포스팅에서 fluent bit에 대해 간략히 알아보았다. 이번 포스팅에서는 fluent bit 도커 이미지를 활용해서 다양한 INPUT, OUTPUT 파이프라인을 만들어 보겠다. 사용할 도커 이미지 fluent bit 공식 도커 이미지를 사용한다. https://hub.docker.com/r/fl.. 2022. 11. 21.
[Fluent Bit] #1 Fluent Bit란? (feat. Fluentd 동생) 정리배경 입사 후 담당하게 된 두번째 프로젝트가 팀에서 사용하는 로깅 (Logging) 파이프라인을 재구성하는 것이었다. 사내에서 사용하는 로깅 시스템이 있었지만 아래 이유 때문에 재구성의 필요성이 느껴졌다. 에러 메세지를 확인하는데 있어서 UI 상의 불편함 → ElasticSearch에 적재함으로써 검색의 용이성 확보 제한된 로그 메세지 형식으로만 로그를 적재할 수 있는 불편함 → json 형태의 메세지를 자유롭게 주고받을 수 있는 kafka를 중간 매개체로 사용 만약에 팀 차원에서 로깅 시스템을 직접 개발한다면, 이런 문제점을 개선할 수 있다고 판단하여 개발을 시작했고 그 가운데 사용한 기술 스텍은 아래와 같다. Fluent Bit Fluentd Kafka ElasticSearch 각 기술에 대해 컨.. 2022. 11. 20.
[Docker] #5 docker-compose 인프런 subicura님의 도커 기초 강의를 듣고 정리한 내용임을 미리 밝혀둡니다. 지난 포스팅에서는 docker run 명령어와 기타 다른 도커 명령어에 대해서 살펴보았다. 문득, 도커 명령어에 다양한 옵션이 있고 많은 옵션을 사용할 수록 docker run 명령어의 가독성이 떨어지지 않을까 싶었다. 예를 들어, 워드 프로세스를 도커 컨테이너를 띄우는 명령어는 아래와 같다. $ docker run -d -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD: wordpress \ -e MYSQL_DATABASE: wordpress \ -e MYSQL_USER: wordpress \ -e MYSQL_PASSWORD: wordpress \ --name mysql \ -v ./mysql:/var.. 2022. 11. 10.