특정 작업을 하다 보면 db 에 data 를 일정 시간마다 update 하는 경우가 생긴다. 일반적으로 back up 같은 경우가 그렇고 daily 마다 reset 하는 table 들도 있을 수 있다. 이런경우 mysql 은 event 를 이용해 처리 한다. 아래 구문은 매 1분 마다 table 을 truncate 하는 구문이다. CREATE EVENT daily_truncate ON SCHEDULE EVERY 1 MINUTE STARTS CURRENT_TIMESTAMP ON COMPLETION PRESERVE DO BEGIN TRUNCATE TABLE your_table_name; END; 문제는 mysql 은 rdbms 이고 관계형 db 는 필연적으로 foreign key 를 갖게된다. 그러다 보니 ..

프로그래밍을 하다보면 일정시간에 정기적으로 실행되야 하는 process 가 존재한다. 이런 process 를 처리할때 여러가지 방법이 있다. 1. OS 에 특정 기능(scheduler, crontab 등등)을 이용한다. 2. language 의 도움을 받아 timer 로 구현한다. 3. 3rd party library 의 도움을 받는다. 오늘은 이 세가지 중에 3 번을 이용해 보려고 한다. Quartz.net 이라고 dotnet 용 scheduler library(framework) 이다. 우선 web api 의 간단한 project 를 만들고 project folder 로 이동하자 Quartz 를 설치하자 dotnet add package quartz.aspnetcore user 를 생성하는 api 가..

aws DynamoDB 도 동시성 충돌 문제가 생긴다. 여러 사용자가 사용하기 때문에 동시에 특정 data 에 접근하게 되고 이렇게 되면 동시성 충돌에 문제가 생긴다. 이제 그 문제를 해결 하는 방법을 알아보자 이전 강좌에서 data 를 저장하는 방법을 알아봤다. https://yogingang.tistory.com/479 AWS DynamoDB 를 이용한 data 저장 AWS 에는 KeyValue 기반의 NoSQL Data Service 가 있다. DynamoDB 라고 한다. .NET 에서 AWS DynamoDB 를 사용하여 Table 을 생성하고 CRUD 하는 간단한 app 을 만들어 보겠다. DynamoDB 를 이용하여 Programming 하는 방법에 yogingang.tistory.com 이 m..

AWS 에는 KeyValue 기반의 NoSQL Data Service 가 있다. DynamoDB 라고 한다. .NET 에서 AWS DynamoDB 를 사용하여 Table 을 생성하고 CRUD 하는 간단한 app 을 만들어 보겠다. DynamoDB 를 이용하여 Programming 하는 방법에는 여러가지가 있는데 .NET 에는 Document model 과 Object persistence model 이 있다. Document Model 장점 유연한 데이터 구조를 지원하며, JSON과 유사한 형식의 데이터를 저장할 수 있다. 풍부한 쿼리 기능을 제공하며, DynamoDB의 강력한 쿼리 및 검색 기능을 활용할 수 있다. 단점 좀더 많은 작업이 필요하고 좀더 불편하다. 데이터 일관성을 관리하는 데 어려움이 있..

DB 와 관련된 Transaction 처리를 하다 보면 동시성 충돌 이라는 문제를 접하게 된다. 오늘은 동시성 충돌이 무엇이고 EF Core 에서 어떻게 해결해야 하는지 알아보겠다. 데이터베이스에서 동시성 충돌은 동시에 여러 트랜잭션이 같은 데이터나 자원을 변경하려고 할 때 발생하는 문제이다. 이는 데이터베이스의 일관성과 무결성을 해치는 문제로, 데이터베이스 시스템에서 주의해야 할 중요한 측면 중 하나이다. 동시성 충돌은 주로 다음과 같은 상황에서 발생할 수 있다: 동시성 제어 문제: 여러 트랜잭션이 동시에 데이터를 읽거나 쓰는 경우 발생할 수 있다. 이때 한 트랜잭션이 데이터를 변경하고 있는 동안 다른 트랜잭션이 동일한 데이터를 변경하려고 하면 충돌이 발생한다. 교착 상태(Deadlock): 두 개 이..

Kafka 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산형 데이터 스트리밍 플랫폼이다. 하루에 1조 4천억 건의 메시지를 처리하기 위해 LinkedIn이 개발한 내부 시스템으로 시작했으나, 현재 이는 다양한 기업의 요구 사항을 지원하는 애플리케이션을 갖춘 오픈소스 데이터 스트리밍 솔루션이 되었다. 일단 요즘 같은 micro service (??) 환경 또는 대규모 데이터 처리가 필요한 상황에서 실시간으로 data 를 주고 받는 처리를 일반적인 tcp/ip 기반의 app 을 개발하여 처리하기에는 한계가 있다. 그래서 위와 같은 대용량에 특화된 솔루션을 이용하게 된다. Apache Kafka는 ZooKeeper라고 하는 컴포넌트들과 Cluster로 구성되어 있고 Kafka Cluste..