Microsoft MVP성태의 닷넷 이야기
C# 함수의 processing time과 재호출 [링크 복사], [링크+제목 복사]
조회: 13421
글쓴 사람
힘찬도약 (kssjjw71 at hanmail.net)
홈페이지
첨부 파일
 

안녕하세요.

예를들어, TimerQueueCallBack함수가 10초마다 한번씩 불리도록 setting되어 있고,
이 함수 안에서 다음과 같은 일을 하는데... 함수 안의 시간이 10초이상이 걸릴 경우..
databuf[i]값들이 어떻게 되나요? 깨지는 건지요?

public static CircularFIFO<byte[]> cirQueue = new CircularFIFO<byte[]>(1000);
private void TimerQueueCallBack(object obj)
{
   byte[][] databuf = new byte[100][];
   if (cirQueue.Count > 0)
   {
       size = cirQueue.Count;
       for (int i = 0; i < size; i++ )
       {
          lock (cirQueue)
          {
              databuf[i] = cirQueue.Remove();
          }
       }

    for (int i = 0; i < size; i++)
    {
       WriteToDatabase(databuf[i], strConn_1);
       //Thread.Sleep(100);
       WriteToDatabase(databuf[i], strConn_2);
    }
}

예를들어 Queue에는 10개가 들어와서 lock을 걸어서 10개를 모두 deque해서 databuf[i]에 넣었는데,
for문을 돌면서 2개의 DB(로컬,원격)에 쓸때 (DB가 연결되어있지 않을경우, table 여러개를 insert or update등으로)
처음에는 빠르다가 1.5초 나중에는 15초 혹은 그 이상도 간혹 나오는 경우 DB에 다 쓰지도 못한 상황에서
10초마다 불리는 Timer callback함수인 TimerQueueCallBack()가 불리는 경우
이전 실행지점에서 정상적으로 DB에 쓰일까요? 아니면 데이터가 깨지나요?
(WriteToDatabase()함수 안에서도 여러가지 데이터들이 변수등으로 실행중...)

이럴땐 어떻게 해야하는지? 조언 부탁드립니다.
함수 전체를 lock을 걸고 하는 것은 말이 되는지요?
DB Connection timeout을 1초로는 줄수 있는데, 0.1초등으로 주려니까 프로그램 다운이 되더라구요..
strConn_1 = "...Pwd:1111"+" Connection Timeout=1";
혹시 연결되어있지 않은 DB를 conn.Open할때 걸리는 평균시간과 최대한 빨리 catch()처리하려면 어떻게 해야하는지요?
참고로, DB는 Mysql을 쓰고 있습니다.








[최초 등록일: ]
[최종 수정일: 11/11/2015]


비밀번호

댓글 작성자
 



2015-11-11 12시41분
우선, Timer 종류마다 틀립니다. 자신이 사용한 Timer가 어떤 종류인지 보시고, 시간이 지났을 때 콜백을 직렬화하는지 또는 무시하고 재진입을 하는지 테스트해보세요. (아니면, 웹에 비교자료가 많으니 참고하세요.)

재진입이 가능한 경우, 다중 스레드로부터의 접근을 안전하게 해야 합니다.

위의 코드를 보면, A 스레드가 cirQueue.Count로부터 5라는 값을 받고 context-switch되어 쉬는 가운데 B 스레드가 다시 5라는 값을 받고 for문으로 진입하면 Remove를 5번 하게 됩니다. 그 다음 A 스레드가 살아나서 다시 Remove 5번을 하게 되면 어떻게 될까요? 따라서 정적 q는 동기화를 잘해 주어야 합니다.

그리고 DB에 쓰는 것은 기본 연결문자열을 사용했다면 Connection Pool을 자동으로 쓰기 때문에 Open하는데 거의 시간이 걸리지 않습니다. (왜냐하면 이미 DB와 연결된 상태이므로.)


정성태
2015-11-11 01시06분
[힘찬도약] 이것을 System.Threading.Timer로 썼는데요...
이럴경우 타이머로 쓰지 않고 thread 하나로 돌게 하면서 ex)thread_A함수내에서 AutoResetEvent를 사용해서 시작할때 dequeue하고나서 wait()하고 thread_A함수 내에서 WriteToDatabase()함수를 호출하고나서 끝날때 set()해주면 다시 thread_A함수가 돌고 // 다시 시작해서 Q가 있으면 dequeue하고 없으면 wait()하고, dequeue다했으면 wait()하고.. WriteToDatabase()함수 끝나면 set()하고를 계속 반복해도 되는지요?
[guest]
2015-11-11 01시10분
[힘찬도약] 그런데, 제가 쓴 위의 댓글의 경로에서 WriteToDatabase()함수 끝나면 set()하더라도,
thread_A()함수 호출은 언제 어떻게 해야하는지요? (타이머를 써야 하나요? .. 제역량으로 참 어렵네요..)
[guest]
2015-11-11 01시16분
[힘찬도약] 참고로, TimerQueueCallBack()함수는 하나의 스레드에서만 호출합니다.(dequeue는 하나에서만) (현재는 10초마다 한번씩)
queue에 enque하는 것은 여러개의 스레드에서 하구요..
[guest]
2015-11-11 01시41분
고민하지 마시고, BlockingCollection을 쓰세요. ^^

BlockingCollection<T>의 간단한 예제 (1)
; http://devsw.tistory.com/143

그리고, "힘찬도약"님의 경우에는 코드를 작업에 바로 반영하지 마시고 작은 단위로 동작 원리를 테스트하면서 완성해 보세요. 도움이 되실 겁니다. ^^
정성태
2015-11-11 01시41분
[힘찬도약] 말이 되는지 모르겠는데요, 만약에 아래구문 전체를 lock을 거는 건 위험한가요?
AutoReset wait하고 끝나면 set하고 하는 거랑 의미는 비슷한것 같은데 차이가 있는지요?

for (int i = 0; i < size; i++)
{
   WriteToDatabase(databuf[i], strConn_1);
   //Thread.Sleep(100);
   WriteToDatabase(databuf[i], strConn_2);
}
[guest]
2015-11-11 02시09분
[ryujh] 안녕하세요.
바로 전의 댓글에서 참고로 말씀하신 것이 제가 보기에는 중요한 것 같습니다.

간단하게 큐의 기준에서
읽기는 TimerQueueCallBack() (스레드 하나, DB에 쓰기)
쓰기는 다른 여러 스레드

이라면 현재 문제는
다른 스레드가 큐에 쓰는 중에 큐의 데이터 깨짐 없이
TimerQueueCallBack() 에서 큐를 읽게하려는 것이 맞다면

제 생각으로는
TimerQueueCallBack() 에서는 큐에 직접 접근하지 않도록 해야할 것입니다.

또 TimerQueueCallBack() 에서 큐에 직접 접근하는 부분을 다른 메소드(예: NewMethod() 이름은 알아서...) 에서 담당하는 것입니다.

이 메소드(NewMethod())는 단일로 timer로 주기적으로 실행해주고
 큐 deque -> 다른 큐 enque 하고 다른 스레드가 큐에 enque 하는 것 처럼 lock 처리합니다.

TimerQueueCallBack() 에서는 다른 큐 -> DB 를 처리하는데
NewMethod()가 다른 큐에 enque 해주기 때문에 NewMethod() 처리가 끝난 뒤에
다른 큐 -> DB 를 해 주도록 순차적으로 처리해주면 되겠습니다.


TimerQueueCallBack()
{
while (true)
{
NewMethod() 가 끝났는지 체크

대기

다른 큐(원래 큐에서 deque 한 것) -> DB 입력
}
}

NewMethod() // 다른 스레드 처럼 주기적 호출, 별도 스레드 하나
{
다른 스레드와 마찬가지로 작성하되
큐에 enque 가 아닌 큐에서 deque 하고 다른 큐에 enque 함.
}


감사합니다.
[guest]
2015-11-11 02시47분
[ryujh] 수정한 TimerQueueCallBack() 는 이제 타이머를 사용하지 않고 1회 호출 하고 무한루프입니다.
NewMethod() 는 기존 TimerQueueCallBack() 처럼 10초마다 호출입니다. 큐 deque -> 다른 큐 enque 는 10초 이내 수행 될 것입니다.

큐를 기준으로 읽기(peek 또는 deque), 쓰기(enque) 에 따라 함수를 분리한 것이 주제입니다.

감사합니다.
[guest]
2015-11-11 05시14분
[힘찬도약] thread함수를 만들어서 ThreadQueueControl()라하면, 이 함수 안에서
while(_isRunning)
{
  lock (cirQueue)
  {
     while (cirQueue.Count > 0)
     {
        byte[] buf = cirQueue.Dequeue();
     }
   }
   
   longtimejob(buf);

   Thread.Sleep(1000);
}

이렇게 구성하면 buf[]가 깨지지 않을까요?

본 thread함수의 처음부터 끝까지 방해받지 않고 처리하고 1초 후에 다시 체크해서 있으면 처리하고 다시 1초 후에 체크해서 처리하고... 이게 가능할까요?
[guest]
2015-11-11 05시35분
[ryujh] while(_isRunning)
 {
   lock (cirQueue)
   {
      while (cirQueue.Count > 0)
      {
         byte[] buf = cirQueue.Dequeue();
         longtimejob(buf); // 아마도 다른 큐에 enqueue 하는 것으로 생각됩니다.
      }
    }
    // longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
    //longtimejob(buf); // 여기서 하면 안되어서 주석
    
   Thread.Sleep(1000);
 }
 
이렇게 하는 것은 어떨지요?

감사합니다.
[guest]
2015-11-11 05시41분
[ryujh] longtimejob 이 DB 작업이라면 buf 받지 않고
함수내에서 다른 큐를 참조하여
dequeue -> DB 하면 되겠습니다.

while 루프의 lock 안에서는

byte[] buf = cirQueue.Dequeue();
// 여기에 다른 큐에 enqueue 하는 메소드
method(buf);

method는 원래 큐 dequeue -> 다른 큐에 enqueue 해주는 것입니다.

감사합니다.

[guest]
2015-11-11 05시44분
[힘찬도약] longtimejob(buf); 은 buf에 있는 데이터를 2개의 DB에 insert하는 함수인데요..
여기서 바로 하면 안되는 이유가 무엇인지요?

// longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
//longtimejob(buf); // 여기서 하면 안되어서 주석

[guest]
2015-11-11 05시55분
[ryujh] 제가 수정한것만 알려드려서 잘못전달된 것 같습니다.
다시 정리합니다. 참고하십시오.

while(_isRunning)
  {
    lock (cirQueue)
    {
       while (cirQueue.Count > 0)
       {
          byte[] buf = cirQueue.Dequeue();
          method(buf); // 다른 큐에 enqueue 합니다.
       }
     }
     longtimejob(); // buf를 넘기지 않고 다른 큐에서 dequeue 하여 DB에 insert하도록 수정. 함수 매개변수 변경하지 않는다면 longtimejob(null);
     
    Thread.Sleep(1000);
  }
 
감사합니다.

[guest]
2015-11-11 07시30분
[힘찬도약] 진심어린 조언 항상 감사합니다. [ryujh]님 고맙습니다.
따로 테스트 프로그램을 만들어서 테스트하고 적용하니 한결 도움이 됩니다.
[guest]

... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...
NoWriterDateCnt.TitleFile(s)
5040농상8/14/20188480정규표현식에 대해서 [3]
5039유영태8/14/201810034비동기 소켓사용후 해당 스레드가 남아있을때 처리 방법 [4]파일 다운로드1
5038이정석8/9/20188213서버파일 로컬파일 비교 [2]
5037jjh8/8/201811622c# 으로 화면캡쳐해서 동영상으로 만드는앱을 만들고싶습니다 [6]
5036볼딱지8/8/20189434C# programming 개발 관련 질문이 있습니다. [1]
5035궁금합니...8/8/201810123C# 버전 고민 어떤 책을 사야하나요? [1]
5034신동열8/8/20188467덤프 파일 분석 관련해서 문의 드려요. [1]
5033최규성8/7/201810568C# WinForm, Oracle 9i 로 프로그래밍시 ODP.NET, 배포 설정 방법 질문입니다. [6]
5032이정석8/6/201812420C# 으로 만들 dll 등록 [7]
5031J.S.8/6/20188073System.Array class의 구조에 대한 질문 [1]
5030농상8/4/20188600람다 식을 이용한 메서드 정의 확대를 공부하고 있습니다. [2]
5029Soul...8/3/20188090C# ActiveX 컨트롤 질문드립니다. [4]
5028도토리8/1/20188601혹시 회사에서 TFS 구축시 SQL-Server 라이선스 정책 아시는분 계신지요? [2]
5027농상7/31/20189435Freachable Queue의 발음을 표기하면 어떨까요? [2]
5026농상7/31/201811926소멸자의 이름에 대해서 [2]
5025김기철7/30/20189380selenium 질문좀 드릴개요 [3]
5024농상7/29/20188618패턴 매칭 when에 대해서 질문있습니다. [2]
5023농상7/28/201811611패턴매칭에 대해서 질문 있습니다. [1]
5022농상7/28/20188634튜플에 대해서 건의가 있습니다. [1]
5021농상7/27/20188138예외필터에 대해서 질문이요 [4]
5020농상7/27/201811026null 조건 연산자 예제에서 잠깐 혼동이 일어났습니다. [1]
5019농상7/26/201813353오버플로우와 언더플로우 [2]
5018이재윤7/26/20189736정말 간단한 질문일 수 있는데요! [1]
5017나나7/24/201813234Stopwatch.ElapsedTicks와 Stopwatch.ElapsedMilliseconds [9]
5015지누7/18/201810191ASP.Net Core 를 안드로이드에서 작동하는게 가능한가요? [1]
5016지누7/19/20187360    답변글 [답변]: ASP.Net Core 를 안드로이드에서 작동하는게 가능한가요?
... 31  32  [33]  34  35  36  37  38  39  40  41  42  43  44  45  ...