Microsoft MVP성태의 닷넷 이야기
C# 함수의 processing time과 재호출 [링크 복사], [링크+제목 복사]
조회: 6715
글쓴 사람
힘찬도약 (kssjjw71 at hanmail.net)
홈페이지
첨부 파일
 
안녕하세요.

예를들어, TimerQueueCallBack함수가 10초마다 한번씩 불리도록 setting되어 있고,
이 함수 안에서 다음과 같은 일을 하는데... 함수 안의 시간이 10초이상이 걸릴 경우..
databuf[i]값들이 어떻게 되나요? 깨지는 건지요?

public static CircularFIFO<byte[]> cirQueue = new CircularFIFO<byte[]>(1000);
private void TimerQueueCallBack(object obj)
{
   byte[][] databuf = new byte[100][];
   if (cirQueue.Count > 0)
   {
       size = cirQueue.Count;
       for (int i = 0; i < size; i++ )
       {
          lock (cirQueue)
          {
              databuf[i] = cirQueue.Remove();
          }
       }

    for (int i = 0; i < size; i++)
    {
       WriteToDatabase(databuf[i], strConn_1);
       //Thread.Sleep(100);
       WriteToDatabase(databuf[i], strConn_2);
    }
}

예를들어 Queue에는 10개가 들어와서 lock을 걸어서 10개를 모두 deque해서 databuf[i]에 넣었는데,
for문을 돌면서 2개의 DB(로컬,원격)에 쓸때 (DB가 연결되어있지 않을경우, table 여러개를 insert or update등으로)
처음에는 빠르다가 1.5초 나중에는 15초 혹은 그 이상도 간혹 나오는 경우 DB에 다 쓰지도 못한 상황에서
10초마다 불리는 Timer callback함수인 TimerQueueCallBack()가 불리는 경우
이전 실행지점에서 정상적으로 DB에 쓰일까요? 아니면 데이터가 깨지나요?
(WriteToDatabase()함수 안에서도 여러가지 데이터들이 변수등으로 실행중...)

이럴땐 어떻게 해야하는지? 조언 부탁드립니다.
함수 전체를 lock을 걸고 하는 것은 말이 되는지요?
DB Connection timeout을 1초로는 줄수 있는데, 0.1초등으로 주려니까 프로그램 다운이 되더라구요..
strConn_1 = "...Pwd:1111"+" Connection Timeout=1";
혹시 연결되어있지 않은 DB를 conn.Open할때 걸리는 평균시간과 최대한 빨리 catch()처리하려면 어떻게 해야하는지요?
참고로, DB는 Mysql을 쓰고 있습니다.






[최초 등록일: ]
[최종 수정일: 11/11/2015 ]


비밀번호

댓글 쓴 사람
 



2015-11-11 12시41분
우선, Timer 종류마다 틀립니다. 자신이 사용한 Timer가 어떤 종류인지 보시고, 시간이 지났을 때 콜백을 직렬화하는지 또는 무시하고 재진입을 하는지 테스트해보세요. (아니면, 웹에 비교자료가 많으니 참고하세요.)

재진입이 가능한 경우, 다중 스레드로부터의 접근을 안전하게 해야 합니다.

위의 코드를 보면, A 스레드가 cirQueue.Count로부터 5라는 값을 받고 context-switch되어 쉬는 가운데 B 스레드가 다시 5라는 값을 받고 for문으로 진입하면 Remove를 5번 하게 됩니다. 그 다음 A 스레드가 살아나서 다시 Remove 5번을 하게 되면 어떻게 될까요? 따라서 정적 q는 동기화를 잘해 주어야 합니다.

그리고 DB에 쓰는 것은 기본 연결문자열을 사용했다면 Connection Pool을 자동으로 쓰기 때문에 Open하는데 거의 시간이 걸리지 않습니다. (왜냐하면 이미 DB와 연결된 상태이므로.)


정성태
2015-11-11 01시06분
[힘찬도약] 이것을 System.Threading.Timer로 썼는데요...
이럴경우 타이머로 쓰지 않고 thread 하나로 돌게 하면서 ex)thread_A함수내에서 AutoResetEvent를 사용해서 시작할때 dequeue하고나서 wait()하고 thread_A함수 내에서 WriteToDatabase()함수를 호출하고나서 끝날때 set()해주면 다시 thread_A함수가 돌고 // 다시 시작해서 Q가 있으면 dequeue하고 없으면 wait()하고, dequeue다했으면 wait()하고.. WriteToDatabase()함수 끝나면 set()하고를 계속 반복해도 되는지요?
[손님]
2015-11-11 01시10분
[힘찬도약] 그런데, 제가 쓴 위의 댓글의 경로에서 WriteToDatabase()함수 끝나면 set()하더라도,
thread_A()함수 호출은 언제 어떻게 해야하는지요? (타이머를 써야 하나요? .. 제역량으로 참 어렵네요..)
[손님]
2015-11-11 01시16분
[힘찬도약] 참고로, TimerQueueCallBack()함수는 하나의 스레드에서만 호출합니다.(dequeue는 하나에서만) (현재는 10초마다 한번씩)
queue에 enque하는 것은 여러개의 스레드에서 하구요..
[손님]
2015-11-11 01시41분
고민하지 마시고, BlockingCollection을 쓰세요. ^^

BlockingCollection<T>의 간단한 예제 (1)
; http://devsw.tistory.com/143

그리고, "힘찬도약"님의 경우에는 코드를 작업에 바로 반영하지 마시고 작은 단위로 동작 원리를 테스트하면서 완성해 보세요. 도움이 되실 겁니다. ^^
정성태
2015-11-11 01시41분
[힘찬도약] 말이 되는지 모르겠는데요, 만약에 아래구문 전체를 lock을 거는 건 위험한가요?
AutoReset wait하고 끝나면 set하고 하는 거랑 의미는 비슷한것 같은데 차이가 있는지요?

for (int i = 0; i < size; i++)
{
   WriteToDatabase(databuf[i], strConn_1);
   //Thread.Sleep(100);
   WriteToDatabase(databuf[i], strConn_2);
}
[손님]
2015-11-11 02시09분
[ryujh] 안녕하세요.
바로 전의 댓글에서 참고로 말씀하신 것이 제가 보기에는 중요한 것 같습니다.

간단하게 큐의 기준에서
읽기는 TimerQueueCallBack() (스레드 하나, DB에 쓰기)
쓰기는 다른 여러 스레드

이라면 현재 문제는
다른 스레드가 큐에 쓰는 중에 큐의 데이터 깨짐 없이
TimerQueueCallBack() 에서 큐를 읽게하려는 것이 맞다면

제 생각으로는
TimerQueueCallBack() 에서는 큐에 직접 접근하지 않도록 해야할 것입니다.

또 TimerQueueCallBack() 에서 큐에 직접 접근하는 부분을 다른 메소드(예: NewMethod() 이름은 알아서...) 에서 담당하는 것입니다.

이 메소드(NewMethod())는 단일로 timer로 주기적으로 실행해주고
 큐 deque -> 다른 큐 enque 하고 다른 스레드가 큐에 enque 하는 것 처럼 lock 처리합니다.

TimerQueueCallBack() 에서는 다른 큐 -> DB 를 처리하는데
NewMethod()가 다른 큐에 enque 해주기 때문에 NewMethod() 처리가 끝난 뒤에
다른 큐 -> DB 를 해 주도록 순차적으로 처리해주면 되겠습니다.


TimerQueueCallBack()
{
while (true)
{
NewMethod() 가 끝났는지 체크

대기

다른 큐(원래 큐에서 deque 한 것) -> DB 입력
}
}

NewMethod() // 다른 스레드 처럼 주기적 호출, 별도 스레드 하나
{
다른 스레드와 마찬가지로 작성하되
큐에 enque 가 아닌 큐에서 deque 하고 다른 큐에 enque 함.
}


감사합니다.
[손님]
2015-11-11 02시47분
[ryujh] 수정한 TimerQueueCallBack() 는 이제 타이머를 사용하지 않고 1회 호출 하고 무한루프입니다.
NewMethod() 는 기존 TimerQueueCallBack() 처럼 10초마다 호출입니다. 큐 deque -> 다른 큐 enque 는 10초 이내 수행 될 것입니다.

큐를 기준으로 읽기(peek 또는 deque), 쓰기(enque) 에 따라 함수를 분리한 것이 주제입니다.

감사합니다.
[손님]
2015-11-11 05시14분
[힘찬도약] thread함수를 만들어서 ThreadQueueControl()라하면, 이 함수 안에서
while(_isRunning)
{
  lock (cirQueue)
  {
     while (cirQueue.Count > 0)
     {
        byte[] buf = cirQueue.Dequeue();
     }
   }
   
   longtimejob(buf);

   Thread.Sleep(1000);
}

이렇게 구성하면 buf[]가 깨지지 않을까요?

본 thread함수의 처음부터 끝까지 방해받지 않고 처리하고 1초 후에 다시 체크해서 있으면 처리하고 다시 1초 후에 체크해서 처리하고... 이게 가능할까요?
[손님]
2015-11-11 05시35분
[ryujh] while(_isRunning)
 {
   lock (cirQueue)
   {
      while (cirQueue.Count > 0)
      {
         byte[] buf = cirQueue.Dequeue();
         longtimejob(buf); // 아마도 다른 큐에 enqueue 하는 것으로 생각됩니다.
      }
    }
    // longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
    //longtimejob(buf); // 여기서 하면 안되어서 주석
    
   Thread.Sleep(1000);
 }
 
이렇게 하는 것은 어떨지요?

감사합니다.
[손님]
2015-11-11 05시41분
[ryujh] longtimejob 이 DB 작업이라면 buf 받지 않고
함수내에서 다른 큐를 참조하여
dequeue -> DB 하면 되겠습니다.

while 루프의 lock 안에서는

byte[] buf = cirQueue.Dequeue();
// 여기에 다른 큐에 enqueue 하는 메소드
method(buf);

method는 원래 큐 dequeue -> 다른 큐에 enqueue 해주는 것입니다.

감사합니다.

[손님]
2015-11-11 05시44분
[힘찬도약] longtimejob(buf); 은 buf에 있는 데이터를 2개의 DB에 insert하는 함수인데요..
여기서 바로 하면 안되는 이유가 무엇인지요?

// longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
//longtimejob(buf); // 여기서 하면 안되어서 주석

[손님]
2015-11-11 05시55분
[ryujh] 제가 수정한것만 알려드려서 잘못전달된 것 같습니다.
다시 정리합니다. 참고하십시오.

while(_isRunning)
  {
    lock (cirQueue)
    {
       while (cirQueue.Count > 0)
       {
          byte[] buf = cirQueue.Dequeue();
          method(buf); // 다른 큐에 enqueue 합니다.
       }
     }
     longtimejob(); // buf를 넘기지 않고 다른 큐에서 dequeue 하여 DB에 insert하도록 수정. 함수 매개변수 변경하지 않는다면 longtimejob(null);
     
    Thread.Sleep(1000);
  }
 
감사합니다.

[손님]
2015-11-11 07시30분
[힘찬도약] 진심어린 조언 항상 감사합니다. [ryujh]님 고맙습니다.
따로 테스트 프로그램을 만들어서 테스트하고 적용하니 한결 도움이 됩니다.
[손님]

... 16  17  18  19  20  21  22  23  24  25  26  [27]  28  29  30  ...
NoWriterDateCnt.TitleFile(s)
3665김치사발면12/14/20156408C# 템플릿 설정이 이상해요ㅜㅜ [3]파일 다운로드1
3664KuLu12/10/20154499멀정하던 사이트 중 일부메뉴가 응답없음이 되어버립니다. [3]
3663Sungwoo Park12/10/20155511UWP 서버 프로그래밍 작업 중 [5]
3662Sungwoo Park12/9/20155294uwp앱에서 접속한 클라이언트 주소값을 받아서 표시하고 싶은데 어떤 메소드를 써야 할까요? [7]
3661김무진12/9/20155012Oracle 환경에서 데이터를 조회할때 한글이 ? 이렇게 표시가됩니다. [1]
3660질문자12/7/20156592OpenFileDialog 호출시 hang걸리는 문제 [4]
3659Sungwoo Park12/4/20155673UWP 앱에서 textBox로 클라에서 받은 값을 나타내고 싶은데 안되고 있습니다. [5]
3658강준12/3/20155771Visual Studio (Xamarin) vs Eclipse [2]
3656DEVYHJ12/1/20154250MasterPageFile 사용시 다국어 처리 질문입니다. [1]
3653DEVYHJ11/26/20155586ds:Signature 질문입니다. [7]
3654윤용한11/27/20155031    답변글 [답변]: ds:Signature 질문입니다. [3]
3657윤용한12/1/20156480    답변글 [답변]: ds:Signature 질문입니다. [1]
3651노태현11/20/201511652MariaDB - ASP.NET오류의 원인조차 못 찾고 있습니다.. [2]파일 다운로드2
3652노태현11/20/20155630    답변글 [답변]: MariaDB - ASP.NET오류의 원인조차 못 찾고 있습니다.. [3]
3649kokon11/17/20155749예제 파일 실행이 안 되네요 [5]
3647Sanghoon Lee11/15/20154455Part 3 목차? [5]
3646힘찬도약11/13/20157290c# mscorlib System.IO IOException [8]파일 다운로드2
3644힘찬도약11/11/20157152c# user.config파일 [2]
3645spowner11/13/20155279    답변글 [답변]: c# user.config파일 - Json.NET을 이용한 설정파일 처리 [1]파일 다운로드1
3643힘찬도약11/11/20156715C# 함수의 processing time과 재호출 [14]
3642.net11/10/20155548c# 으로 작성된 com+ 에 대한 문제입니다. [2]
3641힘참도약11/9/20155994c# log file 관련해서 질문드립니다. [5]
3638윤창선11/4/20155781사설IP가 부여된 무선라우터간 영상전송 관련 문의 [8]
3634Hyun Su An11/2/20154629c# 에서 webkit browser에서 webgl을 이용하는 사이트에 접속이 안됩니다. [1]
3633힘찬도약10/31/20154927mysql insert where not exists [6]
3632힘찬도약10/27/20155454C# Lock 관련해서 질문드립니다. [6]
... 16  17  18  19  20  21  22  23  24  25  26  [27]  28  29  30  ...