Microsoft MVP성태의 닷넷 이야기
C# 함수의 processing time과 재호출 [링크 복사], [링크+제목 복사],
조회: 20172
글쓴 사람
힘찬도약 (kssjjw71 at hanmail.net)
홈페이지
첨부 파일
 

안녕하세요.

예를들어, TimerQueueCallBack함수가 10초마다 한번씩 불리도록 setting되어 있고,
이 함수 안에서 다음과 같은 일을 하는데... 함수 안의 시간이 10초이상이 걸릴 경우..
databuf[i]값들이 어떻게 되나요? 깨지는 건지요?

public static CircularFIFO<byte[]> cirQueue = new CircularFIFO<byte[]>(1000);
private void TimerQueueCallBack(object obj)
{
   byte[][] databuf = new byte[100][];
   if (cirQueue.Count > 0)
   {
       size = cirQueue.Count;
       for (int i = 0; i < size; i++ )
       {
          lock (cirQueue)
          {
              databuf[i] = cirQueue.Remove();
          }
       }

    for (int i = 0; i < size; i++)
    {
       WriteToDatabase(databuf[i], strConn_1);
       //Thread.Sleep(100);
       WriteToDatabase(databuf[i], strConn_2);
    }
}

예를들어 Queue에는 10개가 들어와서 lock을 걸어서 10개를 모두 deque해서 databuf[i]에 넣었는데,
for문을 돌면서 2개의 DB(로컬,원격)에 쓸때 (DB가 연결되어있지 않을경우, table 여러개를 insert or update등으로)
처음에는 빠르다가 1.5초 나중에는 15초 혹은 그 이상도 간혹 나오는 경우 DB에 다 쓰지도 못한 상황에서
10초마다 불리는 Timer callback함수인 TimerQueueCallBack()가 불리는 경우
이전 실행지점에서 정상적으로 DB에 쓰일까요? 아니면 데이터가 깨지나요?
(WriteToDatabase()함수 안에서도 여러가지 데이터들이 변수등으로 실행중...)

이럴땐 어떻게 해야하는지? 조언 부탁드립니다.
함수 전체를 lock을 걸고 하는 것은 말이 되는지요?
DB Connection timeout을 1초로는 줄수 있는데, 0.1초등으로 주려니까 프로그램 다운이 되더라구요..
strConn_1 = "...Pwd:1111"+" Connection Timeout=1";
혹시 연결되어있지 않은 DB를 conn.Open할때 걸리는 평균시간과 최대한 빨리 catch()처리하려면 어떻게 해야하는지요?
참고로, DB는 Mysql을 쓰고 있습니다.








[최초 등록일: ]
[최종 수정일: 11/11/2015]


비밀번호

댓글 작성자
 



2015-11-11 12시41분
우선, Timer 종류마다 틀립니다. 자신이 사용한 Timer가 어떤 종류인지 보시고, 시간이 지났을 때 콜백을 직렬화하는지 또는 무시하고 재진입을 하는지 테스트해보세요. (아니면, 웹에 비교자료가 많으니 참고하세요.)

재진입이 가능한 경우, 다중 스레드로부터의 접근을 안전하게 해야 합니다.

위의 코드를 보면, A 스레드가 cirQueue.Count로부터 5라는 값을 받고 context-switch되어 쉬는 가운데 B 스레드가 다시 5라는 값을 받고 for문으로 진입하면 Remove를 5번 하게 됩니다. 그 다음 A 스레드가 살아나서 다시 Remove 5번을 하게 되면 어떻게 될까요? 따라서 정적 q는 동기화를 잘해 주어야 합니다.

그리고 DB에 쓰는 것은 기본 연결문자열을 사용했다면 Connection Pool을 자동으로 쓰기 때문에 Open하는데 거의 시간이 걸리지 않습니다. (왜냐하면 이미 DB와 연결된 상태이므로.)


정성태
2015-11-11 01시06분
[힘찬도약] 이것을 System.Threading.Timer로 썼는데요...
이럴경우 타이머로 쓰지 않고 thread 하나로 돌게 하면서 ex)thread_A함수내에서 AutoResetEvent를 사용해서 시작할때 dequeue하고나서 wait()하고 thread_A함수 내에서 WriteToDatabase()함수를 호출하고나서 끝날때 set()해주면 다시 thread_A함수가 돌고 // 다시 시작해서 Q가 있으면 dequeue하고 없으면 wait()하고, dequeue다했으면 wait()하고.. WriteToDatabase()함수 끝나면 set()하고를 계속 반복해도 되는지요?
[guest]
2015-11-11 01시10분
[힘찬도약] 그런데, 제가 쓴 위의 댓글의 경로에서 WriteToDatabase()함수 끝나면 set()하더라도,
thread_A()함수 호출은 언제 어떻게 해야하는지요? (타이머를 써야 하나요? .. 제역량으로 참 어렵네요..)
[guest]
2015-11-11 01시16분
[힘찬도약] 참고로, TimerQueueCallBack()함수는 하나의 스레드에서만 호출합니다.(dequeue는 하나에서만) (현재는 10초마다 한번씩)
queue에 enque하는 것은 여러개의 스레드에서 하구요..
[guest]
2015-11-11 01시41분
고민하지 마시고, BlockingCollection을 쓰세요. ^^

BlockingCollection<T>의 간단한 예제 (1)
; http://devsw.tistory.com/143

그리고, "힘찬도약"님의 경우에는 코드를 작업에 바로 반영하지 마시고 작은 단위로 동작 원리를 테스트하면서 완성해 보세요. 도움이 되실 겁니다. ^^
정성태
2015-11-11 01시41분
[힘찬도약] 말이 되는지 모르겠는데요, 만약에 아래구문 전체를 lock을 거는 건 위험한가요?
AutoReset wait하고 끝나면 set하고 하는 거랑 의미는 비슷한것 같은데 차이가 있는지요?

for (int i = 0; i < size; i++)
{
   WriteToDatabase(databuf[i], strConn_1);
   //Thread.Sleep(100);
   WriteToDatabase(databuf[i], strConn_2);
}
[guest]
2015-11-11 02시09분
[ryujh] 안녕하세요.
바로 전의 댓글에서 참고로 말씀하신 것이 제가 보기에는 중요한 것 같습니다.

간단하게 큐의 기준에서
읽기는 TimerQueueCallBack() (스레드 하나, DB에 쓰기)
쓰기는 다른 여러 스레드

이라면 현재 문제는
다른 스레드가 큐에 쓰는 중에 큐의 데이터 깨짐 없이
TimerQueueCallBack() 에서 큐를 읽게하려는 것이 맞다면

제 생각으로는
TimerQueueCallBack() 에서는 큐에 직접 접근하지 않도록 해야할 것입니다.

또 TimerQueueCallBack() 에서 큐에 직접 접근하는 부분을 다른 메소드(예: NewMethod() 이름은 알아서...) 에서 담당하는 것입니다.

이 메소드(NewMethod())는 단일로 timer로 주기적으로 실행해주고
 큐 deque -> 다른 큐 enque 하고 다른 스레드가 큐에 enque 하는 것 처럼 lock 처리합니다.

TimerQueueCallBack() 에서는 다른 큐 -> DB 를 처리하는데
NewMethod()가 다른 큐에 enque 해주기 때문에 NewMethod() 처리가 끝난 뒤에
다른 큐 -> DB 를 해 주도록 순차적으로 처리해주면 되겠습니다.


TimerQueueCallBack()
{
while (true)
{
NewMethod() 가 끝났는지 체크

대기

다른 큐(원래 큐에서 deque 한 것) -> DB 입력
}
}

NewMethod() // 다른 스레드 처럼 주기적 호출, 별도 스레드 하나
{
다른 스레드와 마찬가지로 작성하되
큐에 enque 가 아닌 큐에서 deque 하고 다른 큐에 enque 함.
}


감사합니다.
[guest]
2015-11-11 02시47분
[ryujh] 수정한 TimerQueueCallBack() 는 이제 타이머를 사용하지 않고 1회 호출 하고 무한루프입니다.
NewMethod() 는 기존 TimerQueueCallBack() 처럼 10초마다 호출입니다. 큐 deque -> 다른 큐 enque 는 10초 이내 수행 될 것입니다.

큐를 기준으로 읽기(peek 또는 deque), 쓰기(enque) 에 따라 함수를 분리한 것이 주제입니다.

감사합니다.
[guest]
2015-11-11 05시14분
[힘찬도약] thread함수를 만들어서 ThreadQueueControl()라하면, 이 함수 안에서
while(_isRunning)
{
  lock (cirQueue)
  {
     while (cirQueue.Count > 0)
     {
        byte[] buf = cirQueue.Dequeue();
     }
   }
   
   longtimejob(buf);

   Thread.Sleep(1000);
}

이렇게 구성하면 buf[]가 깨지지 않을까요?

본 thread함수의 처음부터 끝까지 방해받지 않고 처리하고 1초 후에 다시 체크해서 있으면 처리하고 다시 1초 후에 체크해서 처리하고... 이게 가능할까요?
[guest]
2015-11-11 05시35분
[ryujh] while(_isRunning)
 {
   lock (cirQueue)
   {
      while (cirQueue.Count > 0)
      {
         byte[] buf = cirQueue.Dequeue();
         longtimejob(buf); // 아마도 다른 큐에 enqueue 하는 것으로 생각됩니다.
      }
    }
    // longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
    //longtimejob(buf); // 여기서 하면 안되어서 주석
    
   Thread.Sleep(1000);
 }
 
이렇게 하는 것은 어떨지요?

감사합니다.
[guest]
2015-11-11 05시41분
[ryujh] longtimejob 이 DB 작업이라면 buf 받지 않고
함수내에서 다른 큐를 참조하여
dequeue -> DB 하면 되겠습니다.

while 루프의 lock 안에서는

byte[] buf = cirQueue.Dequeue();
// 여기에 다른 큐에 enqueue 하는 메소드
method(buf);

method는 원래 큐 dequeue -> 다른 큐에 enqueue 해주는 것입니다.

감사합니다.

[guest]
2015-11-11 05시44분
[힘찬도약] longtimejob(buf); 은 buf에 있는 데이터를 2개의 DB에 insert하는 함수인데요..
여기서 바로 하면 안되는 이유가 무엇인지요?

// longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
//longtimejob(buf); // 여기서 하면 안되어서 주석

[guest]
2015-11-11 05시55분
[ryujh] 제가 수정한것만 알려드려서 잘못전달된 것 같습니다.
다시 정리합니다. 참고하십시오.

while(_isRunning)
  {
    lock (cirQueue)
    {
       while (cirQueue.Count > 0)
       {
          byte[] buf = cirQueue.Dequeue();
          method(buf); // 다른 큐에 enqueue 합니다.
       }
     }
     longtimejob(); // buf를 넘기지 않고 다른 큐에서 dequeue 하여 DB에 insert하도록 수정. 함수 매개변수 변경하지 않는다면 longtimejob(null);
     
    Thread.Sleep(1000);
  }
 
감사합니다.

[guest]
2015-11-11 07시30분
[힘찬도약] 진심어린 조언 항상 감사합니다. [ryujh]님 고맙습니다.
따로 테스트 프로그램을 만들어서 테스트하고 적용하니 한결 도움이 됩니다.
[guest]

... 76  77  78  79  80  81  82  83  [84]  85  86  87  88  89  90  ...
NoWriterDateCnt.TitleFile(s)
381윤용한5/29/200611140    답변글 [답변]: ATL Event에서 스크립트가 값을 다시 돌려주는 방법은?
382윤용한5/29/200611756        답변글 [답변]: [답변]: ATL Event에서 스크립트가 값을 다시 돌려주는 방법은?
383정성태5/30/200612014            답변글 [답변]: [답변]: [답변]: ATL Event에서 스크립트가 값을 다시 돌려주는 방법은?
378guest5/26/200611495managed 와 unmanaged 의 차이가 뭐져?
379정성태5/26/200611781    답변글 [답변]: managed 와 unmanaged 의 차이가 뭐져? [1]
384guest5/30/200611313        답변글 감사합니다.
376노기도5/16/200611645vb6의 GetObjectContext 를 2005에서는 어떻게 사용해야 하나요? [3]
375이덕희5/15/200613698SmartClient 강좌를 보고... 엑박이 나옵니다... [2]파일 다운로드1
3745/12/200612678데이타셋을 레코드셋으로 변경하는 방법...... [2]파일 다운로드1
373아폴론5/12/200611466스마트 클라이언트.. 강좌대로 했는데.. 이런 에러가 나네요. [1]파일 다운로드1
372정보문5/11/200612236DHCP를 쓰는 이유 [1]
366임경훈5/8/200612026지정된 웹서버에서 ASP.NET 버전 1.1이 실행되고 있지 않아 ASP.NET 웹 응용 프로그램 또는 웹서비스를 실행할수 없습니다 [2]
365꿈의공장5/8/200611802스마트 클라이언트 사용시 안보이는 현상 [1]
364조준현5/3/2006112152.0 스마트클라이언트에서.. public 메소드등을 스크립트에서 접근하는 방법이..? [2]
363혁이5/2/200613705스마트 클라이언트에 farpoint 컨트롤 올리기 2번째 질문입니다 [1]파일 다운로드1
361혁이4/28/200612261스마트 클라이언트에 FarPointSpread를 올렸는데요. 보이지가 않습니다..음.. [1]
360꿈의공장4/28/200612192스마트클라이언트와 오라클에 연결 [1]
359박호성4/28/200611548ASP.NET에서 COM Object를 사용하려면? [1]
358임동오4/27/200612163ASP -> COM+ Proxy 연결문제입니다. 151초동안 아무응답없습니다. ㅠㅠ
362정성태4/30/200613713    답변글 [답변]: ASP -> COM+ Proxy 연결문제입니다. 151초동안 아무응답없습니다. ㅠㅠ
354노기도4/24/200611406시스템 구성에 대해 의견을 듣고 십습니다.
355정성태4/25/200611490    답변글 [답변]: 시스템 구성에 대해 의견을 듣고 십습니다.
356노기도4/25/200610809        답변글 [답변]: 귀찮게 해드려 죄송스럽지만.
357정성태4/25/200611290            답변글 [답변]: [답변]: 귀찮게 해드려 죄송스럽지만. [1]
352산들바람4/19/200611007이번겨울방학때세도나를 여행하려구하는데요,,,
353정성태4/20/200617907    답변글 [답변]: 이번겨울방학때세도나를 여행하려구하는데요,,,
... 76  77  78  79  80  81  82  83  [84]  85  86  87  88  89  90  ...