Microsoft MVP성태의 닷넷 이야기
C# 함수의 processing time과 재호출 [링크 복사], [링크+제목 복사],
조회: 13702
글쓴 사람
힘찬도약 (kssjjw71 at hanmail.net)
홈페이지
첨부 파일
 

안녕하세요.

예를들어, TimerQueueCallBack함수가 10초마다 한번씩 불리도록 setting되어 있고,
이 함수 안에서 다음과 같은 일을 하는데... 함수 안의 시간이 10초이상이 걸릴 경우..
databuf[i]값들이 어떻게 되나요? 깨지는 건지요?

public static CircularFIFO<byte[]> cirQueue = new CircularFIFO<byte[]>(1000);
private void TimerQueueCallBack(object obj)
{
   byte[][] databuf = new byte[100][];
   if (cirQueue.Count > 0)
   {
       size = cirQueue.Count;
       for (int i = 0; i < size; i++ )
       {
          lock (cirQueue)
          {
              databuf[i] = cirQueue.Remove();
          }
       }

    for (int i = 0; i < size; i++)
    {
       WriteToDatabase(databuf[i], strConn_1);
       //Thread.Sleep(100);
       WriteToDatabase(databuf[i], strConn_2);
    }
}

예를들어 Queue에는 10개가 들어와서 lock을 걸어서 10개를 모두 deque해서 databuf[i]에 넣었는데,
for문을 돌면서 2개의 DB(로컬,원격)에 쓸때 (DB가 연결되어있지 않을경우, table 여러개를 insert or update등으로)
처음에는 빠르다가 1.5초 나중에는 15초 혹은 그 이상도 간혹 나오는 경우 DB에 다 쓰지도 못한 상황에서
10초마다 불리는 Timer callback함수인 TimerQueueCallBack()가 불리는 경우
이전 실행지점에서 정상적으로 DB에 쓰일까요? 아니면 데이터가 깨지나요?
(WriteToDatabase()함수 안에서도 여러가지 데이터들이 변수등으로 실행중...)

이럴땐 어떻게 해야하는지? 조언 부탁드립니다.
함수 전체를 lock을 걸고 하는 것은 말이 되는지요?
DB Connection timeout을 1초로는 줄수 있는데, 0.1초등으로 주려니까 프로그램 다운이 되더라구요..
strConn_1 = "...Pwd:1111"+" Connection Timeout=1";
혹시 연결되어있지 않은 DB를 conn.Open할때 걸리는 평균시간과 최대한 빨리 catch()처리하려면 어떻게 해야하는지요?
참고로, DB는 Mysql을 쓰고 있습니다.








[최초 등록일: ]
[최종 수정일: 11/11/2015]


비밀번호

댓글 작성자
 



2015-11-11 12시41분
우선, Timer 종류마다 틀립니다. 자신이 사용한 Timer가 어떤 종류인지 보시고, 시간이 지났을 때 콜백을 직렬화하는지 또는 무시하고 재진입을 하는지 테스트해보세요. (아니면, 웹에 비교자료가 많으니 참고하세요.)

재진입이 가능한 경우, 다중 스레드로부터의 접근을 안전하게 해야 합니다.

위의 코드를 보면, A 스레드가 cirQueue.Count로부터 5라는 값을 받고 context-switch되어 쉬는 가운데 B 스레드가 다시 5라는 값을 받고 for문으로 진입하면 Remove를 5번 하게 됩니다. 그 다음 A 스레드가 살아나서 다시 Remove 5번을 하게 되면 어떻게 될까요? 따라서 정적 q는 동기화를 잘해 주어야 합니다.

그리고 DB에 쓰는 것은 기본 연결문자열을 사용했다면 Connection Pool을 자동으로 쓰기 때문에 Open하는데 거의 시간이 걸리지 않습니다. (왜냐하면 이미 DB와 연결된 상태이므로.)


정성태
2015-11-11 01시06분
[힘찬도약] 이것을 System.Threading.Timer로 썼는데요...
이럴경우 타이머로 쓰지 않고 thread 하나로 돌게 하면서 ex)thread_A함수내에서 AutoResetEvent를 사용해서 시작할때 dequeue하고나서 wait()하고 thread_A함수 내에서 WriteToDatabase()함수를 호출하고나서 끝날때 set()해주면 다시 thread_A함수가 돌고 // 다시 시작해서 Q가 있으면 dequeue하고 없으면 wait()하고, dequeue다했으면 wait()하고.. WriteToDatabase()함수 끝나면 set()하고를 계속 반복해도 되는지요?
[guest]
2015-11-11 01시10분
[힘찬도약] 그런데, 제가 쓴 위의 댓글의 경로에서 WriteToDatabase()함수 끝나면 set()하더라도,
thread_A()함수 호출은 언제 어떻게 해야하는지요? (타이머를 써야 하나요? .. 제역량으로 참 어렵네요..)
[guest]
2015-11-11 01시16분
[힘찬도약] 참고로, TimerQueueCallBack()함수는 하나의 스레드에서만 호출합니다.(dequeue는 하나에서만) (현재는 10초마다 한번씩)
queue에 enque하는 것은 여러개의 스레드에서 하구요..
[guest]
2015-11-11 01시41분
고민하지 마시고, BlockingCollection을 쓰세요. ^^

BlockingCollection<T>의 간단한 예제 (1)
; http://devsw.tistory.com/143

그리고, "힘찬도약"님의 경우에는 코드를 작업에 바로 반영하지 마시고 작은 단위로 동작 원리를 테스트하면서 완성해 보세요. 도움이 되실 겁니다. ^^
정성태
2015-11-11 01시41분
[힘찬도약] 말이 되는지 모르겠는데요, 만약에 아래구문 전체를 lock을 거는 건 위험한가요?
AutoReset wait하고 끝나면 set하고 하는 거랑 의미는 비슷한것 같은데 차이가 있는지요?

for (int i = 0; i < size; i++)
{
   WriteToDatabase(databuf[i], strConn_1);
   //Thread.Sleep(100);
   WriteToDatabase(databuf[i], strConn_2);
}
[guest]
2015-11-11 02시09분
[ryujh] 안녕하세요.
바로 전의 댓글에서 참고로 말씀하신 것이 제가 보기에는 중요한 것 같습니다.

간단하게 큐의 기준에서
읽기는 TimerQueueCallBack() (스레드 하나, DB에 쓰기)
쓰기는 다른 여러 스레드

이라면 현재 문제는
다른 스레드가 큐에 쓰는 중에 큐의 데이터 깨짐 없이
TimerQueueCallBack() 에서 큐를 읽게하려는 것이 맞다면

제 생각으로는
TimerQueueCallBack() 에서는 큐에 직접 접근하지 않도록 해야할 것입니다.

또 TimerQueueCallBack() 에서 큐에 직접 접근하는 부분을 다른 메소드(예: NewMethod() 이름은 알아서...) 에서 담당하는 것입니다.

이 메소드(NewMethod())는 단일로 timer로 주기적으로 실행해주고
 큐 deque -> 다른 큐 enque 하고 다른 스레드가 큐에 enque 하는 것 처럼 lock 처리합니다.

TimerQueueCallBack() 에서는 다른 큐 -> DB 를 처리하는데
NewMethod()가 다른 큐에 enque 해주기 때문에 NewMethod() 처리가 끝난 뒤에
다른 큐 -> DB 를 해 주도록 순차적으로 처리해주면 되겠습니다.


TimerQueueCallBack()
{
while (true)
{
NewMethod() 가 끝났는지 체크

대기

다른 큐(원래 큐에서 deque 한 것) -> DB 입력
}
}

NewMethod() // 다른 스레드 처럼 주기적 호출, 별도 스레드 하나
{
다른 스레드와 마찬가지로 작성하되
큐에 enque 가 아닌 큐에서 deque 하고 다른 큐에 enque 함.
}


감사합니다.
[guest]
2015-11-11 02시47분
[ryujh] 수정한 TimerQueueCallBack() 는 이제 타이머를 사용하지 않고 1회 호출 하고 무한루프입니다.
NewMethod() 는 기존 TimerQueueCallBack() 처럼 10초마다 호출입니다. 큐 deque -> 다른 큐 enque 는 10초 이내 수행 될 것입니다.

큐를 기준으로 읽기(peek 또는 deque), 쓰기(enque) 에 따라 함수를 분리한 것이 주제입니다.

감사합니다.
[guest]
2015-11-11 05시14분
[힘찬도약] thread함수를 만들어서 ThreadQueueControl()라하면, 이 함수 안에서
while(_isRunning)
{
  lock (cirQueue)
  {
     while (cirQueue.Count > 0)
     {
        byte[] buf = cirQueue.Dequeue();
     }
   }
   
   longtimejob(buf);

   Thread.Sleep(1000);
}

이렇게 구성하면 buf[]가 깨지지 않을까요?

본 thread함수의 처음부터 끝까지 방해받지 않고 처리하고 1초 후에 다시 체크해서 있으면 처리하고 다시 1초 후에 체크해서 처리하고... 이게 가능할까요?
[guest]
2015-11-11 05시35분
[ryujh] while(_isRunning)
 {
   lock (cirQueue)
   {
      while (cirQueue.Count > 0)
      {
         byte[] buf = cirQueue.Dequeue();
         longtimejob(buf); // 아마도 다른 큐에 enqueue 하는 것으로 생각됩니다.
      }
    }
    // longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
    //longtimejob(buf); // 여기서 하면 안되어서 주석
    
   Thread.Sleep(1000);
 }
 
이렇게 하는 것은 어떨지요?

감사합니다.
[guest]
2015-11-11 05시41분
[ryujh] longtimejob 이 DB 작업이라면 buf 받지 않고
함수내에서 다른 큐를 참조하여
dequeue -> DB 하면 되겠습니다.

while 루프의 lock 안에서는

byte[] buf = cirQueue.Dequeue();
// 여기에 다른 큐에 enqueue 하는 메소드
method(buf);

method는 원래 큐 dequeue -> 다른 큐에 enqueue 해주는 것입니다.

감사합니다.

[guest]
2015-11-11 05시44분
[힘찬도약] longtimejob(buf); 은 buf에 있는 데이터를 2개의 DB에 insert하는 함수인데요..
여기서 바로 하면 안되는 이유가 무엇인지요?

// longtimejob 에서 작업한 뒤 다른 큐에서 dequeue 하여 DB에 insert 하면 될 것 입니다.
//longtimejob(buf); // 여기서 하면 안되어서 주석

[guest]
2015-11-11 05시55분
[ryujh] 제가 수정한것만 알려드려서 잘못전달된 것 같습니다.
다시 정리합니다. 참고하십시오.

while(_isRunning)
  {
    lock (cirQueue)
    {
       while (cirQueue.Count > 0)
       {
          byte[] buf = cirQueue.Dequeue();
          method(buf); // 다른 큐에 enqueue 합니다.
       }
     }
     longtimejob(); // buf를 넘기지 않고 다른 큐에서 dequeue 하여 DB에 insert하도록 수정. 함수 매개변수 변경하지 않는다면 longtimejob(null);
     
    Thread.Sleep(1000);
  }
 
감사합니다.

[guest]
2015-11-11 07시30분
[힘찬도약] 진심어린 조언 항상 감사합니다. [ryujh]님 고맙습니다.
따로 테스트 프로그램을 만들어서 테스트하고 적용하니 한결 도움이 됩니다.
[guest]

... 46  47  48  49  [50]  51  52  53  54  55  56  57  58  59  60  ...
NoWriterDateCnt.TitleFile(s)
3578이성환7/9/201513284WPF Multi Dispatcher 사용 시 hang 발생 [4]파일 다운로드1
3577초보개발자7/9/201512221C# SHDocVw.InternetExplorer 관련 도움좀 부탁드리겠습니다. [1]
3576솔솔7/6/201511034zip압축시! [2]
3575염기돈6/29/201511906책을 보다가 익명 메서드 관련해서 질문거리가 생겼습니다. [2]파일 다운로드1
3574김기술6/26/201510068프로그램 사용중 USB 경로 관련 해서 문의 드립니다 [4]
3573gagl...6/24/201512840IIS 의 특정 페이지들에서 20초의 딜레이가 있습니다. [2]
3572프란치스코6/24/201511307책을 구입하고 싶은데, [5]
3571로손6/22/201511368.Net COM dll 관련 사용시 Event 부분에 관한 문의 입니다. [5]파일 다운로드1
3570나그네6/11/201514202안녕하세요.. ^^ 궁금한게 있어서 혹시 조언을 얻을수 있을까 해서.. [2]
3569김지용6/9/201517116FFmpeg.exe 를 이용한 C# 동영상 인코더 예제보고 질문 드립니다. [9]
3568유동근6/5/201511582C# TTS 오류 입니다 도와주세요.파일 다운로드1
3567김보경5/26/201512064c#이용한 음성인식에 질문드립니다. [1]
3566로손5/26/201514419Http 파일 업로드시 한글파일명 관련 [1]
3565김태훈5/20/201510505AxWebBrowser 파일 다운로드 관련하여 문의드립니다. [3]
3564이강산5/20/201510363MD5 인코딩 관련 문의 입니다 [1]
2564CatO...5/13/201511132AppDomain 문제로 삽질중입니다. [2]
2563솔솔5/13/201510137custom search!! [1]
2562안녕하세요5/13/201510682안녕하세요.. C# 구조체 관련. [1]
2560솔솔5/6/201510623zip파일생성시. [1]
2561솔솔5/6/201511096    답변글 [답변]: zip파일생성시. [5]파일 다운로드1
2558로손5/4/201513847VB6.0의 ActiveX(OCX) 와 .Net에서 만든 COM DLL의 차이점 ?? [1]
2559로손5/6/201511442    답변글 [답변]: VB6.0의 ActiveX(OCX) 와 .Net에서 만든 COM DLL의 차이점 ??
2557Guest4/24/201510370Serialize , DeSerialize 관련 질문입니다! [3]
1558민식짱4/23/201510662FFmpeg.exe 를 이용한 C# 동영상 인코더 예제를 보고 질문드립니다 [1]파일 다운로드1
1555김응규4/22/201514957WCF net.tcp 관련해서 질문 드립니다. [2]
1556김응규4/22/201512329    답변글 [답변]: WCF net.tcp 관련해서 질문 드립니다. [1]파일 다운로드1
... 46  47  48  49  [50]  51  52  53  54  55  56  57  58  59  60  ...