C# - Collection 개체의 다중 스레드 접근 시 "Operations that change non-concurrent collections must have exclusive access" 예외 발생
다음과 같은 Q&A가 있는데,
HttpClient 에러?
; https://forum.dotnetdev.kr/t/httpclient/1464/2
정리해 보면, EF 사용 코드에 대한 단위 테스트를 했는데 이런 오류가 발생했다는 것입니다.
System.InvalidOperationException: Operations that change non-concurrent collections must have exclusive access. A concurrent update was performed on this collection and corrupted its state. The collection's state is no longer correct.
구체적인 것은 오류 메시지의 (함께 질문에 올렸으면 좋았을) call stack을 봐야 이것이 ORM 관련 코드에서 발생한 것인지, 단순히 Collection의 동기화 문제로 발생한 것인지 판단할 수 있습니다. 하지만, 아마도 이것은 대체로 Collection의 동기화 문제일 가능성이 있습니다.
실제로 이에 대한 재현 코드를 다음의 예제로 가능합니다.
using System.Collections.Generic;
using System.Threading.Tasks;
class Program
{
static async Task Main(string[] args)
{
Dictionary<int, int> dict = new Dictionary<int, int>(1000000);
List<Task> tasks = new List<Task>();
for (int i = 0; i < 2; i++)
{
Task task = Task.Run(() =>
{
for (int j = 0; j < 1000000; j++)
{
dict[j] = j;
}
});
tasks.Add(task);
}
await Task.WhenAll(tasks);
}
}
스레드 2개로 Dictionary에 값을 할당하고 있는데요, 이로 인해 다음과 같은 예외가 발생합니다.
Unhandled exception. System.InvalidOperationException: Operations that change non-concurrent collections must have exclusive access. A concurrent update was performed on this collection and corrupted its state. The collection's state is no longer correct.
at System.Collections.Generic.Dictionary`2.TryInsert(TKey key, TValue value, InsertionBehavior behavior)
at System.Collections.Generic.Dictionary`2.set_Item(TKey key, TValue value)
at ConsoleApp1.Program.<>c__DisplayClass0_0.<Main>b__0()
at System.Threading.Tasks.Task.InnerInvoke()
at System.Threading.Tasks.Task.<>c.<.cctor>b__277_0(Object obj)
at System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(Thread threadPoolThread, ExecutionContext executionContext, ContextCallback callback, Object state)
--- End of stack trace from previous location ---
at System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(Thread threadPoolThread, ExecutionContext executionContext, ContextCallback callback, Object state)
at System.Threading.Tasks.Task.ExecuteWithThreadLocal(Task& currentTaskSlot, Thread threadPoolThread)
--- End of stack trace from previous location ---
at ConsoleApp1.Program.Main(String[] args)
at ConsoleApp1.Program.<Main>(String[] args)
오류 내용이 정확히 같습니다. ^^
재미있는 것은, 위의 코드에서 컬렉션에 대한 초기 크기를 지정하지 않으면,
Dictionary<int, int> dict = new Dictionary<int, int>(/* 1000000 */);
(가끔 System.InvalidOperationException이 발생하기는 하지만) 예외가 주로 다음과 같이 발생합니다.
Unhandled exception. System.ArgumentException: Destination array was not long enough. Check the destination index, length, and the array's lower bounds. (Parameter 'destinationArray')
at System.Array.Copy(Array sourceArray, Int32 sourceIndex, Array destinationArray, Int32 destinationIndex, Int32 length, Boolean reliable)
at System.Array.Copy(Array sourceArray, Array destinationArray, Int32 length)
at System.Collections.Generic.Dictionary`2.Resize(Int32 newSize, Boolean forceNewHashCodes)
at System.Collections.Generic.Dictionary`2.TryInsert(TKey key, TValue value, InsertionBehavior behavior)
at System.Collections.Generic.Dictionary`2.set_Item(TKey key, TValue value)
at ConsoleApp1.Program.<>c__DisplayClass0_0.<Main>b__0()
at System.Threading.Tasks.Task.InnerInvoke()
at System.Threading.Tasks.Task.<>c.<.cctor>b__277_0(Object obj)
at System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(Thread threadPoolThread, ExecutionContext executionContext, ContextCallback callback, Object state)
--- End of stack trace from previous location ---
at System.Threading.ExecutionContext.RunFromThreadPoolDispatchLoop(Thread threadPoolThread, ExecutionContext executionContext, ContextCallback callback, Object state)
at System.Threading.Tasks.Task.ExecuteWithThreadLocal(Task& currentTaskSlot, Thread threadPoolThread)
--- End of stack trace from previous location ---
at ConsoleApp1.Program.Main(String[] args)
at ConsoleApp1.Program.<Main>(String[] args)
결국 저 오류도 컬렉션의 스레드 동기화를 제대로 하지 못했을 때 발생할 수 있는 것입니다. 그런데, 한 가지 의문인 점이 있습니다. 아마 EF에서도 역시 초기 크기를 지정하지 않았을 것이고, 그렇다면 확률적으로 System.ArgumentException 예외가 더 많이 발생했을 텐데 질문한 사람은 System.InvalidOperationException 예외 메시지를 봤던 것입니다.
우연치고는 상당히 절묘한데, 제가 테스트한 코드 외의 어떤 조건에서는 System.InvalidOperationException 예외가 고정적으로 나오는 상황도 있는 듯합니다.
참고로, 다음의 글도 한번 읽어 보시길 권합니다. ^^
IEnumerator는 언제나 읽기 전용일까?
; https://www.sysnet.pe.kr/2/0/1308
DataContext가 thread-safe한 것인가?
; https://www.sysnet.pe.kr/2/0/855
Readonly, Immutable, and Frozen Collections in .NET
; https://blog.ndepend.com/readonly-immutable-and-frozen-collections-in-net/
[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]