Microsoft MVP성태의 닷넷 이야기
글쓴 사람
정성태 (techsharer at outlook.com)
홈페이지
첨부 파일
 

파이썬 tensorflow - Dst tensor is not initialized. 오류 메시지

이런 오류가 발생한다면?

2021-08-29 12:45:04.918972: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 12:45:05.625247: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1510] Created device /job:localhost/replica:0/task:0/device:GPU:0 with 6643 MB memory:  -> device: 0, name: NVIDIA GeForce GTX 1070, pci bus id: 0000:01:00.0, compute capability: 6.1
2021-08-29 12:45:06.153571: I tensorflow/compiler/mlir/mlir_graph_optimization_pass.cc:185] None of the MLIR Optimization Passes are enabled (registered 2)
Epoch 1/10
 994/1000 [============================>.] - ETA: 0s - loss: 1.1682 - accuracy: 0.88972021-08-29 12:45:23.530835: W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.
Current allocation summary follows.
2021-08-29 12:45:23.532022: I tensorflow/core/common_runtime/bfc_allocator.cc:1004] BFCAllocator dump for GPU_0_bfc
2021-08-29 12:45:23.532270: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (256):  Total Chunks: 35, Chunks in use: 35. 8.8KiB allocated for chunks. 8.8KiB in use in bin. 480B client-requested in use in bin.
2021-08-29 12:45:23.532546: I tensorflow/core/common_runtime/bfc_allocator.cc:1011] Bin (512):  Total Chunks: 3, Chunks in use: 3. 1.5KiB allocated for chunks. 1.5KiB in use in bin. 1.5KiB client-requested in use in bin.
...[생략]...
2021-08-29 12:45:23.581168: I tensorflow/core/common_runtime/bfc_allocator.cc:1068] 1 Chunks of size 156800000 totalling 149.54MiB
2021-08-29 12:45:23.581357: I tensorflow/core/common_runtime/bfc_allocator.cc:1072] Sum Total of in-use chunks: 188.12MiB
2021-08-29 12:45:23.581524: I tensorflow/core/common_runtime/bfc_allocator.cc:1074] total_region_allocated_bytes_: 6966018048 memory_limit_: 6966018048 available bytes: 0 curr_region_allocation_bytes_: 13932036096
2021-08-29 12:45:23.581776: I tensorflow/core/common_runtime/bfc_allocator.cc:1080] Stats: 
Limit:                      6966018048
InUse:                       197255168
MaxInUse:                    197255168
NumAllocs:                       37070
MaxAllocSize:                156800000
Reserved:                            0
PeakReserved:                        0
LargestFreeBlock:                    0

2021-08-29 12:45:23.582270: W tensorflow/core/common_runtime/bfc_allocator.cc:468] ***_________________________________________________________________________________________________
Traceback (most recent call last):
...[생략]...
  File "E:\Anaconda3\lib\site-packages\tensorflow\python\framework\constant_op.py", line 106, in convert_to_eager_tensor
    return ops.EagerTensor(value, ctx.device_name, dtype)
tensorflow.python.framework.errors_impl.InternalError: Failed copying input tensor from /job:localhost/replica:0/task:0/device:CPU:0 to /job:localhost/replica:0/task:0/device:GPU:0 in order to run _EagerConst: Dst tensor is not initialized.

Process finished with exit code 1

원인은 메모리 부족일 수 있고, dataset 크기를 줄여서 넣으면 잘 될 것입니다. ^^ 그런데, 경우에 따라 잘못된 차원의 dataset을 넣었을 때도 발생하기도 하므로 "파이썬 tensorflow - ValueError: Shapes (...) and (...) are incompatible"에서처럼 데이터셋이 정상적인 차원을 가지고 있는지 검사할 필요도 있습니다.




참고로, 메시지 중간에 보면 이런 권고 사항이 있는데요,

W tensorflow/core/common_runtime/bfc_allocator.cc:457] Allocator (GPU_0_bfc) ran out of memory trying to allocate 7.48GiB (rounded to 8028160000)requested by op _EagerConst
If the cause is memory fragmentation maybe the environment variable 'TF_GPU_ALLOCATOR=cuda_malloc_async' will improve the situation. 
Current allocation summary follows.

실제로 이것을 설정하고,

os.putenv('TF_GPU_ALLOCATOR', 'cuda_malloc_async')

실행해 봤지만, 다음과 같이 Async allocator를 사용하겠다는 메시지만 나온 후 잠시 후에 비정상 종료를 했습니다.

2021-08-29 13:36:43.083542: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX AVX2
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2021-08-29 13:36:43.726382: I tensorflow/core/common_runtime/gpu/gpu_process_state.cc:215] Using CUDA malloc Async allocator for GPU: 0

Process finished with exit code -1073740940 (0xC0000374)

그냥, 메모리 소비를 줄이는 것이 답인 듯합니다. ^^




[이 글에 대해서 여러분들과 의견을 공유하고 싶습니다. 틀리거나 미흡한 부분 또는 의문 사항이 있으시면 언제든 댓글 남겨주십시오.]







[최초 등록일: ]
[최종 수정일: 9/2/2021]

Creative Commons License
이 저작물은 크리에이티브 커먼즈 코리아 저작자표시-비영리-변경금지 2.0 대한민국 라이센스에 따라 이용하실 수 있습니다.
by SeongTae Jeong, mailto:techsharer at outlook.com

비밀번호

댓글 작성자
 




1  2  3  4  5  6  7  8  9  [10]  11  12  13  14  15  ...
NoWriterDateCnt.TitleFile(s)
12866정성태12/7/20213265오류 유형: 769. "docker build ..." 시 "failed to solve with frontend dockerfile.v0: failed to read dockerfile ..." 오류
12865정성태12/6/2021765개발 환경 구성: 611. 파이썬 - PyPI 패키지 만들기 (2) long_description, cmdclass 옵션
12864정성태12/6/2021671Linux: 46. WSL 환경에서 find 명령을 사용해 파일을 찾는 방법
12863정성태12/4/2021850개발 환경 구성: 610. 파이썬 - PyPI 패키지 만들기
12862정성태12/3/2021714오류 유형: 768. Golang - 빌드 시 "cmd/go: unsupported GOOS/GOARCH pair linux /amd64" 오류
12861정성태12/3/2021934개발 환경 구성: 609. 파이썬 - "Windows embeddable package"로 개발 환경 구성하는 방법
12860정성태12/1/2021827오류 유형: 767. SQL Server - 127.0.0.1로 접속하는 경우 "Access is denied"가 발생한다면?
12859정성태12/1/20215715개발 환경 구성: 608. Hyper-V 가상 머신에 Console 모드로 로그인하는 방법
12858정성태11/30/20211908개발 환경 구성: 607. 로컬의 USB 장치를 원격 머신에 제공하는 방법 - usbip-win
12857정성태11/24/2021976개발 환경 구성: 606. WSL Ubuntu 20.04에서 파이썬을 위한 uwsgi 설치 방법
12856정성태11/23/20211455.NET Framework: 1121. C# - 동일한 IP:Port로 바인딩 가능한 서버 소켓 [2]
12855정성태11/13/2021763개발 환경 구성: 605. Azure App Service - Kudu SSH 환경에서 FTP를 이용한 파일 전송
12854정성태11/13/20211016개발 환경 구성: 604. Azure - 윈도우 VM에서 FTP 여는 방법
12853정성태11/10/2021764오류 유형: 766. Azure App Service - JBoss 호스팅 생성 시 "This region has quota of 0 PremiumV3 instances for your subscription. Try selecting different region or SKU."
12851정성태11/1/2021977스크립트: 34. 파이썬 - MySQLdb 기본 예제 코드
12850정성태10/27/20211784오류 유형: 765. 우분투에서 pip install mysqlclient 실행 시 "OSError: mysql_config not found" 오류
12849정성태10/17/20211420스크립트: 33. JavaScript와 C#의 시간 변환
12848정성태10/17/20211525스크립트: 32. 파이썬 - sqlite3 기본 예제 코드
12847정성태10/14/20211503스크립트: 31. 파이썬 gunicorn - WORKER TIMEOUT 오류 발생
12846정성태10/7/20211602스크립트: 30. 파이썬 __debug__ 플래그 변수에 따른 코드 실행 제어
12845정성태10/6/20211904.NET Framework: 1120. C# - BufferBlock<T> 사용 예제 [5]파일 다운로드1
12844정성태10/3/20211271오류 유형: 764. MSI 설치 시 "... is accessible and not read-only." 오류 메시지
12843정성태10/3/20211390스크립트: 29. 파이썬 - fork 시 기존 클라이언트 소켓 및 스레드의 동작파일 다운로드1
12842정성태10/1/20214400오류 유형: 763. 파이썬 오류 - AttributeError: type object '...' has no attribute '...'
12841정성태10/1/20211426스크립트: 28. 모든 파이썬 프로세스에 올라오는 특별한 파일 - sitecustomize.py
12840정성태9/30/20211991.NET Framework: 1119. Entity Framework의 Join 사용 시 다중 칼럼에 대한 OR 조건 쿼리파일 다운로드1
1  2  3  4  5  6  7  8  9  [10]  11  12  13  14  15  ...