병렬처리 코드 with progress bar import parmap num_proc = multiprocessing.cpu_count() result = parmap.map(func_name, input_list, pm_pbar=True, pm_processes=num_proc) 함수 결과가 list일 때 flatten하게 결과값 받기 import multiprocessing def collect_results(lst): result_list.extend(lst) num_proc = multiprocessing.cpu_count() pool = multiprocessing.Pool(processes=num_proc) result_list = pool.map(function_name, input_lis..
list 중복 제거 d_list = [1, 1, 2, 2, 3] list(set(d_list)) # [1, 2, 3] list in list 중복 제거 import itertools d_list = [[1, 2], [3], [4, 5, 6], [1, 2], [3], [7]] d_list.sort() list(k for k,_ in itertools.groupby(d_list)) # [[1, 2], [3], [4, 5, 6], [7]] 단, 코드 특성상 중복 제거된 list의 요소 순서가 바뀔 수 있음!
Tensor 내에서 특정 값을 치환하고 싶다면 다음 예시 코드처럼 구현하면 된다. 예시 (0값을 10으로 바꾸기) a = torch.randint(10, (3, 5)) print(a) #tensor([[6, 2, 7, 9, 7], # [3, 3, 4, 3, 7], # [0, 9, 0, 9, 6]]) a[a==0] = 10 # 바꾸기 전 값: 0 바꾼 후 값: 10 print(a) #tensor([[ 6, 2, 7, 9, 7], # [ 3, 3, 4, 3, 7], # [10, 9, 10, 9, 6]]) 이는 tensor 조건문이 다음과 같이 동작하기 때문이다. a = torch.randint(10, (3, 5)) print(a) #tensor([[5, 9, 7, 0, 3], # [1, 6, 3, 6, 2]..
Tensor 내에서 특정 값을 치환하고 싶다면 다음 예시 코드처럼 구현하면 된다. 예시 (0값을 10으로 바꾸기) a = torch.randint(10, (3, 5)) print(a) #tensor([[6, 2, 7, 9, 7], # [3, 3, 4, 3, 7], # [0, 9, 0, 9, 6]]) a[a==0] = 10 # 바꾸기 전 값: 0 바꾼 후 값: 10 print(a) #tensor([[ 6, 2, 7, 9, 7], # [ 3, 3, 4, 3, 7], # [10, 9, 10, 9, 6]]) 이는 tensor 조건문이 다음과 같이 동작하기 때문이다. a = torch.randint(10, (3, 5)) print(a) #tensor([[5, 9, 7, 0, 3], # [1, 6, 3, 6, 2]..
- Total
- Today
- Yesterday
- Process
- progress bar
- 개발
- 시나리오
- PYTHON
- vsCode
- Git
- 자연어처리
- killall
- list
- linux
- Docker
- 중복 제거
- kill
- install
- gpu
- 자료형
- Jupyter Notebook
- 알스트로메리아
- tensor
- dockerfile
- multiprocessing
- tqdm
- 포트포워딩
- uninstall
- pytorch
- PIP
- 명령어
- nlp
- metric
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | ||
6 | 7 | 8 | 9 | 10 | 11 | 12 |
13 | 14 | 15 | 16 | 17 | 18 | 19 |
20 | 21 | 22 | 23 | 24 | 25 | 26 |
27 | 28 | 29 | 30 |