항해 플러스 AI | 3주차 WIL

1. 문제 (과제, 프로젝트를 진행하면서 부딪혔던 기술적인 문제)

이번 주차를 지나며 겪었던 문제가 무엇이었나요?

 

[과제할 때 겪었던 문제]

심화과제에서 아래 코드로 padding token을 추가해줘야 할 떄, 아래코드를 전체 코드 중 어느 단계에서 추가해줘야할지 감이 잡히지 않았습니다.

tokenizer.pad_token = tokenizer.unk_token

 

그리고 아래 코드만 추가하면 될지, collate_fn 함수 정의문 내 코드에서 padding=True를 수정해줘야하는건지 고민이 됐습니다.

def collate_fn(batch):
  texts, labels = [], []
  for row in batch:
    labels.append(row['label'])
    texts.append(row['text'])

  texts = torch.LongTensor(tokenizer(texts, padding=True).input_ids)
  labels = torch.LongTensor(labels)

  return texts, labels

 

[3주차 발제 실습코드 복습할 때 겪었던 문제]

GPT내 코드 한줄 한줄 이해하는 시간이 많이 들었습니다.

Transformer 개념을 다시 복기하고 코드를 살펴봐야했고,
코드 한줄한줄을 이해하는 과정에서는 행렬의 계산과정들을 직접 보며 이해를 하고 싶은데

ChatGPT의 도움을 받긴했으나 사소한 용어나 설명에서 질문이 계속 뻗어나가서 공부하는데 시간이 많이 걸렸습니다.

 

nn.Linear 코드를 이해하는 과정에서 선형변환이라는 개념을 이해하는데 시간을 많이 들였습니다.

 

 

2. 시도
문제를 해결하기 위해 어떤 시도를 하셨나요?

 

코드 한줄한줄 이해하는 과정에서는 ChatGPT를 활용했습니다.

선형변환에 대해 이해하기 위해서 ChatGPT에서 글로 설명해주는 것을 읽는 것만으로는 와닿지가 않아서 유튜브로 이해하는 시간을 가졌습니다.

Transformer의 개념은 유튜브 설명 영상 2개가 특히 도움이 됐습니다. (Q, K, V 이해하기, Attention 계산과정 시각적으로 이해하기)

 

3. 해결
문제를 어떻게 해결하셨나요?

 

심화과제는 해결하지 못한 채로 제출했습니다.

 

4. 알게된 것
문제를 해결하기 위해 시도하며 새롭게 알게된 것은 무엇인가요? 

 

선형변환과 선형회귀의 차이 이해

선형변환이 왜 사용되는지 납득(?) 한건가???다시 갸우뚱..

 

---

Keep : 현재 만족하고 계속 유지할 부분
이번 주를 마무리 하며 나에게 만족했던 부분은 무엇인가요?

 

쉬는날이 2번 있었던 덕분에 코드 한줄한줄의 역할과 계산과정들을 이해하는 시간을 가졌습니다.

1, 2주차 때 발제 내용 및 실습코드를 충분히 숙지 못해서 멀게만 느껴졌던 개념과 코드들에 좀 더 친숙해질 수 있게 되어 마음의 안정을 좀 찾을 수 있었습니다.

 

지하철타는 시간, 식사시간에 모르는 개념들에 대해 유튜브 영상을 시청하며, 공부할 시간을 따로 내지 않고서도 많은 양의 개념들에 대해 학습할 수 있는 시간을 가질 수 있게되어 뿌듯했습니다.

 
Problem : 개선이 필요하다고 생각하는 문제점
이번 주를 마무리 하며 개선이 필요하다고 생각했던 문제점은 무엇인가요?

P1. 막상 과제 해결에 들이는 시간은 충분히 내지 못해서 과제를 해결하기 위한 고민은 충분히 하지 못했습니다.

Try : 문제점을 해결하기 위해 시도해야 할 것
이 문제점을 해결하기 위해 다음 한 주간 시도 할 것은 무엇인가요? 

P1. 과제를 미리 살펴보고 모르는 것에 대해 팀원들에게 질문하고 함께 고민하는 시간을 가지도록 하고 개선해나가고 싶습니다.