전체 글83 [NLP]Transformer_ver2 [reference 및 figure 출처]https://nlpinkorean.github.io/illustrated-transformer/https://wikidocs.net/24996https://arxiv.org/pdf/1706.03762.pdfhttps://www.youtube.com/watch?v=mxGCEWOxfe8 [Transformer 이전의 자연어 번역 모델/ attention 모듈 개념] RNN을 이용해서 input 인 문장을 하나의 context vector로 압축을 한다. 즉 마지막 input sequence의(혹은 마지막 time step) hidden state라고 생각하면 될 것 같다. 이 context vector는 decoder에서 0 시점의 (0 time step) .. 2024. 10. 5. tiktoken 캐시 저장해서 로컬에서 로드하기 0) 구세주https://stackoverflow.com/questions/76106366/how-to-use-tiktoken-in-offline-mode-computer 1) tiktoken 가져올 수 있는지 확인하기 import tiktoen_ext.openai_publicimport inspectprint(dir(tiktoken_ext.openai_public))print(inspect.getsource(tiktoken_ext.openai_public.cl100k_base)) 두번째 print 문을 치면 어쩌구 저쩌구 많이 보이면서 링크도 하나 보일 거다.나랑 같은 버전이라면 아마도 아래처럼 뜰 것이다.https://openaipublic.blob.core.windows.net/encodings.. 2024. 9. 11. 00. 환경 세팅하기 다들 편하게 API 따와서 GPT를 쓰시지만 비루한 저는 폐쇄망을 써야 하기 때문에 별 고생을 다 했습니다.까먹어버리기에는 너무 아까워서 텍스트로 옮겨둡니다. - python 3.10 #Chroma 를 쓰려면 python 이 3.10 버전이어야 함- anaconda #팀원들과 개발 현황 공유하기 위해서 동일한 환경 세팅이 필요함- 프론트엔드: html, css, varnilla json #폐쇄망에서 ajax? - 백엔드: flask #iis 로 서버 베포하고 싶으면 파이썬 3.8을 써야 함. apache는 오프라인에서 설치하기 복잡하다고 함 bitnami는 베포 끝났대 그래서 그냥 다 뚫리는 서버 만들기로 했습니다. 2024. 9. 11. [외부프로젝트] COMPAS 김해시 CCTV 위치 선정 * 컴퓨터 ㄴ 자판이 빠졌다. 오타가 많다. * 후기이긴 한데 그냥 내 일기장이다. 읽어도 도움 안 됨. 아무 인사이트 얻을 수 없음. 오랜만에 쓰는 외부프로젝트 후기 다른 것도 언제가... 사실 내 고향은 진해 최우수상이라는 쾌거! 특이하게 대상이 1등이 아니고 최우수상이 1등이더라. 이유는 모른다. 동아리 사람들 4명과 함께했다. 벅찼던 방학 중 성과가 가장 좋았던 대회. 돈 버는 재미가 꽤 쏠쏠하다. 프로젝트 하면서 이번 달에 삼백만원 벌었거든 사실 다 팀원들이 멋지고 잘 나서 잘 된 대회다. 나는 말하는 감자... 까지는 아니고 수제비였다ㅎㅎ 아직 인간이 덜 됐다. 그래도 어깨 넘어로 배울 수 있었던 좋은 경험이다! 언제까지 배우고 있으면 안 되니까 얼른 커보겠다 ㅎㅎ [주제] 김해시 cctv 위.. 2022. 9. 29. 이전 1 2 3 4 ··· 21 다음
