GPT-J

GPT-J
GPT-J
개발자일루더인공지능
초기 출시2021년 6월 9일, 23개월 전 (2021-06-09)
유형언어 모델
면허증.오픈 소스
웹사이트6b.eleuther.ai Edit this on Wikidata

GPT-J는 일렉터가 개발한 오픈소스 인공지능 언어 모델입니다.AI.[1] 일반적으로 소위 병렬 디코더의 유일한 주요 차이점을 가진 GPT-2 아키텍처를 따릅니다. 마스킹된 다중 헤드 주의 후 피드 포워드 다층 퍼셉트론을 배치하는 [2]대신 분산 훈련으로 더 높은 처리량을 달성하기 위해 병렬로 계산됩니다.

GPT-J는 다양한 제로샷 다운 그레이드 작업에서 비슷한 크기의 OpenAI의 GPT-3 버전과 매우 유사한 성능을 발휘하며 코드 생성 [3]작업에서도 이를 능가할 수 있습니다.OpenAI OpenAI OpenAI OpenAI최신 버전인 GPT-J-6B는 파일이라고 [4]불리는 데이터 세트에 기반한 언어 모델입니다.파일은 22개의 소규모 데이터 [5]세트로 분할된 오픈 소스 825기가바이트 언어 모델링 데이터 세트입니다.

GPT-J는 원래 ChatGPT와 달리 채팅 [6]봇으로 기능하지 않으며 오직 텍스트 예측자로만 기능합니다. ChatGPT ChatGPT ChatGPT2023년 3월, 데이터브릭스는 스탠포드 알파카 데이터 [7]세트의 미세 조정 기능을 갖춘 GPT-J 기반의 아파치 라이센스 지침 준수 모델인 돌리를 출시했습니다.

레퍼런스

  1. ^ Demo, GPT-3. "GPT-J Discover AI use cases". gpt3demo.com. Retrieved 2023-02-28.
  2. ^ https://www.cerebras.net/blog/cerebras-makes-it-easy-to-harness-the-predictive-power-of-gpt-j
  3. ^ "GPT-J-6B: An Introduction to the Largest Open Source GPT Model Forefront". www.forefront.ai. Retrieved 2023-02-28.
  4. ^ Wang, Ben (2023-02-28), Table of contents, retrieved 2023-02-28
  5. ^ "The Pile". pile.eleuther.ai. Retrieved 2023-02-28.
  6. ^ Mueller, Vincent (2022-01-25). "How you can use GPT-J". Medium. Retrieved 2023-02-28.
  7. ^ Conover, Mike; Hayes, Matt; Mathur, Ankit; Meng, Xiangrui; Xie, Jianwei; Wan, Jun; Ghodsi, Ali; Wendell, Patrick; Zaharia, Matei (24 March 2023). "Hello Dolly: Democratizing the magic of ChatGPT with open models". Retrieved 2023-04-05.


Stub icon

이 인공지능 관련 기사는 스텁입니다.위키백과를 확장하여 도움을 줄 수 있습니다.