BLOOM(언어 모델)

BLOOM (language model)

BLOOM([1]BigScience Large Open-Science Open-access Multiling Language Model)은 변압기 기반의 대형 언어 모델입니다.그것은 시도하고 싶은 모든 사람들에게 무료로 큰 언어 모델을 제공하기 위해 1,000명 이상의 AI 연구원들에 의해 만들어졌습니다.2022년 3월부터 7월까지 약 3,660억 개의 토큰에 대해 훈련되었으며, 1760억 개의 매개 변수를 가진 OpenAI의 GPT-3의 대안으로 간주됩니다. OpenAI OpenAI OpenAIBLOOM은 메가트론-LM GPT-2에서 수정된 디코더 전용 변압기 모델 아키텍처를 사용합니다.

BLOOM[2] 프로젝트는 Hugging Face의 공동 설립자에 의해 시작되었습니다.HuggingFace의 BigScience 팀, Microsoft DeepSpeed 팀, NVIDIA Megatron-LM 팀, IDRIS/GENCI 팀, PyTorch 팀, BigScience Engineering [2]워크그룹의 자원봉사자 등 6개의 주요 그룹이 참여했습니다.BLOM은 46개의 자연어와 13개의 프로그래밍 언어의 데이터를 사용하여 훈련되었습니다.총 1.6 테라바이트 사전 처리된 텍스트는 BLOOM의 교육 데이터 [3]세트로 3,500억 개의 고유 토큰으로 변환되었습니다.

레퍼런스

  1. ^ "BigScience Large Open-science Open-access Multilingual Language Model". Retrieved 1 October 2022.
  2. ^ a b "The Technology Behind BLOOM Training". Retrieved 1 October 2022.
  3. ^ Teven Le Scao; Wang, Thomas; Hesslow, Daniel; Saulnier, Lucile; Bekman, Stas; M Saiful Bari; Biderman, Stella; Elsahar, Hady; Muennighoff, Niklas; Phang, Jason; Press, Ofir; Raffel, Colin; Sanh, Victor; Shen, Sheng; Sutawika, Lintang; Tae, Jaesung; Zheng Xin Yong; Launay, Julien; Beltagy, Iz (2022). "What Language Model to Train if You Have One Million GPU Hours?". arXiv:2210.15424.


Stub icon

이 컴퓨터 언어학 관련 기사는 진부합니다.위키백과를 확장하여 도움을 줄 수 있습니다.