함께하는 AI

함께 AI 200개 이상의 호스트 오픈 소스 모델 텍스트, 이미지, 비디오, 오디오, 임베디드 및 코드 생성 등 다양한 분야를 아우릅니다. 개발자는 서버를 구축할 필요 없이 단일 API를 통해 모든 모델을 호출할 수 있습니다. Llama 4 Maverick과 같은 모델은 백만 개의 입력 토큰당 약 0.27달러의 ​​비용으로 실행되므로, 대규모 프로덕션 워크로드를 독점 솔루션보다 훨씬 저렴하게 처리할 수 있습니다. 또한, 이 플랫폼은 긴급하지 않은 작업을 저렴한 비용으로 처리할 수 있는 배치 API도 제공합니다.

Together AI의 독자적인 추론 엔진은 FlashAttention 3와 ATLAS 투기 시스템을 사용하여 표준 구현보다 최대 3.5배 빠른 추론 속도를 제공합니다. NVIDIA H100 하드웨어에서 BF16 정밀도로 약 840 TFLOPs/s의 성능을 달성합니다. 실제 운영 환경에서는 초당 약 400개의 토큰을 처리할 수 있으며, 이는 GPT 4 Turbo의 출력 속도보다 약 2.5~4배 빠른 속도입니다.

이 플랫폼은 최대 100억 개의 파라미터를 가진 모델에 대해 LoRA(저차 적응)와 전체 가중치 미세 조정을 모두 지원합니다. LoRA를 이용한 모델 학습 비용은 16억 개 파라미터 모델까지 백만 토큰당 0.48달러부터 시작합니다. 팀은 자체 데이터를 사용하여 법률, 의료 또는 특정 작업 분야에 특화된 시스템을 구축할 수 있습니다. 고객 지원 애플리케이션 그런 다음 Together AI의 추론 스택에 즉시 배포합니다.

전용 컴퓨팅 자원이 필요한 팀을 위해 Together가 있습니다. AI NVIDIA H100, H200, B200 및 최신 GB200, GB300 NVL72 랙에 즉시 액세스할 수 있습니다. 온디맨드 가격은 H100 노드 기준 시간당 3.49달러부터 시작하며, 장기 예약 시에는 시간당 2.55달러로 가격이 인하됩니다. 따라서 머신러닝 학습 워크로드에 있어 AWS, GCP 또는 Azure의 강력한 대안이 될 수 있습니다.

OpenAI API에서 Together로의 마이그레이션 AI 기본 URL만 변경하면 됩니다. 또한 플랫폼은 코드 실행을 위한 코드 인터프리터를 제공합니다. LLM에서 생성된 코드 샌드박스 환경에서는 세션당 0.03달러에 이용할 수 있으며, 더 큰 규모의 개발 환경을 위한 전체 코드 샌드박스는 vCPU 시간당 요금이 부과됩니다.