演講 / Speaking

Triton as NLP Model Inference Back-end

日期 / Date
2022/07/30
類型 / Type
演講 / Speaking
活動 / Event
開源人年會COSCUP
地點 / Location
國立台灣科技大學

Context

內容摘要

中文

這場演講是我在 COSCUP 開源人年會所分享的內容。本次為全英文分享。 我介紹了 Triton Server 的基本機制,並且以 Live Demo 的方式部署了一個 NLP model 到 Triton Server。

English

This speech was shared in COSCUP, which is the largest Open source conference in Taiwan. This is an English session. I introduced basic knowledge of Triton Inference Server and deploy NLP model to Triton with a practical sample.

Details

技術分類與活動連結

主題

  • NLP

主要連結

Event Records

活動紀錄

Triton as NLP Model Inference Back-end
Screenshot / 截圖
Triton as NLP Model Inference Back-end
Screenshot / 截圖