Sword Gai có nội dung xoay quanh Gai – cậu ta được tìm thấy bên cạnh một người phụ nữ đã chết trong một cánh rừng nọ. Gai đã được cứu và nuôi nấng bởi Kiếm sĩ Amon. Vài năm sau, Gai trở thành người học việc của Amon, và trong lúc rèn kiếm, anh chàng đã làm mất cánh tay phải. Để giúp Gai, Amon nghiền nát thanh kiếm quỷ Shiryū  để biến nó thành cánh tay phải thay thế cho Gai. Gai sau đó có thể câu thông với vũ khí trên cánh tay của mình đểchiến đấu chống lại kẻ thù.