대학보유기술

중앙대학교에서 보유하고 있는 기술 입니다.
클릭 시 상세 정보 확인 및 상담신청이 가능합니다.

상담신청

보유기술정보
출원번호 / 일자	1020230001241 (2023-01-04)
등록번호 / 일자	1026240740000 (2024-01-08)
발명자	중앙대학교 산학협력단
기술명	비디오 표현 학습 장치 및 방법

요약

비디오 학습 표현 장치 및 방법이 개시된다. 일 실시예에 따른 비디오 표현 학습 장치는 비디오 데이터로부터 비디오 특징을 추출하여 비디오 임베딩 (embedding)을 생성하는 학생 네트워크(student network), 비디오 데이터로부터 추출된 이미지 데이터로부터 이미지 특성을 추출하여 이미지 임베딩을 생성하는 제 1 교사 네트워크(teacher network) 및 비디오 데이터로부터 추출된 오디오 데이터로부터 오디오 특성을 추출하여 오디오 임베딩을 생성하는 제 2 교사 네트워크를 포함하는 특징 추출부; 비디오 임베딩 및 이미지 임베딩에 기초한 제 1 구성 임베딩(compositional embedding)을 생성하는 제 1 구성 신경망 및 비디오 임베딩 및 오디오 임베딩에 기초한 제 2 구성 임베딩을 생성하는 제 2 구성 신경망을 포함하는 구성 임베딩 네트워크부; 이미지 임베딩 및 오디오 임베딩 간 연관 관계를 추정하도록 학습된 샴 신경망(Siamese Neural Network)을 이용하여 이미지 임베딩 및 오디오 임베딩을 기초로 양성 샘플(positive samples) 및 음성 샘플(negative samples)을 생성하는 샘플 생성부; 및 비디오 임베딩, 제 1 구성 임베딩, 제 2 구성 임베딩, 양성 샘플 및 음성 샘플을 이용하여 학생 네트워크를 학습시키기 위한 하나 이상의 손실 ...(이하생략)

목록 상담신청