AI 연구 논문 데일리

최근 몇 년간 대규모 언어 모델(Large Language Models, LLMs)은 다양한 작업(예: 긴 문맥 이해)에서 놀라운 능력을 보여주었으며 많은 벤치마크가 제안되었습니다. 그러나 우리는 긴 텍스트 생성 능력이 충분히 조사되지 않았다는 점을 관찰했습니다. 따라서 우리는 계층적 긴 텍스트 생성 벤치마크(Hierarchical Long Text Generation Benchmark, HelloBench)를 소개합니다. 이는 LLMs의 긴 텍스트 생성 성능을 평가하기 위한 포괄적이고 현장에서 이루어지며 개방적인 벤치마크입니다. Bloom의 분류법을 기반으로 HelloBench는 긴 텍스트 생성 작업을 열 다섯 하위 작업으로 분류합니다: 개방형 QA, 요약, 채팅, 텍스트 완성, 그리고 휴리스틱 텍스트 생성. 또한 우리는 인간과 일치하는 평가 방법인 계층적 긴 텍스트 평가(Hierarchical Long Text Evaluation, HelloEval)를 제안합니다. 이 방법은 인간 평가에 필요한 시간과 노력을 크게 줄이면서 인간 평가와 높은 상관 관계를 유지합니다. 우리는 주요 LLMs 약 30개를 대상으로 광범위한 실험을 실시했으며 현재 LLMs가 긴 텍스트 생성 능력이 부족하다는 것을 관찰했습니다. 특히, 첫째, 명시적 또는 암시적 길이 제약이 포함된 지시에 관계없이 대부분의 LLMs가 4000단어보다 긴 텍스트를 생성할 수 없다는 점을 관찰했습니다. 둘째, 일부 LLMs가 더 긴 텍스트를 생성할 수 있지만 심각한 반복과 품질 저하와 같은 여러 문제가 존재한다는 점을 관찰했습니다. 셋째, HelloEval의 효과를 입증하기 위해 HelloEval을 전통적인 메트릭(예: ROUGE, BLEU 등) 및 LLM-as-a-Judge 방법과 비교하여 HelloEval이 인간 평가와 가장 높은 상관 관계를 가지고 있음을 보여줍니다. 우리의 코드는 https://github.com/Quehry/HelloBench에서 공개되어 있습니다.

캐릭터 비디오 합성은 사실적인 장면 속에서 애니메이션 가능한 캐릭터의 비디오를 생성하는 것을 목표로 합니다. 컴퓨터 비전 및 그래픽 커뮤니티에서의 기본적인 문제로, 3D 작업은 일반적으로 각각의 경우에 대한 훈련을 위해 다중 뷰 캡처를 필요로 하며, 이는 임의의 캐릭터를 짧은 시간 내에 모델링하는 적용 가능성을 심각하게 제한합니다. 최근 2D 방법은 사전 훈련된 확산 모델을 통해 이 제한을 깨는데, 그러나 자세의 일반성과 장면 상호작용에 어려움을 겪습니다. 이에 우리는 MIMO를 제안합니다. 이는 단순한 사용자 입력에 의해 제어 가능한 속성(예: 캐릭터, 동작 및 장면)을 갖춘 캐릭터 비디오를 합성할 뿐만 아니라 임의의 캐릭터에 대한 고급 확장성, 새로운 3D 동작에 대한 일반성, 그리고 통합된 프레임워크에서 상호작용적인 현실 세계 장면에 적용 가능성을 동시에 달성할 수 있는 혁신적인 프레임워크입니다. 핵심 아이디어는 비디오의 내재적인 3D 특성을 고려하여 2D 비디오를 간결한 공간 코드로 인코딩하는 것입니다. 구체적으로, 우리는 단안 깊이 추정기를 사용하여 2D 프레임 픽셀을 3D로 변환하고, 비디오 클립을 3D 깊이를 기반으로 계층적 레이어에서 세 가지 공간 구성 요소(즉, 주요 인간, 기저 장면 및 부유하는 가림)로 분해합니다. 이러한 구성 요소들은 정규 신분 코드, 구조화된 동작 코드 및 전체 장면 코드로 인코딩되어 합성 프로세스의 제어 신호로 활용됩니다. 공간 분해 모델링의 설계는 유연한 사용자 제어, 복잡한 동작 표현, 그리고 3D 인식 합성을 통한 장면 상호작용을 가능하게 합니다. 실험 결과는 제안된 방법의 효과적이고 견고한 성능을 입증합니다.

최근 다중 모달 대형 언어 모델(MLLMs)의 발전은 다양한 모달리티 간의 데이터를 통합하고 해석하기 위해 노력해왔습니다. 그러나 이러한 모델이 여러 모달리티를 동시에 처리하고 추론하는 능력은 아직 충분히 탐구되지 않았으며, 이는 종합적인 모달리티별 벤치마크의 부족 때문이기도 합니다. 우리는 OmniBench를 소개합니다. 이는 시각적, 음향적, 텍스트적 입력을 동시에 인식, 해석 및 추론하는 모델의 능력을 엄격하게 평가하기 위해 설계된 새로운 벤치마크입니다. 우리는 이러한 삼 모달 처리가 가능한 모델을 omni-language 모델(OLMs)로 정의합니다. OmniBench는 고품질의 인간 주석으로 구별되며, 정확한 응답을 위해서는 세 가지 모달리티를 통합적으로 이해하고 추론해야 합니다. 우리의 주요 발견은 다음과 같습니다: i) 오픈 소스 OLMs는 삼 모달 문맥 내에서의 지시 따르기 및 추론 능력에 중대한 제한이 있으며; ii) 대조적인 이미지와 오디오의 대체 텍스트 표현이 제공되더라도 베이스라인 모델은 성능이 낮습니다(50% 미만의 정확도). 이러한 결과는 텍스트, 이미지 및 오디오에서 일관된 문맥을 구성하는 능력이 기존 MLLM 교육 패러다임에서 종종 간과된다는 것을 시사합니다. 미래 연구가 더 강력한 삼 모달 통합 기술 및 교육 전략을 개발하여 OLM의 성능을 다양한 모달리티에 걸쳐 향상시키는 데 초점을 맞추기를 주장합니다. 코드 및 실시간 리더보드는 https://m-a-p.ai/OmniBench에서 찾을 수 있습니다.

디코더 전용 아키텍처를 가진 대형 언어 모델(Large language models, LLMs)은 맥락 내 학습(in-context learning, ICL) 능력을 높은 수준으로 보여줍니다. 이 기능은 입력 맥락 내 제공된 예시를 활용하여 익숙한 작업과 새로운 작업을 효과적으로 처리할 수 있게 합니다. 이 능력의 잠재력을 인식하여, 우리는 LLMs의 ICL 기능을 활용하여 텍스트 임베딩 생성 과정을 개선하기를 제안합니다. 이를 위해, 우리는 고품질 텍스트 임베딩을 생성하기 위해 소수의 예시를 활용하는 새로운 모델 bge-en-icl을 소개합니다. 우리의 접근 방식은 작업 관련 예시를 쿼리 측면에 직접 통합하여 다양한 작업에서 상당한 개선을 이끌어 냅니다. 게다가, 우리는 LLMs를 임베딩 모델로 효과적으로 활용하는 방법에 대해 연구했습니다. 이 과정에는 다양한 어텐션 메커니즘, 풀링 방법 등이 포함됩니다. 우리의 연구 결과는 원본 프레임워크를 유지하는 것이 종종 최상의 결과를 가져오며, 간단함이 최고임을 강조합니다. MTEB 및 AIR-Bench 벤치마크에서의 실험 결과는 우리의 접근 방식이 최신 기술(SOTA) 성능을 세우는 것을 보여줍니다. 우리의 모델, 코드 및 데이터셋은 https://github.com/FlagOpen/FlagEmbedding 에서 무료로 제공됩니다.

오픈 웨이트 LLM의 품질은 상당히 향상되었지만, 여전히 주로 영어에 초점을 맞추고 있습니다. 본 논문에서는 유럽LLM 프로젝트를 소개하며, 모든 유럽 연합 공식 언어뿐만 아니라 여러 추가 관련 언어에서 텍스트를 이해하고 생성할 수 있는 오픈 웨이트 다국어 LLM 스위트를 개발하는 것을 목표로 합니다. 우리는 오늘까지 이루어진 진전을 개요로 설명하며, 데이터 수집 및 필터링 과정, 스케일링 법칙의 개발, 다국어 토크나이저의 생성, 그리고 데이터 혼합 및 모델링 구성에 대해 상세히 다룹니다. 더불어, 초기 모델인 EuroLLM-1.7B 및 EuroLLM-1.7B-Instruct를 공개하고, 다국어 일반 벤치마크 및 기계 번역에서의 성능을 보고합니다.

새로운 그리고 더 나은 이미지 생성 모델의 지속적인 출시로 합성 이미지 탐지기에 대한 수요가 증가하고 있습니다. 이러한 동적인 분야에서 탐지기는 넓게 일반화되고 제어되지 않은 변경에 강건해야 합니다. 본 연구는 시간, 이미지 변환 및 데이터 소스의 역할을 살펴볼 때 이러한 상황에서 동기부여를 받았습니다. 이러한 실험에서 평가된 탐지기 중에는 보편적인 것이 없지만 결과는 앙상블이 가능함을 나타냅니다. 야외에서 수집된 데이터에 대한 실험은 대규모 데이터셋으로 정의된 것보다 더 도전적인 작업임을 보여주며 실험과 실제 실무 간의 격차를 가리킵니다. 마지막으로, 더 나은 생성기가 더 나은 탐지기로 이끄는 경쟁 균형 효과를 관찰합니다. 이로 인해 분야가 생성기와 탐지기 간에 영원히 가까운 경쟁을 이끌 것으로 가설을 세웁니다.

대부분의 기존 다중 모달성 방법은 자기 회귀 기반 이산 텍스트 생성 및 확산 기반 연속적 시각 생성을 위해 별도의 백본을 사용하거나 시각 데이터를 이산화하여 텍스트 및 시각 생성 모두에 대해 자기 회귀를 사용하는 동일한 백본을 사용합니다. 본 논문에서는 간단한 아이디어를 연구하기로 제안합니다: 자기 회귀 및 확산 모두에 대해 하나의 트랜스포머를 공유합니다. 이 가능성은 두 가지 주요 측면에서 나타납니다: (i) 트랜스포머가 시각 생성을 위해 확산에 성공적으로 적용되었으며, (ii) 자기 회귀 및 확산을 위한 트랜스포머 훈련이 매우 유사하며 차이점은 확산이 양방향 어텐션 마스크를 사용하고 자기 회귀가 인과 어텐션 마스크를 사용한다는 것입니다. 실험 결과는 저희 방법이 현재 최첨단 방법과 유사한 이미지 생성 성능을 달성하며 텍스트 생성 능력을 유지한다는 것을 보여줍니다. 해당 프로젝트는 https://monoformer.github.io/에서 공개되어 있습니다.

인간 시각 시스템은 모든 형태와 크기의 얼굴을 감지하는 데 민감하게 조정되어 있습니다. 이는 알려지지 않은 포식자를 더 잘 발견할 가능성과 같은 명백한 생존 장점을 가져오지만, 동시에 잘못된 얼굴 감지로 이어집니다. "얼굴 페레이돌리아"는 그 외의 무작위 자극 속에서 얼굴과 같은 구조를 인식하는 현상을 설명합니다: 커피 얼룩이나 하늘의 구름 속에서 얼굴을 보는 것과 같은 것입니다. 본 논문에서는 컴퓨터 비전 관점에서 얼굴 페레이돌리아를 연구합니다. 우리는 "물건 속의 얼굴"이미지 데이터셋을 제시합니다. 이 데이터셋은 인간이 주석을 단 얼굴을 가진 다섯 천 개의 웹 이미지로 구성되어 있습니다. 이 데이터셋을 사용하여 최첨단 인간 얼굴 감지기가 얼굴 페레이돌리아를 나타내는지를 조사하고, 인간과 기계 간에 상당한 행동적 격차를 발견합니다. 우리는 인간이 동물 얼굴 뿐만 아니라 인간 얼굴을 감지해야 하는 진화적 필요성이 이 격차의 일부를 설명할 수 있다는 것을 발견했습니다. 마지막으로, 이미지에서의 페레이돌리아에 대한 간단한 통계 모델을 제안합니다. 인간 대상 연구 및 우리의 페레이돌릭 얼굴 감지기를 통한 연구를 통해 우리 모델의 주요 예측이 어떤 이미지 조건이 페레이돌리아를 유발하기 가장 가능성이 높은지 확인합니다. 데이터셋 및 웹사이트: https://aka.ms/faces-in-things

마스크 트랜스포머 모델은 클래스 조건부 이미지 생성을 위한 유망한 대안으로 부각되어 왔으며 확산 모델에 대한 대안이 되고 있다. 일반적으로 두 단계로 구성되는데, 첫 번째는 잠재 공간과 이미지 공간 간의 전환을 위한 초기 VQGAN 모델이 포함되고, 두 번째는 잠재 공간 내에서 이미지 생성을 위한 Transformer 모델이 포함된다. 이러한 프레임워크는 이미지 합성을 위한 유망한 방법을 제공한다. 본 연구에서는 두 가지 주요 기여를 제시한다. 첫째, 현대화된 VQGAN을 이끌어내기 위한 경험적이고 체계적인 조사. 둘째, 풍부한 의미론을 가진 토큰의 이진 양자화 표현인 비트 토큰에 직접 작용하는 새로운 임베딩 없는 생성 네트워크. 첫 번째 기여는 투명하고 재현 가능하며 성능이 우수한 VQGAN 모델을 제공하여 접근성을 향상시키고 현재의 최첨단 방법들과 성능을 맞추면서 이전에 공개되지 않은 세부 사항을 드러낸다. 두 번째 기여는 비트 토큰을 사용한 임베딩 없는 이미지 생성이 ImageNet 256x256 벤치마크에서 새로운 최첨단 FID 1.52를 달성하며, 단 305M 매개변수의 간결한 생성자 모델을 제시한다.

과거 몇십 년 동안 시계열 예측을 위한 딥러닝 기술은 상당한 발전을 이루었습니다. 그러나 언어 및 시각 분야에서 대규모 사전 훈련의 성공에도 불구하고, 사전 훈련된 시계열 모델은 규모가 제한되어 있고 높은 비용으로 운영되어 실제 응용에서 더 큰 성능을 가진 예측 모델의 개발을 방해하고 있습니다. 이에 우리는 추론 비용을 줄이면서 더 크고 더 강력한 예측 기반 모델을 사전 훈련하기 위해 설계된 확장 가능하고 통합된 구조인 Time-MoE를 소개합니다. 희소한 전문가 집합(MoE) 설계를 활용하여 Time-MoE는 각 예측에 대해 네트워크의 하위 집합만 활성화하여 계산 효율성을 향상시키고 계산 부하를 줄이면서 높은 모델 용량을 유지합니다. 이를 통해 Time-MoE는 대응하는 추론 비용 증가 없이 효과적으로 확장할 수 있습니다. Time-MoE는 자기 회귀 방식으로 작동하며 다양한 입력 컨텍스트 길이로 유연한 예측 범위를 지원하는 디코더 전용 트랜스포머 모델 패밀리로 구성되어 있습니다. 우리는 이러한 모델을 최근 소개된 대규모 데이터 Time-300B에서 사전 훈련했으며, 이 데이터는 9개 도메인에 걸쳐 3000억 개 이상의 시간 지점을 포함하고 있습니다. 우리는 시계열 기반 모델을 24억 개의 매개변수까지 확장하여, 크게 향상된 예측 정확도를 달성했습니다. 우리의 결과는 시계열 예측의 맥락에서 토큰 및 모델 크기의 훈련 법칙의 적용 가능성을 검증합니다. 동일한 활성화된 매개변수 수나 동등한 계산 예산을 가진 밀집 모델과 비교했을 때, 우리의 모델은 일관되게 큰 폭으로 그들을 능가합니다. 이러한 발전으로 Time-MoE는 우수한 능력, 효율성 및 유연성을 갖춘 현실 세계의 시계열 예측 과제에 대한 최첨단 솔루션으로 위치하게 되었습니다.

본 기술 보고서에서는 최첨단 애니메이션 이미지 생성 모델인 NovelAI Diffusion V3를 훈련하는 과정에서 SDXL에 가한 변경 사항을 문서화합니다.

로봇 조작 정책이 보이지 않는 객체 유형 및 새로운 동작을 포함하는 새로운 작업에 대해 어떻게 일반화될 수 있을까요? 본 논문에서는 웹 데이터로부터 움직임 정보를 예측하고 로봇 정책을 생성된 비디오에 조건을 걸어 제시합니다. 비싼 로봇 데이터 수집을 확장하려는 대신, 우리는 일반화를 가능하게 하는 쉽게 이용 가능한 웹 데이터에서 훈련된 비디오 생성 모델을 활용하는 방법을 보여줍니다. 우리의 접근 방식인 Gen2Act는 제로샷 인간 비디오 생성으로 조건부 조작을 구현하고 생성된 비디오에 조건이 걸린 단일 정책으로 실행합니다. 정책을 훈련하기 위해 우리는 비디오 예측 모델이 훈련된 것보다 한 단계 낮은 수준의 로봇 상호 작용 데이터를 사용합니다. Gen2Act는 비디오 모델을 전혀 미세 조정할 필요가 없으며 인간 비디오를 생성하기 위해 사전 훈련된 모델을 직접 사용합니다. 다양한 실제 시나리오에서의 결과는 Gen2Act가 로봇 데이터에 없는 작업을 위해 보이지 않는 객체 유형을 조작하고 새로운 동작을 수행하는 능력을 보여줍니다. 비디오는 https://homangab.github.io/gen2act/에서 확인할 수 있습니다.

대형 언어 모델(LLM)과 비교하면 대형 시각-언어 모델(LVLM)은 이미지를 입력으로 받아들일 수 있어서 더 흥미로운 신생 능력을 보여주며 다양한 시각-언어 작업에서 인상적인 성능을 나타냅니다. LLM의 텍스트 프롬프팅에 영감을 받아 시각 프롬프팅이 LVLM의 시각 정보 인식 능력을 향상시키는 데 탐구되었습니다. 그러나 이전의 시각 프롬프팅 기술은 텍스트 쿼리를 고려하지 않고 시각 입력만 처리하여 모델이 작업을 완료하기 위해 텍스트 지침을 따르는 능력을 제한했습니다. 이러한 공백을 메우기 위해 본 연구에서는 이미지에 대한 주의 프롬프팅이라는 새로운 프롬프팅 기술을 제안합니다. 이 기술은 단순히 원본 입력 이미지 위에 텍스트 쿼리에 따라 안내되는 주의 히트맵을 오버레이하고 LVLM의 다양한 작업을 효과적으로 향상시킵니다. 구체적으로, 우리는 CLIP와 같은 보조 모델을 사용하여 입력 이미지에 대한 텍스트 쿼리에 따른 주의 히트맵을 생성합니다. 그런 다음 히트맵은 단순히 원본 이미지의 픽셀 값에 곱해져 LVLM에 대한 실제 입력 이미지를 얻습니다. 다양한 시각-언어 벤치마크에서의 광범위한 실험은 우리 기술의 효과를 검증합니다. 예를 들어, 이미지에 대한 주의 프롬프팅은 LLaVA-1.5에서 MM-Vet 및 LLaVA-Wild 벤치마크에서 각각 3.8% 및 2.9%의 성능 향상을 이룹니다.

대형 언어 모델(LLM)이 더 고도화된 지능 형태로 발전함에 따라 인간 피드백으로부터 강화 학습(RLHF)이 인공 일반 지능(AGI)을 달성하기 위한 핵심 경로로 점점 더 인식되고 있습니다. 그러나 보상 모델 기반(RM 기반) 정렬 방법에 의존하는 것은 보상 모델(RM)의 내재적 불안정성과 불완전성으로 인해 중요한 도전에 직면하게 됩니다. 이는 보상 해킹과 인간 의도와의 불일치와 같은 중요한 문제로 이어질 수 있습니다. 본 논문에서는 이러한 기본적 도전에 대응하기 위해 목표로 하는 보상 강건 RLHF 프레임워크를 소개하며, 이를 통해 LLM에서 더 신뢰할 수 있고 견고한 학습을 위한 길을 열어갑니다. 우리의 접근 방식은 베이지안 보상 모델 앙상블(BRME)을 통합하여 보상 함수의 불확실성 집합을 모델링함으로써 성능과 강건성을 신중하게 균형있게 조화시키는 새로운 최적화 목표를 제시합니다. 이를 통해 프레임워크는 명목 성능과 최소 보상 신호를 통합하여 더 안정적인 학습을 보장하며 불완전한 보상 모델에서도 안정적인 학습을 가능케 합니다. 경험적 결과는 우리의 프레임워크가 다양한 벤치마크에서 전통적인 RLHF를 일관되게 능가하며 향상된 정확성과 장기 안정성을 보여준다는 것을 입증합니다. 또한 상수 보상 설정의 안정성에 접근하는 것을 보여주는 이론적 분석을 제시합니다. 이는 확률적 케이스 분석에서 효과적임이 입증됩니다. 이러한 기여들은 프레임워크가 LLM 정렬의 성능과 안정성을 향상시킬 잠재력을 강조합니다.

보상 모델(RMs)은 대형 언어 모델(LLMs)을 인간의 선호에 맞추는 데 중추적인 역할을 합니다. 그러나 특정 프롬프트에 묶인 응답 쌍에 의존하는 전통적인 RM 훈련은 응답 길이와 형식과 같은 프롬프트 독립적 아티팩트로부터 프롬프트 주도적 선호를 분리하는 데 어려움을 겪습니다. 본 연구에서는 현재의 RM 훈련 방법의 근본적인 한계를 드러내어, RM이 선호를 결정할 때 문맥 신호와 관련 없는 아티팩트를 효과적으로 구별하지 못하는 것을 보여줍니다. 이를 해결하기 위해, 이러한 아티팩트와 독립적으로 선호를 학습하는 인과적 프레임워크를 소개하고, 이를 제거하기 위해 설계된 새로운 데이터 증강 기술을 제안합니다. 광범위한 실험을 통해 우리의 접근 방식이 원치 않는 아티팩트를 성공적으로 걸러내어 더 견고한 보상 모델(RRM)을 얻는 데 성공했음을 보여줍니다. 우리의 RRM은 Gemma-2-9b-it에서 훈련된 쌍별 보상 모델의 성능을 향상시켜 RewardBench에서의 정확도를 80.61%에서 84.15%로 높였습니다. 또한 RM과 RRM을 모두 사용하여 두 개의 DPO 정책을 훈련시켰으며, RRM이 DPO에 맞춘 정책을 크게 향상시키는 것을 보여주었습니다. MT-Bench 점수를 7.27에서 8.31로, AlpacaEval-2의 길이 제어된 승률을 33.46%에서 52.49%로 향상시켰습니다.

명명된 개체 인식(Named Entity Recognition, NER)에 대한 전통적인 접근 방식은 BIO 시퀀스 레이블링 문제로 구성됩니다. 이러한 시스템들은 종종 주어진 하위 작업에서 뛰어난 성과를 보이지만, 상세하게 주석이 달린 데이터가 필요하며, 분포 범위를 벗어나는 입력 도메인 및 보이지 않는 개체 유형에 대한 일반화에 어려움을 겪습니다. 반면에 대형 언어 모델(Large Language Models, LLMs)은 강력한 제로샷 능력을 증명해왔습니다. 영어에서 제로샷 NER을 다룬 연구들이 여러 개 있지만, 다른 언어에서는 그렇지 않습니다. 본 논문에서는 이탈리아어에 대해 적용하는 제로샷 NER을 위한 평가 프레임워크를 정의합니다. 게다가, 우리는 SLIMER의 이탈리아어 버전인 SLIMER-IT을 소개합니다. 이는 정의와 지침이 풍부하게 담긴 프롬프트를 활용하는 제로샷 NER을 위한 지침 조정 접근 방식입니다. 다른 최신 모델들과의 비교를 통해, SLIMER-IT이 이전에 본 적 없는 개체 태그에서 우수성을 입증합니다.

모방 학습은 복잡한 시각운동 정책을 훈련하는 강력한 도구로 입증되었습니다. 그러나 현재의 방법은 종종 고차원 시각 관측을 처리하기 위해 수백 개에서 수천 개의 전문가 데모를 필요로 합니다. 이러한 낮은 데이터 효율성의 주요 이유 중 하나는 시각적 표현이 주로 도메인 외 데이터에서 사전 훈련되거나 행동 복제 목적으로 직접 훈련되기 때문입니다. 본 연구에서는 시각적 표현을 학습하기 위한 새로운 도메인 내 자가 지도 방법인 DynaMo를 제안합니다. 전문가 데모 세트를 고려할 때, 이미지 임베딩 순서 상에서 다음 프레임을 잠재 공간에서 예측하는 잠재 역학 모델과 순방향 역학 모델을 공동으로 학습합니다. 이때 보강, 대조적 샘플링 또는 실제 행동에 대한 접근 없이 진행됩니다. 중요한 점은 DynaMo가 인터넷 데이터셋이나 교차된 데이터셋과 같은 도메인 외 데이터를 필요로 하지 않는다는 것입니다. 6개의 시뮬레이션 및 실제 환경을 대상으로 한 실험 결과, DynaMo로 학습된 표현이 이전의 자가 지도 학습 목적 및 사전 훈련된 표현보다 모방 학습 성능을 크게 향상시킨다는 것을 보여줍니다. DynaMo 사용으로 인한 이득은 Behavior Transformer, 확산 정책, MLP 및 최근접 이웃과 같은 정책 클래스에 걸쳐 유지됩니다. 마지막으로, DynaMo의 주요 구성 요소에 대한 실험을 통해 하부 정책 성능에 미치는 영향을 측정합니다. 로봇 비디오는 https://dynamo-ssl.github.io에서 확인할 수 있습니다.

합성 탭러 데이터 생성은 머신 러닝에서 중요한데, 실제 데이터가 제한적이거나 민감할 때 특히 중요합니다. 전통적인 생성 모델은 종종 탭러 데이터의 고유한 특성으로 인해 도전에 직면하며, 이는 혼합 데이터 유형과 다양한 분포 등을 포함하며 복잡한 전처리나 대규모 사전 훈련 모델이 필요합니다. 본 논문에서는 모든 탭러 데이터를 고정 크기의 이진 표현으로 변환하는 새로운 손실 없는 이진 변환 방법을 소개하고, Binary Diffusion이라는 새로운 생성 모델을 소개합니다. Binary Diffusion은 이진 데이터에 특별히 설계된 모델로, XOR 연산의 간편함을 활용하여 노이즈 추가 및 제거를 수행하고 훈련을 위해 이진 교차 엔트로피 손실을 사용합니다. 저희 방법은 복잡한 전처리, 복잡한 노이즈 매개변수 조정, 대규모 데이터셋 사전 훈련의 필요성을 제거합니다. 저희 모델을 몇 가지 인기 있는 탭러 벤치마크 데이터셋에서 평가하여, Binary Diffusion이 Travel, Adult Income, Diabetes 데이터셋에서 기존의 최첨단 모델을 능가하면서 크기가 훨씬 작음을 보여줍니다.