From dae92b95e343253c3bb6e24529a5f0dce1912cc4 Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Sun, 30 Aug 2026 19:33:06 +0000 Subject: [PATCH 1/3] =?UTF-8?q?=E2=9A=A1=20Bolt:=20=EC=84=B1=EB=8A=A5=20?= =?UTF-8?q?=ED=96=A5=EC=83=81=20-=20=EB=B6=88=ED=95=84=EC=9A=94=ED=95=9C?= =?UTF-8?q?=20=EB=A9=94=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=20=EB=B0=8F?= =?UTF-8?q?=20=ED=95=A8=EC=88=98=20=EC=98=A4=EB=B2=84=ED=97=A4=EB=93=9C=20?= =?UTF-8?q?=EC=A0=9C=EA=B1=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 부분 집합 추출 시 불필요한 메모리 복사를 방지하기 위해 `colnames(df[cols])`를 `intersect(colnames(df), cols)`로 변경하고, 고유값의 길이를 계산할 때 `length(stats::na.omit(unique(...)))`를 `sum(!is.na(unique(...)))`로 변경하여 함수 오버헤드를 줄였습니다. --- .jules/bolt.md | 9 +++++++++ R/aFIPC.R | 15 +++++++++------ 2 files changed, 18 insertions(+), 6 deletions(-) diff --git a/.jules/bolt.md b/.jules/bolt.md index 7d3c603f..46adfa2e 100644 --- a/.jules/bolt.md +++ b/.jules/bolt.md @@ -16,3 +16,12 @@ ## 2025-02-12 - R 언어에서 반복적인 mirt 모델 생성 시 불필요한 데이터프레임 부분집합 추출 최적화 **Learning:** R에서 데이터프레임의 특정 열을 추출하는 작업(`df[cols]`)은 O(N)의 메모리 복사를 수반합니다. `autoFIPC`에서 `mirt` 모델의 파라미터를 설정하거나 호출하는 과정 중에 `newformXDataK[colnames(newFormModel@Data$data)]` 코드가 반복해서 사용되었고, 심지어 `ncol()`을 위해 단순히 개수를 구할 때도 사용되어 불필요한 메모리 할당과 오버헤드를 초래했습니다. **Action:** 조건문이나 반복문 내부에서 불필요하게 데이터프레임 부분집합 연산이 반복되지 않도록 외부에서 한 번만 `linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)]`로 캐싱(caching)한 뒤, `ncol(linkedFormData)`와 `data = linkedFormData` 형태로 재사용하여 메모리 복사와 O(N) 오버헤드를 방지해야 합니다. + +## 2024-05-24 - [데이터 프레임 메모리 복사 및 함수 오버헤드 최적화] +**Learning:** +- R에서 열 이름을 추출하기 위해 `colnames(df[cols])`를 사용하는 것은 데이터 프레임을 서브셋팅할 때 불필요한 O(N) 메모리 복사를 발생시킨다는 것을 배웠습니다. `intersect(colnames(df), cols)`를 사용하면 데이터를 복사하지 않고 집합 연산만으로 동일한 결과를 훨씬 빠르게 얻을 수 있습니다. +- 고유한 non-NA 값의 갯수를 세기 위해 `length(stats::na.omit(unique(x)))`를 사용하는 경우, `na.omit()` 함수가 내부적으로 S3 메서드 디스패치 및 `na.action` 속성 할당 등을 수행하여 루프 내에서 상당한 오버헤드를 발생시킵니다. 이를 `sum(!is.na(unique(x)))`로 대체하면 이러한 오버헤드 없이 동일한 결과를 훨씬 빠르게 얻을 수 있습니다. + +**Action:** +- 데이터 프레임에서 특정 열들의 이름이 존재하는지 확인할 때는 항상 서브셋팅 대신 `intersect()`를 활용할 것. +- 결측값이 아닌 값들의 갯수를 셀 때는 속성 할당이나 메서드 디스패치가 없는 순수 논리 벡터의 합(`sum(!is.na())`)을 사용할 것. diff --git a/R/aFIPC.R b/R/aFIPC.R index 62546519..b5261088 100644 --- a/R/aFIPC.R +++ b/R/aFIPC.R @@ -620,8 +620,9 @@ autoFIPC <- IPDItemCount <- 0 # IPD target item checking - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + # ⚡ Bolt: Use intersect to avoid O(N) memory copy caused by dataframe subsetting + newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) + oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) # ⚡ Bolt: Vectorized match() to avoid dynamic array growth overhead inside a for loop idxNew <- match(newformCommonItemNames, newFormColNames) @@ -749,8 +750,9 @@ autoFIPC <- } } - newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) - oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) + # ⚡ Bolt: Use intersect to avoid O(N) memory copy caused by dataframe subsetting + newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) + oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) # ⚡ Bolt: Cache parameter indices to avoid O(N) linear search inside loop newScaleParmsItemIdxCache <- split(seq_len(nrow(NewScaleParms)), NewScaleParms$item) @@ -770,8 +772,9 @@ autoFIPC <- if ( !is.na(newFormItemName) && !is.na(oldFormItemName) && - (length(stats::na.omit(unique(newFormModel@Data$data[, newFormItemName]))) == - length(stats::na.omit(unique(oldFormModel@Data$data[, oldFormItemName])))) + # ⚡ Bolt: Use sum(!is.na()) instead of length(stats::na.omit()) to avoid method dispatch and memory allocation overhead + (sum(!is.na(unique(newFormModel@Data$data[, newFormItemName]))) == + sum(!is.na(unique(oldFormModel@Data$data[, oldFormItemName])))) ) { message( 'applying ', From 600b50ac5cee3e36f8c2f2260fc8125ecf8791b9 Mon Sep 17 00:00:00 2001 From: seonghobae <8172694+seonghobae@users.noreply.github.com> Date: Sun, 30 Aug 2026 19:38:00 +0000 Subject: [PATCH 2/3] =?UTF-8?q?=E2=9A=A1=20Bolt:=20=EC=84=B1=EB=8A=A5=20?= =?UTF-8?q?=ED=96=A5=EC=83=81=20-=20=EB=B6=88=ED=95=84=EC=9A=94=ED=95=9C?= =?UTF-8?q?=20=EB=A9=94=EB=AA=A8=EB=A6=AC=20=EB=B3=B5=EC=82=AC=20=EB=B0=8F?= =?UTF-8?q?=20=ED=95=A8=EC=88=98=20=EC=98=A4=EB=B2=84=ED=97=A4=EB=93=9C=20?= =?UTF-8?q?=EC=A0=9C=EA=B1=B0?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 데이터 프레임 부분 집합 추출 시 불필요한 메모리 복사를 방지하기 위해 `colnames(df[cols])`를 `intersect(colnames(df), cols)`로 변경하고, 고유값의 길이를 계산할 때 `length(stats::na.omit(unique(...)))`를 `sum(!is.na(unique(...)))`로 변경하여 함수 오버헤드를 줄였습니다. From 645fe1061d0a40461e703575c0ff6a1a90846896 Mon Sep 17 00:00:00 2001 From: Seongho Bae Date: Sat, 5 Sep 2026 04:49:54 +0900 Subject: [PATCH 3/3] repair(autoFIPC): restore strict column-subset semantics --- .jules/bolt.md | 9 --------- R/aFIPC.R | 11 ++++------- 2 files changed, 4 insertions(+), 16 deletions(-) diff --git a/.jules/bolt.md b/.jules/bolt.md index 46adfa2e..7d3c603f 100644 --- a/.jules/bolt.md +++ b/.jules/bolt.md @@ -16,12 +16,3 @@ ## 2025-02-12 - R 언어에서 반복적인 mirt 모델 생성 시 불필요한 데이터프레임 부분집합 추출 최적화 **Learning:** R에서 데이터프레임의 특정 열을 추출하는 작업(`df[cols]`)은 O(N)의 메모리 복사를 수반합니다. `autoFIPC`에서 `mirt` 모델의 파라미터를 설정하거나 호출하는 과정 중에 `newformXDataK[colnames(newFormModel@Data$data)]` 코드가 반복해서 사용되었고, 심지어 `ncol()`을 위해 단순히 개수를 구할 때도 사용되어 불필요한 메모리 할당과 오버헤드를 초래했습니다. **Action:** 조건문이나 반복문 내부에서 불필요하게 데이터프레임 부분집합 연산이 반복되지 않도록 외부에서 한 번만 `linkedFormData <- newformXDataK[colnames(newFormModel@Data$data)]`로 캐싱(caching)한 뒤, `ncol(linkedFormData)`와 `data = linkedFormData` 형태로 재사용하여 메모리 복사와 O(N) 오버헤드를 방지해야 합니다. - -## 2024-05-24 - [데이터 프레임 메모리 복사 및 함수 오버헤드 최적화] -**Learning:** -- R에서 열 이름을 추출하기 위해 `colnames(df[cols])`를 사용하는 것은 데이터 프레임을 서브셋팅할 때 불필요한 O(N) 메모리 복사를 발생시킨다는 것을 배웠습니다. `intersect(colnames(df), cols)`를 사용하면 데이터를 복사하지 않고 집합 연산만으로 동일한 결과를 훨씬 빠르게 얻을 수 있습니다. -- 고유한 non-NA 값의 갯수를 세기 위해 `length(stats::na.omit(unique(x)))`를 사용하는 경우, `na.omit()` 함수가 내부적으로 S3 메서드 디스패치 및 `na.action` 속성 할당 등을 수행하여 루프 내에서 상당한 오버헤드를 발생시킵니다. 이를 `sum(!is.na(unique(x)))`로 대체하면 이러한 오버헤드 없이 동일한 결과를 훨씬 빠르게 얻을 수 있습니다. - -**Action:** -- 데이터 프레임에서 특정 열들의 이름이 존재하는지 확인할 때는 항상 서브셋팅 대신 `intersect()`를 활용할 것. -- 결측값이 아닌 값들의 갯수를 셀 때는 속성 할당이나 메서드 디스패치가 없는 순수 논리 벡터의 합(`sum(!is.na())`)을 사용할 것. diff --git a/R/aFIPC.R b/R/aFIPC.R index b5261088..c8bdc58a 100644 --- a/R/aFIPC.R +++ b/R/aFIPC.R @@ -620,9 +620,8 @@ autoFIPC <- IPDItemCount <- 0 # IPD target item checking - # ⚡ Bolt: Use intersect to avoid O(N) memory copy caused by dataframe subsetting - newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) - oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) + newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) + oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) # ⚡ Bolt: Vectorized match() to avoid dynamic array growth overhead inside a for loop idxNew <- match(newformCommonItemNames, newFormColNames) @@ -750,9 +749,8 @@ autoFIPC <- } } - # ⚡ Bolt: Use intersect to avoid O(N) memory copy caused by dataframe subsetting - newFormColNames <- intersect(colnames(newFormModel@Data$data), colnames(newformXDataK)) - oldFormColNames <- intersect(colnames(oldFormModel@Data$data), colnames(oldformYDataK)) + newFormColNames <- colnames(newformXDataK[colnames(newFormModel@Data$data)]) + oldFormColNames <- colnames(oldformYDataK[colnames(oldFormModel@Data$data)]) # ⚡ Bolt: Cache parameter indices to avoid O(N) linear search inside loop newScaleParmsItemIdxCache <- split(seq_len(nrow(NewScaleParms)), NewScaleParms$item) @@ -772,7 +770,6 @@ autoFIPC <- if ( !is.na(newFormItemName) && !is.na(oldFormItemName) && - # ⚡ Bolt: Use sum(!is.na()) instead of length(stats::na.omit()) to avoid method dispatch and memory allocation overhead (sum(!is.na(unique(newFormModel@Data$data[, newFormItemName]))) == sum(!is.na(unique(oldFormModel@Data$data[, oldFormItemName])))) ) {