Unable to append to SQL Server table using sqlSave in R
我正在尝试使用 R 中 RODBC 包的 sqlSave 函数更新 SQL 表。
数据存在于数据框中。
当我尝试运行命令时:
|
1
|
sqlSave(DBConn, dat=df, verbose=T, tablename=‘table’, append=T)
|
我收到以下错误:
|
1
2 3 4 |
Query: INSERT INTO“table” (“col1”,“col2”,“col3”,“col4” ) VALUES ( ?,?,?,?,? )
sqlwrite returned 42000 –131 [Sybase][ODBC Driver][Sybase IQ]Syntax error near ‘table’ ON line 1 [RODBC] ERROR: Could NOT SQLPrepare ‘INSERT INTO”table” (“col1″,”col2″,”col3″,”col4” ) VALUES ( ?,?,?,?,? )’ |
我在这里做错了什么,所以我没有得到 SQLQuery 中的值?
提前感谢您的帮助
@Gordon 评论后编辑 1:
错误显示 5 个占位符,但我的 data.frame 只有 4 列。我做了 dim(df) 并得到 4。它是否与 df 的行索引有关?
编辑 2
关于执行以下操作:
|
1
|
sqlSave(DBConn, dat=df, verbose=T, tablename=‘table’, append=T)
|
现在我得到的错误仍然与 4 个占位符相同,但所有值仍然是 (?,?,?,?)
编辑 3
我也尝试使用 sqlUpdate
|
1
|
sqlUpdate(DBConn, dat=df, verbose=T, tablename=‘table’)
|
我现在得到的错误是:
|
1
2 3 |
Query: UPDATE“table” SET“col2”=?,“col3”=?,“col4”=? WHERE“col1”=?
Error IN sqlUpdate(DBConn, t, tablename =“table”, verbose = T) : 42000 –131 [Sybase][ODBC Driver][Sybase IQ]Syntax error near ‘table’ ON line 1[RODBC] ERROR: Could NOT SQLPrepare ‘UPDATE”table” SET”col2″=?,”col3″=?,”col4″=? WHERE”col1″=?’ |
- 一方面,您有四列和五个占位符。
- @GordonLinoff:很好的观察。但是做 dim(t) 只给出 4。可以是因为 row inde 或与之相关的东西吗?
- FWIW 我从来没有能够让这个命令正确地附加现有的表;这对我来说似乎是一个错误。
- @nrussell 我也试过 sqlUpdate 。命令和我得到的错误在 EDIT 3 下。你能看看它还是建议一种你喜欢将 R 的数据框上传到 sql server 的方式?
- 我能够将数据插入现有表的唯一方法是手动生成 INSERT 语句,如此处所示。不幸的是,这不如利用数据库的本机批量插入/准备语句功能高效,如果 sqlSave 正常运行,它可能会这样做,但总比没有好。
- @nrussell 感谢分享代码。我可以做到这一点,但问题是我要插入大约 100000 个并且使用它非常低效,因为 100 个值大约需要 3 秒。
- 首先将所有数据发送到 SQL 中的(不存在的)临时表,然后运行像 SET NOCOUNT ON; INSERT INTO (<columns…>) SELECT * FROM <temporary table>; SET NOCOUNT OFF; DROP TABLE <temporary table>; 这样的单独语句或类似性质的东西,可能会更有效。我没有对此进行测试,但我认为它比单个插入更快。
- @nrussell 如果我错了,请纠正我,但发送到临时表仍然会调用 100000 INSERT INTO 语句,这将再次花费相同的时间。考虑到在这种情况下使用的查询将再次相同,如何更有效地插入临时表?
- 假设 sqlSave 编写正确(WRT 创建新表),它应该使用准备好的语句来创建/填充临时表,而不是执行单独的插入。我目前无权访问数据库,但您会执行类似 sqlSave(DBConn, dat = df, tablename = ‘#temp_table’, append = FALSE) 的操作来上传数据,然后按照我之前评论中的说明继续操作。
- 数据框是否正好包含 4 列?如果不是子集列。还要检查数据类型是否对齐。另外,表名真的是表吗?如果是这样,请考虑重命名,因为它是 SQL Server 中的保留关键字。
数据类型和列名有可能是个问题。
所以最好获取表的数据类型和列名,并分配给数据框。
|
1
2 3 4 5 6 |
ColumnsOfTable <- sqlColumns(conn, tablename)
varTypes <- AS.character(ColumnsOfTable$TYPE_NAME) names(varTypes) <- AS.character(ColumnsOfTable$COLUMN_NAME) colnames(dataObject) <- AS.character(ColumnsOfTable$COLUMN_NAME) sqlSave(conn, dataObject, tableNames, fast=TRUE,append=TRUE, rownames=FALSE, varTypes=varTypes ) |
我遇到此问题的原因是:我试图追加到具有自动递增标识列的表。如果我从数据框中省略了这一列,它会给我这个错误 missing columns in ‘data’。如果我将此列设为 NA,它将给我 Invalid character value for cast specification,我能够使用 verbose=TRUE 进行故障排除。要解决此问题,请从包含除主键之外的所有列的表中创建一个 VIEW,以便您可以附加到此 VIEW 而不是表,然后您不需要附加主键。就我而言,该视图称为”insert_view”
var_Types <- as.character(as.character(c(“int”,”int”,”varchar(50)”,”nvarchar(MAX)”)))
names(var_Types) <- as.character(ColumnsOfTable$COLUMN_NAME)
sqlSave(ch, dataframe,”dbo.insert_view”,rownames=FALSE,append = TRUE,varTypes=var_Types,verbose = TRUE)
如果插入查询中的任何列名与原始表中的列名相同,请在 sqlSave 参数中使用 verbose=TRUE 检查。
在我的表中,我曾经有一个带空格的列名(如果它有数字或不同的字符,则相同)。它不会起作用,因为 sqlSave 在创建查询时会删除这些字符。
来源:https://www.codenong.com/37240553/
