分类:: 数据迁移

0

pandas.read_sql的误导性参数chunksize

官方文档的描述是该参数返回一个迭代的对象,该对象包含很多个chunksize大小的块。容易误导人的是设置chunksize之后,从数据获取数据就不会一次返回所有的数据,而是分块的返回。 更烦的是这个情况还不容易察觉。当使用sqlalchemy+pymssql连接MSSQL导出一张100W行数据的表,chunksize给人的表现看起来就是每次只获取部分,内存并没有太大变化,而当使用sqlalchem

0

半自动化迁移MSSQL数据到MySQL

本次数据迁移的流程: 手动流程:导出SQLServer的DDL,然后翻译成MySQL的DDL并且在MySQL中执行 自动流程:使用Pyetl完成数据的迁移 翻译DDL到处SQLServer中的DDL可以通过编写命令获得,也可以使用SQLServer的管理工具获得,其中管理工具最方便且靠谱,下面是使用该方式的教程: https://jingyan.baidu.com/article/3ea51

0

迁移MSSQL到MySQL-使用Workbench

官方文档教程:使用Workbench迁移MSSQL数据到MySQL,该流程需要用到iodbc,安装一下: sudo apt-get install iodbcsudo apt-get install libiodbc2-dev 之后按着教程走,在Fetch Schemas List这一步遇到问题,Google一下发现2年前有人遇到同样的问题,解决办法是升级Workbench到最新版本,然后我已经是