找回密码
 用户注册

QQ登录

只需一步,快速开始

查看: 10549|回复: 0

网上各种短网址算法应用的初步详细汇总

[复制链接]
发表于 2012-4-10 13:56:19 | 显示全部楼层 |阅读模式
看过新浪的短连接服务,发现后面主要有6个字符串组成,于是第一个想到的就是原来公司写的一个游戏激活码规则,也就是下面的算法2,26个大写字母 26小写字母,10个数字,随机生成6个然后插入数据库对应一个id,短连接跳转的时候,根据字符串查询到对应id,即可实现相应的跳转!不过2的62次方,不知道有没有重复的,小概率可以,但是对应不是很大的网站应该足够了
自从twitter推出短网址(shorturl),继之国内各大微博跟风,google公开goo.gl使用API,短网址之风愈演愈烈.不得不说这是一个新兴又一大热门web2.0服务.现整理一下,包括完整短网址网站,短网址算法原理,算法举例,以及优劣比较,同时还介绍几个phper个人实现的.
yourls,完整的ShortUrl网站.由国外著名 WordPress 插件大师级人物 Ozh RichardLester Chan 一起写的.官方网站是yourls.org.此为开源版本,可以从这里下载.最新版本1.5,昨天试用了一下,默认第一个是1,感觉不是很好,还是喜欢twitter风格的.
turl,phper的个人实现,可下载源码,点击此处
算法原理
算法一
1)将长网址md5生成32位签名串,分为4段, 每段8个字节;
2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理;
3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串;
4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址;
这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现.


算法二
a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。
把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存量达到500多亿后才会出现重复的可能。
具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了.
短网址算法枚举
一个来自http://www.snippetit.com/2009/04/php-short-url-algorithm-implementation/ ,
代码如下:
  1. <?php  
  2. function shorturl($input) {  
  3. $base32 =
  4. array (  
  5. 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h',  
  6. 'i', 'j', 'k', 'l',
  7. 'm', 'n', 'o', 'p',  
  8. 'q', 'r', 's', 't', 'u', 'v', 'w', 'x',  
  9. 'y', 'z',
  10. '0', '1', '2', '3', '4', '5'  
  11. );  
  12. $hex = md5($input);  
  13. $hexLen =
  14. strlen($hex);  
  15. $subHexLen = $hexLen / 8;  
  16. $output = array();  
  17.   for
  18. ($i = 0; $i < $subHexLen; $i++) {  
  19. $subHex = substr ($hex, $i * 8, 8);  
  20. $int = 0x3FFFFFFF & (1 * ('0x'.$subHex));  
  21. $out = '';  
  22.     for
  23. ($j = 0; $j < 6; $j++) {  
  24. $val = 0x0000001F & $int;  
  25. $out .=
  26. $base32[$val];  
  27. $int = $int >> 5;  
  28.     }  
  29. $output[] = $out;  
  30.   }  
  31.   return $output;  
  32. }  
  33. ?>
复制代码
另一个是纯随机数算法
  1. <?php  
  2. function random($length, $pool = '')  
  3.     {  
  4. $random = '';  
  5.         if (empty($pool)) {  
  6. $pool    =
  7. 'abcdefghkmnpqrstuvwxyz';  
  8. $pool   .= '23456789';  
  9.         }  
  10. srand
  11. ((double)microtime()*1000000);  
  12.         for($i = 0; $i < $length; $i++)   
  13.         {  
  14. $random .= substr($pool,(rand()%(strlen ($pool))), 1);  
  15.         }  
  16.         return $random;  
  17.     }  
  18. ?>
复制代码
各大微博短网址(ShortUrl)的算法 ,第一种算法的C#实现
  1. <?php  
  2. //
  3. 这是c#代码,受编辑器的限制,只能用php  
  4. public static string[] ShortUrl(string url)  
  5.         {  
  6. //可以自定义生成MD5加密字符传前的混合KEY  
  7. string key = "Leejor";  
  8. //要使用生成URL的字符  
  9. string[] chars = new string[]{  
  10. "a","b","c","d","e","f","g","h",  
  11. "i","j","k","l","m","n","o","p",  
  12. "q","r","s","t","u","v","w","x",  
  13. "y","z","0","1","2","3","4","5",  
  14. "6","7","8","9","A","B","C","D",  
  15. "E","F","G","H","I","J","K","L",  
  16. "M","N","O","P","Q","R","S","T",  
  17. "U","V","W","X","Y","Z"  
  18. };  
  19. //对传入网址进行MD5加密  
  20. string hex =
  21. System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key +
  22. url, "md5");
  23. string[] resUrl = new string[4];  
  24.             for (int i =
  25. 0; i < 4; i++)  
  26.             {  
  27. //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算  
  28. int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8,
  29. 8), 16);  
  30. string outChars = string.Empty;  
  31.                 for (int j =
  32. 0; j < 6; j++)  
  33.                 {  
  34. //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引  
  35. int index = 0x0000003D &
  36. hexint;  
  37. //把取得的字符相加  
  38. outChars += chars[index];  
  39. //每次循环按位右移5位  
  40. hexint = hexint >> 5;  
  41.                 }  
  42. //把字符串存入对应索引的输出数组  
  43. resUrl[i] = outChars;  
  44.             }  
  45.             return resUrl;  
  46.         }  
  47. ?>
复制代码
高进制数字转换,使用六十二进制将十进制数字变“短”。(作者自称很高效,但是来源页www.zoeey.com/cnphpdocs/short.url.radix.convert.html 打不开)
例如数据库中第 56800235583 条信息,对应的短网址后缀可以是 ZZZZZZ 。
下面是存储示例:
  1. <?php  
  2. //id 自增序列/自增编号  
  3. //url 目标链接  
  4. //*suffix* 短网址后缀
  5. (并不需要存储在数据库内)  
  6. +------------+-----------------------+---------+  
  7. |id          | url                   | *suffix*|  
  8. +------------+-----------------------+---------+  
  9. |123456      |
  10. http://zoeey.com/     | w7e     |  
  11. +------------+-----------------------+---------+  
  12. |123457      |
  13. http://www.zoeey.com/ | w7f     |  
  14. +------------+-----------------------+---------+  
  15. |56800235582 |
  16. http://zoeey.org/     | ZZZZZY  |  
  17. +------------+-----------------------+---------+  
  18. |56800235583 |
  19. http://www.zoeey.org/ | ZZZZZZ  |  
  20. +------------+-----------------------+---------+  
  21. ?>
复制代码
短网址使用流程:

  • 提交网址存储后获取其编号 如:123456
  • 用dec2Any将编号转换为62进制,并拼接网址 如:http://go.to/w7e
  • 用户访问到 http://go.to/w7e 时,提取短网址后缀 w7e
  • 用any2Dec将短网址后缀转换为10进制,得到链接编号 如:123456
  • 使用编号查询链接,并进行跳转
下面是进制转换所需要的源码:
  1. <?php  
  2. /*  
  3. * MoXie (SysTem128@GMail.Com)
  4. 2010-6-30 17:53:57  
  5. *   
  6. * Copyright &copy; 2008-2010 Zoeey.Org . All
  7. rights are reserved.  
  8. * Code license: Apache License  Version 2.0  
  9. *
  10. http://www.apache.org/licenses/LICENSE-2.0.txt  
  11. */  
  12. error_reporting(E_ALL);  
  13. /**  
  14. * 返回一字符串,十进制 number 以 radix 进制的表示。  
  15. * @param dec       需要转换的数字  
  16. * @param toRadix    输出进制。当不在转换范围内时,此参数会被设定为
  17. 2,以便及时发现。  
  18. * @return    指定输出进制的数字  
  19. */  
  20. function dec2Any($dec,
  21. $toRadix) {  
  22. $MIN_RADIX = 2;  
  23. $MAX_RADIX = 62;  
  24. $num62 =
  25. '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';  
  26.     if
  27. ($toRadix < $MIN_RADIX || $toRadix > $MAX_RADIX) {  
  28. $toRadix = 2;  
  29.     }  
  30.     if ($toRadix == 10) {  
  31.         return $dec;  
  32.     }  
  33. // -Long.MIN_VALUE 转换为 2 进制时长度为65  
  34. $buf = array();  
  35. $charPos = 64;  
  36. $isNegative = $dec < 0; //(bccomp($dec, 0) < 0);  
  37. if
  38. (!$isNegative) {  
  39. $dec = -$dec; // bcsub(0, $dec);  
  40. }  
  41.     while
  42. (bccomp($dec, -$toRadix) <= 0) {  
  43. $buf[$charPos--] = $num62[-bcmod($dec,
  44. $toRadix)];  
  45. $dec = bcdiv($dec, $toRadix);  
  46.     }  
  47. $buf[$charPos] =
  48. $num62[-$dec];  
  49.     if ($isNegative) {  
  50. $buf[--$charPos] = '-';  
  51.    
  52. }  
  53. $_any = '';  
  54.     for ($i = $charPos; $i < 65; $i++) {  
  55. $_any
  56. .= $buf[$i];  
  57.     }  
  58.     return $_any;  
  59. }  
  60. /**  
  61. * 返回一字符串,包含
  62. number 以 10 进制的表示。<br />  
  63. * fromBase 只能在 2 和 62 之间(包括 2 和 62)。  
  64. *
  65. @param number    输入数字  
  66. * @param fromRadix    输入进制  
  67. * @return  十进制数字  
  68. */  
  69. function any2Dec($number, $fromRadix) {  
  70. $num62 =
  71. '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ';  
  72. $dec =
  73. 0;  
  74. $digitValue = 0;  
  75. $len = strlen($number) - 1;  
  76.     for ($t = 0;
  77. $t <= $len; $t++) {  
  78. $digitValue = strpos($num62, $number[$t]);  
  79. $dec
  80. = bcadd(bcmul($dec, $fromRadix), $digitValue);  
  81.     }  
  82.     return $dec;  
  83. }  
  84. $sol = '<br />' . PHP_EOL;  
  85. echo dec2Any('56800235583',
  86. 62), $sol; // ZZZZZZ  
  87. echo any2Dec('ZZZZZZ', 62), $sol; // 56800235583  
  88. echo dec2Any('123456', 62), $sol; // w7e  
  89. echo any2Dec('w7e', 62), $sol;
  90. // 123456  
  91. ?>
复制代码

另外,介绍一下goo.gl接口api的应用.据说此算法是各种短网址服务中 "……(这是)互联网上最稳定、最安全、最快速的短网址服务。"(google声称)
有人做了比较,证明确实如此。
除了速度快,goo.gl还提供详细的点击统计。比如,Yahoo首页的短网址是http://goo.gl/QuXj,那么它的统计数据就在http://goo.gl/info/QuXj。加上后缀".qr",还能得到这个网址的二维条形码,Yahoo的就是http://goo.gl/QuXj.qr
详细信息可从这查看:http://code.google.com/apis/urlshortener/overview.html
下面是http://www.biaodianfu.com/php-google-urlshortener-api.html弄的一个简单的PHP调用API生成短网址方法,分享给大家。
在使用前,请先到这里申请API Key:http://code.google.com/apis/console/
短网址的生成需要使用POST提交数据,所以使用了curl,短网址的还原可以直接使用file_get_contents()函数。不过为了统一,也使用了curl来处理哈。
  1. <?php  
  2. // 生成  
  3. function shortenGoogleUrl($long_url){  
  4. $apiKey = 'API-KEY'; //Get API key from :
  5. http://code.google.com/apis/console/  
  6. $postData = array('longUrl' =>
  7. $long_url, 'key' => $apiKey);  
  8. $jsonData = json_encode($postData);  
  9. $curlObj = curl_init();  
  10. curl_setopt($curlObj, CURLOPT_URL,
  11. 'https://www.googleapis.com/urlshortener/v1/url');  
  12. curl_setopt($curlObj,
  13. CURLOPT_RETURNTRANSFER, 1);  
  14. curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER,
  15. 0);  
  16. curl_setopt($curlObj, CURLOPT_HEADER, 0);  
  17. curl_setopt($curlObj,
  18. CURLOPT_HTTPHEADER, array('Content-type:application/json'));  
  19. curl_setopt($curlObj, CURLOPT_POST, 1);  
  20. curl_setopt($curlObj,
  21. CURLOPT_POSTFIELDS, $jsonData);  
  22. $response = curl_exec($curlObj);  
  23. curl_close($curlObj);  
  24. $json = json_decode($response);  
  25. return
  26. $json->id;  
  27. }  
  28. //还原  
  29. function expandGoogleUrl($short_url){  
  30. $curlObj = curl_init();  
  31. curl_setopt($curlObj, CURLOPT_URL,
  32. 'https://www.googleapis.com/urlshortener/v1/url?shortUrl='.$short_url);  
  33. curl_setopt($curlObj, CURLOPT_HEADER, 0);  
  34. curl_setopt($curlObj,
  35. CURLOPT_RETURNTRANSFER, 1);  
  36. curl_setopt($curlObj, CURLOPT_SSL_VERIFYPEER,
  37. 0);  
  38. $response = curl_exec($curlObj);  
  39. curl_close($curlObj);  
  40. $json
  41. = json_decode($response);  
  42. return $json->longUrl;  
  43. }  
  44. ?>
复制代码
在此处有个生成器,但是无代码奉献.点击此处

http://item.feedsky.com/~feedsky/php10086/~8835780/622430876/6954309/1/item.html


您需要登录后才可以回帖 登录 | 用户注册

本版积分规则

Archiver|手机版|小黑屋|ACE Developer ( 京ICP备06055248号 )

GMT+8, 2024-4-20 21:39 , Processed in 0.022632 second(s), 7 queries , Redis On.

Powered by Discuz! X3.5

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表